Собеседование продуктового аналитика в Авито №2: кейс-интервью

• Дима Сергеев, аналитик продуктовой аналитики, проводит открытое аналитическое собеседование в Авито.  

• Проверка технической составляющей программы и настройка на вопросы зрителей.  

• Обсуждение обратной связи и организационных моментов перед началом интервью.  

• Представление Игоря Сухарева, руководителя аналитики в Авито Недвижимость.  

• Юра Баландин, старший продуктовый аналитик в компании Туту, будет проходить собеседование.  

• Технические сложности с подключением Юры из-за телемоста.  

• Три этапа собеседования: базовый скрининг, решение задачи на Motsat и Terver, и скоринг-этап с разбором опыта и решением кейса.  

• Рекомендация ознакомиться со статьей на Хабре для подготовки.  

• Юра рассказывает о своем опыте работы в аналитике и текущих проектах.  

• Представление кейса: разработка подхода и метрики для оценки сделок на Авито.  

• Возможность задавать уточняющие вопросы для лучшего понимания контекста.  

• Обсуждение методов монетизации на Авито: комиссии, листинги, продвижение объявлений, реклама и доставка.  

• Важность понимания конверсии заказов в успешные сделки.  

• Проблемы с прозрачностью данных и необходимость разработки прокси-метриков.  

• Обсуждение прокси-метриков, таких как количество контактов с продавцом.  

• Упоминание внутреннего мессенджера и других каналов коммуникации между продавцом и покупателем.  

• Все звонки и сообщения записываются и транскрибируются.  

• Система колл-трекинга защищает пользователей от мошенников.  

• Данные используются для оценки совершения сделок.  

• Исторические данные помогают оценить длительность объявлений.  

• Сравнение длительности объявлений с их исчезновением помогает определить успешность сделки.  

• Два основных сценария: архив или снятие объявления продавцом.  

• Контакты и звонки не всегда коррелируют с успешными сделками.  

• Разные категории товаров требуют разных подходов.  

• Важно учитывать контекст взаимодействия между покупателем и продавцом.  

• Определение целевых сценариев для разных типов товаров.  

• Разные сценарии для продажи джинсов и квартир.  

• Анализ исторических данных для выявления успешных сценариев.  

• Использование инструментов для анализа текстов и фраз.  

• Построение классификатора для определения успешных и неудачных слов.  

• Опрос пользователей для понимания процесса совершения сделок.  

• Опросы пользователей о продажах могут быть дорогими и неэффективными.  

• Пользователи могут нечестно отвечать на вопросы.  

• Низкий респонс и покрытие - ключевые проблемы.  

• Определение целевых сценариев для разных категорий товаров или услуг.  

• Примеры для недвижимости: договоренности о встрече, обмен контактами.  

• Важность покрытия целевых действий для аналитики.  

• Доступ к данным о звонках и чатах.  

• Понимание целевых сценариев и действий пользователей.  

• Необходимость сбора данных для получения числа сделок.  

• Разметка данных для определения целевых действий.  

• Использование исторических данных и бизнес-правил для обучения модели.  

• Ручная разметка данных для улучшения точности.  

• Использование модели для предсказания сделок.  

• Сравнение времени закрытия объявлений и количества контактов.  

• Учет ключевых событий и ключевых слов для предсказаний.  

• Учет контактов продавца и покупателя.  

• Анализ текста чатов и звонков для определения ключевых фраз.  

• Использование нейронных сетей для предсказаний.  

• Использование информации о покупателе, продавце и объявлении.  

• Учет контекста взаимодействия на звонке или в чате.  

• Разработка алгоритма для предсказания успешных сделок.  

• Обсуждение использования базлайнов для оценки объявлений.  

• Пример с ключевыми словами и позитивными сигналами.  

• Важность исторических данных для анализа.  

• Машинное обучение может не работать из-за плохих данных.  

• Проблемы с качеством данных и их размещением.  

• Необходимость валидации моделей на продакшне.  

• Машинное обучение требует много времени для обучения.  

• Сложности с обучением больших моделей.  

• Простота внедрения бизнес-правил по сравнению с машинным обучением.  

• Машинное обучение не всегда стоит затрат.  

• Важно оценивать качество модели и бизнес-правил.  

• Аналитики могут помогать в реализации машинного обучения.  

• Методы работы с аномальными данными.  

• Использование стандартных отклонений и квантилей.  

• Важность учета бизнес-контекста при анализе данных.  

• Понятие дата-дрифта и его влияние на данные.  

• Методы проверки стабильности данных.  

• Использование тестов для оценки изменений в распределении данных.  

• Использование автом библиотек для запуска моделей на разных данных.  

• Линейные модели могут быть полезны, но бустинг может дать лучшие результаты.  

• Выбор ключевых алгоритмов и их улучшение через изменение данных и перформеров.  

• Решение задачи классификации с использованием линейной модели.  

• Использование автоэмель для оценки качества модели.  

• Учет несбалансированности данных и использование соответствующих метрик.  

• Использование метрик precision, recall и F1-score для оценки точности и полноты модели.  

• Объяснение этих метрик для бизнеса.  

• Пример использования precision и recall для оценки качества модели.  

• Сбор данных и обучение моделей для предсказания сделок.  

• Периодическое переобучение моделей и мониторинг их качества.  

• Выбор адекватного периода для оценки модели, например, раз в неделю.  

• Длительный процесс сбора и очистки данных.  

• Написание бизнес-правил и обучение моделей.  

• Оценка времени на создание прототипа и его тестирование.  

• Использование коррелирующих метрик для оценки валидности модели.  

• Сравнение с другими метриками, такими как прибыль и количество успешных сделок.  

• Поиск корреляций между метриками для оценки эффективности модели.  

• Подход к оценке модели через корреляции с другими метриками.  

• Пример применения модели в реальной задаче из Авито.  

• Завершение кейса и подведение итогов.  

• Обсуждение нестандартной задачи по придумыванию метрик.  

• Важность нестандартного подхода к анализу продуктов.  

• Переход к разбору кейса и решению.  

• Важность системного мышления и бизнес-терминов для аналитика.  

• Определение проблемы и её связи с выручкой.  

• Продуктовое мышление и воронка пользователя.  

• Обсуждение опросов пользователей и их ограничений.  

• Формирование целевого действия и работа с данными.  

• Важность проведения исследований и обмена опытом.  

• Сбор данных и разметка целевых действий.  

• Использование ручной разметки и ресурсов для разметки.  

• Переход к фичегенерации и базовым фильтрам.  

• Понимание ограничений и необходимость экспертов.  

• Важность инфраструктуры и поддержки.  

• Простота и эффективность ручного управления.  

• Логическое разделение данных для моделей.  

• Обработка выбросов и использование перцентилий.  

• Понимание дата-дрифта и его влияние на данные.  

• Использование готовых решений и автоэмель.  

• Применение логистической регрессии и бустингов.  

• Важность правильного применения методов для решения задач.  

• Обсуждение метрик для задачи классификации, включая дисбаланс классов.  

• Важность учета дисбаланса при разработке и валидации модели.  

• Навык донесения информации до бизнеса и перевода технических терминов на продуктовые.  

• Упоминание всех правильных метрик и их интерпретация для бизнеса.  

• Возможность использования модели в отдельных частях продукта или бизнеса.  

• Важность мониторинга качества и переобучения модели.  

• Проект требует времени и ресурсов, в зависимости от контекста и зрелости компании.  

• Важность валидации и оценки, стоит ли внедрять решение в продакшн.  

• Корреляция с ключевыми метриками, такими как выручка и количество сделок.  

• Необходимость навыков в области EML для продуктового аналитика.  

• Важность оценки необходимости использования EML и привлечения помощи при необходимости.  

• Зрелый аналитик должен уметь оценить необходимость EML и привлекать ресурсы при необходимости.  

• Оценка решения кейса на уровне сеньор или выше.  

• Важность контекста и дополнительных этапов при отборе кандидатов.  

• Финальные комментарии и фидбек от Юры о собеседовании.  

• Обсуждение технических проблем и нестандартности кейса.  

• Вопросы о необходимости обсуждения A/B-тестов на продуктовых кейсах.  

• Ожидание ответов на вопросы, поступившие во время собеседования.  

• Работа продуктового аналитика не сводится только к A/B тестам.  

• Аналитики решают разнообразные задачи, включая сбор внешних данных.  

• В прошлом открытом собеседовании обсуждались A/B тесты, но здесь рассматривается реальная задача без A/B теста.  

• A/B тесты важны, но их использование зависит от команды и компании.  

• Аналитики могут заниматься разными задачами, от ресерча до экспериментов.  

• Важно уметь использовать правильные инструменты и работать с данными.  

• Текущий кейс помогает оценить заявленные компетенции.  

• Формализация задачи и приведение её к аналитическим терминам важны.  

• В реальности могут быть заданы дополнительные вопросы о реальном опыте кандидата.  

• Вопрос о мотивации специалистов на собеседовании не был задан.  

• Аналитик может использовать различные инструменты, включая Excel и сложные модели.  

• Важно понимать, какие инструменты нужны для решения задач.  

• Профессиональный сленг приходит с опытом и работой.  

• Смена продуктов может быть как интересным опытом, так и карьерным путем.  

• Каждый выбирает свой путь в зависимости от личных целей.  

• Благодарность за участие в интервью.  

• Анонс викенд офер аналитиков Авито в октябре.  

• Призыв к зрителям оставить фидбек и подписаться на телеграм-канал Юрия.