ML System Design с Валерием Бабушкиным | Выпуск 2 | Собеседование | karpov.courses

• Валерий Бабушкин, работающий в Facebook, рассказывает о своем опыте и подходе к собеседованиям.  

• Стас, работающий в Сбербанке и аптеке, занимается динамическим прайсингом и ведет модуль по этой теме в курсе Харда.  

• Игорь, работающий в AliExpress, также занимается динамическим прайсингом и ведет аналогичный модуль в курсе Харда.  

• Александр рассказывает о своем образовании и опыте работы в области науки данных и дипфейков.  

• Он работал в Facebook, Яндекс и стартапе, связанном с дипфейками.  

• Обсуждается важность интервью по дизайну и программированию для определения уровня инженера.  

• Уровни 5, 6, 7, 8 представляют собой кроличью нору, в которую можно проваливаться глубоко.  

• Интервью должно быть сольным выступлением на 45 минут, что требует целостности и продуманности.  

• Важно показать, что человек может создать архитектуру системы, приносящую пользу.  

• Тема: прайсинг на маркетплейсе.  

• Маркетплейс предлагает товары за определенную цену, влияя на общие продажи.  

• Задача: оптимизировать цену товара, максимизируя метрику оборота, но не уходя в минус по марже.  

• Определить ограничения по задаче и инфраструктуре.  

• Ценообразование не должно работать очень быстро, важнее качество.  

• Важно определить метрику бизнеса для построения системы.  

• Сбор данных о товарах и их продажах.  

• Использование исторических данных и онлайн-сбора данных.  

• Возможность разметки данных вручную для обучения моделей.  

• Использование простых моделей без глубокого обучения.  

• Применение предобученных моделей для репрезентации текста и изображений.  

• Важно идти от бизнес-задач к данным для точного прогнозирования.  

• Определение таргета: цена товара или общий оборот.  

• Прогнозирование цены товара для максимизации продаж.  

• Важно учитывать ограничения и пороги для предсказаний.  

• Интервьюер заметил, что кандидат часто получал наводящие вопросы.  

• Кандидат не мог самостоятельно сформулировать ответы, что указывало на неправильную систему.  

• Кандидат не понимал бизнес-задачу и не мог четко сформулировать таргет.  

• Кандидат дважды давал разные ответы на вопросы о цене и обороте.  

• Интервьюер считает, что кандидат не разбирался в бизнес-задаче.  

• Кандидат должен был четко сформулировать таргет и оптимизировать его.  

• Кандидат не понимал, как предсказать идеальную цену товара.  

• Интервьюер объясняет, что идеальная цена должна быть сбалансированной.  

• Кандидат должен был правильно сформулировать бизнес-задачу.  

• Кандидат получил специфическую задачу с ограничениями.  

• Задача включала повышение товарооборота при сохранении маржи.  

• Важно было четко сформулировать ограничения и условия задачи.  

• Обсуждение модели, которая выдает цену на основе исторических данных.  

• Вопрос о том, как модель учитывает вероятность покупки.  

• Решение сделать первую итерацию и вернуться к вопросу позже.  

• Важность мониторинга системы для выявления багов и неточностей.  

• Три группы метрик: офлайн, онлайн и инфраструктурные.  

• Необходимость мониторинга скорости запросов и ответов.  

• Обсуждение необходимости А/Б тестов для оценки моделей.  

• Вопрос о возможности показывать разные цены разным пользователям.  

• Обсуждение дискриминации и легальности таких действий.  

• Важность правильного дизайна А/Б тестов.  

• Проблема, что человек не является экспертом в тестах.  

• Необходимость обращения к специалистам для решения проблем.  

• Обсуждение проблем, которые могут возникнуть при создании системы в большом маркетплейсе за 45 минут.  

• Важность понимания, где может возникнуть проблема, и необходимость использования онлайн-метрик для её выявления.  

• Использование AB-тестирования для проверки эффективности новых моделей и цен.  

• Проведение экспериментов для проверки эффективности новых моделей и цен.  

• Сравнение результатов на исторических данных и в онлайн-режиме.  

• Необходимость формализации процесса для проведения квази-AB-тестирования.  

• Обсуждение стресса, связанного с прохождением собеседований.  

• Сравнение с опытом работы в Facebook и обсуждение влияния стресса на процесс.  

• Важность предсказывания временных рядов и корректировки моделей на основе остатков.  

• Влияние изменения цен на спрос и поведение покупателей.  

• Необходимость работы с фидбек-клубом для корректировки цен.  

• Различные подходы к изменению цен, включая эластичность и предсказание спроса.  

• Использование сетки цен для определения наценки на товары.  

• Применение многоруких бандитов для оптимизации цен на разные группы товаров.  

• Важность понимания бизнес-задач и использования различных стратегий для максимизации прибыли.  

• Каннибализация товаров в ритейле существует, но её сложно оценить.  

• Важно определить, как один товар влияет на другие.  

• Проблемы каннибализации могут привести к дискриминации покупателей.  

• Каннибализация специфична для ритейла и требует расширения кругозора.  

• Опыт работы в разных отраслях помогает лучше справляться с задачами.  

• Важно формировать желание разбираться в новых задачах и работать на опережение.  

• Фидбек-клуб помогает корректировать данные и модели.  

• Важно учиться на предсказанных данных, а не только на текущих.  

• Модели должны адаптироваться к изменяющимся условиям.  

• Дифференциация цен помогает оптимизировать прибыль.  

• Модели должны учитывать закупочные цены и другие факторы.  

• Важно проверять и улучшать модели на основе данных и метрик.  

• Вероятность покупки должна учитываться в моделях.  

• Регрессия позволяет предсказывать вероятность покупки с определенной ценой.  

• Важно учитывать вероятность предсказания в каждой точке.  

• Обсуждение вероятности покупки для пары пользователь-товар.  

• Важность прохождения всех стадий интервью для получения полной обратной связи.  

• Пример с пайплайнами и старги.  

• Обсуждение данных и функций потерь.  

• Проблема с назначением разных цен разным пользователям.  

• Возможность использования вероятности и цены для предсказания выручки.  

• Возможность использования цены и вероятности для получения выручки.  

• Важность калибровки модели для получения точных вероятностей.  

• Проблема с разными пользователями и ценами.  

• Предложение усреднить пользователей для получения одной цены.  

• Возможность агрегирования данных по цене для получения общей прибыли.  

• Важность использования исторических данных для оценки модели.  

• Обсуждение функции потерь и вероятностной модели.  

• Использование исторических данных для оценки модели.  

• Важность выбора метрик для оценки модели и корреляции с целевой метрикой.  

• Обсуждение агрегирования данных по дням.  

• Проблема с распределением прибыли, которая часто не является нормально распределенной.  

• Использование логарифмов для центрирования данных.  

• Вопрос о сравнении моделей в офлайн-режиме.  

• Использование исторических данных для предсказаний.  

• Оценка моделей по метрикам MSE и MAE.  

• Пример с двумя моделями: одна предсказывает 300, другая - 900.  

• Оценка моделей по MAE и MSE.  

• Обсуждение, какая модель лучше подходит для предсказания оборота.  

• Обсуждение важности метрик для предсказания оборота.  

• Влияние метрик на выбор модели.  

• Пример с предсказанием цен на квартиры и использованием логарифмов.  

• Важность четкого описания задачи для выбора метрик.  

• Пример с MAE и MSE для предсказания спроса.  

• Обсуждение влияния выбросов на точность предсказаний.  

• Обсуждение специфики ритейла и коммерции, включая остатки на складе и цены на товары.  

• Пример с PS5, который стоит в два раза дороже из-за нехватки товара.  

• Влияние цен на вероятность покупки и оборот.  

• Обсуждение моделей и метрик для предсказания продаж.  

• Сравнение моделей по средней ошибке и выбросам.  

• Важность средней абсолютной ошибки и средней квадратичной ошибки.  

• Обсуждение метрик MAPE и MAE.  

• Пример с разными объемами продаж и их влиянием на ошибки.  

• Влияние ошибок на общую метрику.  

• Важность понимания таргета и объектов для работы.  

• Дизайн эксперимента и его влияние на результаты.  

• Проблемы с распознаванием лиц и симуляцией реальных условий.  

• Важность понимания специфики задачи и влияния на метрики.  

• Обсуждение функции потерь и метрик.  

• Впечатления от интервью и подход кандидата.  

• Подход кандидата к работе с данными и моделями.  

• Важность формализации целей и метрик.  

• Благодарность за участие и мужество кандидата.