Ozon Tech Intro meetup: как работают системы поиска, рекомендаций и рекламы

• Приветствие участников и объявление о начале мероприятия через 10 минут.  

• Призыв использовать время для общения и поиска коллег.  

• Приветствие участников и благодарность за интерес к мероприятию.  

• Представление этапа о поиске рекомендаций и рекламе.  

• Введение в тему и представление спикера Антона Степаненко.  

• Антон Степаненко рассказывает о компании Ozon.  

• Описание структуры компании: 4000 сотрудников, офисы в разных городах.  

• Упоминание о большом количестве микросервисов и их сложности.  

• Описание дата-центров и серверов.  

• Высокие нагрузки на серверы во время распродаж.  

• Примеры высоких нагрузок и подготовка к следующему сезону.  

• Важность аналитики и управления затратами.  

• Пример с отслеживанием каждой единицы товара.  

• Управление костами и построение богатой аналитики.  

• Использование open-source технологий.  

• Примеры собственных разработок и отказа от сторонних решений.  

• Описание стека технологий: Kubernetes, Prometheus, Grafana, Jaeger.  

• Основные языки программирования: Go, C#, Java.  

• Использование Node.js, TypeScript, Swift, Kotlin.  

• Описание реляционного хранилища PostgreSQL и других технологий.  

• Консервативный подход к технологиям.  

• Решение задач в рамках существующего стека.  

• Отказ от частых изменений и адаптации новых технологий.  

• Важно наращивать экспертизу в каждой доменной области, а не количество доменных областей.  

• Логистика, товарные операции, финансы и ERP системы являются ключевыми бизнес-функциями.  

• Холдеск поддерживает множество операционных объектов, включая склады и компьютеры.  

• Разработка включает базовую инфраструктуру, серверы, каналы связи и виртуализацию.  

• Все приложения пишутся на одном фреймворке, что упрощает бизнес-логику и управление логами и метриками.  

• Собственный ИТ-отдел занимается обучением, технопиаром и информационной безопасностью.  

• В компании есть отдел проектного управления для сложных проектов.  

• Отдельная функция занимается аудитом, контролями и комплайнсом, что соответствует требованиям SEC.  

• Это гарантирует достоверность финансовой отчетности.  

• Спикер завершает выступление и благодарит за внимание.  

• Обещает ответить на вопросы в более свободном формате после перерыва.  

• Призывает задавать вопросы и активно участвовать в обсуждении.  

• Спикер рассказывает о рекламной платформе Ozon.  

• Представляет команду и их задачи.  

• Делится личными воспоминаниями о Казахстане.  

• Департамент включает команды поиска, рекламы и рекомендаций.  

• Задачи включают оптимизацию логистики и рекомендации товаров.  

• Используются данные и аналитика для улучшения сервисов.  

• Ozon имеет более 100 миллионов товаров.  

• Поисковый движок решает, какие товары показывать за сотни миллисекунд.  

• Рекомендации помогают покупателям покупать больше товаров.  

• Ozon занимается интернет-рекламой, а не телевизионной.  

• Примеры интернет-рекламы: медийная реклама и реклама в поисковой выдаче.  

• Реклама должна быть релевантной и полезной для покупателей.  

• Рекламодатели оценивают долю рекламных расходов и прибыль.  

• Важно, чтобы реклама приносила больше прибыли, чем затрат.  

• Пример: 50% возврат инвестиций считается хорошим показателем.  

• Ozon имеет около 100 миллионов товаров и 100 тысяч селлеров.  

• Ежедневно генерируется около миллиарда рекламных событий.  

• Рекламная платформа позволяет селлерам настраивать рекламу и отслеживать результаты.  

• Селлеры создают рекламные кампании и настраивают бюджет.  

• Рекламный кабинет помогает отслеживать статистику и формировать счета.  

• Рекламный движок подбирает рекламу для разных случаев и проводит аукционы.  

• Движок контролирует расходы бюджета, чтобы не показывать больше рекламы, чем установлено.  

• Следит за продуктовыми показателями, чтобы не показывать одну и ту же рекламу разным пользователям.  

• Работает в режиме реального времени, обрабатывая все запросы с сайта.  

• Фреймворк строит экраны для покупателей, включая карточки товаров.  

• Используются виджеты для отображения рекламы и товаров.  

• Применяются мемори-хранилища для быстрого подбора рекламы и реагирования на изменения.  

• Рекламный движок взаимодействует с поиском и рекомендациями для получения релевантной рекламы.  

• Интеграция медленной и быстрой частей системы для синхронизации данных.  

• Использование Kafka и Redis для передачи обновлений и данных.  

• Трекинг рекламы включает ассоциацию информации с рекламными показами и кликами.  

• Создание событий для отслеживания и их отправка в аналитическое хранилище.  

• Использование ClickHouse для аналитических запросов и хранения данных.  

• Селлеры формируют счета для оплаты рекламных расходов.  

• Система суммирует рекламные ставки и отправляет данные в финансовые системы.  

• Пайплайн включает множество сервисов и систем для отслеживания и прогнозирования.  

• Автобидер решает задачу рюкзака, планируя показы рекламы.  

• Предсказание конверсии для разных форматов оплаты рекламы.  

• Учет конверсии и стоимости показов для выбора наиболее выгодных товаров.  

• Предсказание конверсии важно для понимания, какую рекламу показывать покупателям.  

• Если товар имеет низкое предсказание конверсии, его не будут показывать, чтобы не разочаровывать покупателей.  

• Это позволяет делать покупателям хорошо и рекламодателям получать трафик.  

• Пример с распродажей гречки за 9 рублей.  

• Покупатели заранее кладут гречку в корзину, чтобы успеть купить.  

• Это относится к маркетингу, а не к рекламе, но вызывает волны трафика и нагрузку на системы.  

• Вопрос о рекомендациях и создании дополнительных сервисов для улучшения рекомендаций.  

• Озон экспериментировал с форматами, но не все проекты были успешными.  

• Создание новых сервисов требует значительных ресурсов и времени, поэтому фокус на основном бизнесе.  

• У Ozon есть сервисы, не связанные напрямую с электронной коммерцией, такие как Ozon Profit и финсервисы.  

• Рассматриваются возможности создания новых продуктов, но это коммерческая тайна.  

• Вопрос о механизмах проверки, что реклама показывается реальным пользователям.  

• Для медийной рекламы есть механизмы отслеживания показов, но для товарной рекламы таких механизмов нет.  

• Цель – сделать рекламу эффективной для рекламодателя, чтобы он продолжал платить.  

• Товары делятся на две категории: с рекламой и без рекламы.  

• Смешивание двух выдач позволяет оптимизировать выдачу и делать покупателям хорошо.  

• Нет идеологии, что рекламные товары плохие, а органические хорошие.  

• Вопрос о том, как анализировать эффективность рекламы для привлечения новичков.  

• Ozon не занимается таким анализом, так как большинство товаров покупаются один раз.  

• В индустрии оценивают узнаваемость бренда для повышения стоимости рекламы, но Ozon этим не занимается.  

• Текущая модель в рекламе - кабус-модель, которая показывает хорошие результаты.  

• В будущем планируется переход на нейронные сети.  

• В поиске уже используются трансформеры, и в рекомендациях также планируется переход на нейронные сети.  

• Обсуждение вопросов из онлайна о блединге рекламы и важности конверсий и JV.  

• JV важнее, так как он сложнее в измерении, но более значим.  

• Вопросы о популярных запросах для селлеров и о наличии двух страниц с рекламой.  

• Леонид, руководитель отдела рантайма поиска, объясняет, как работает поиск в Ozon.  

• Поиск включает получение данных о товарах от продавцов, их индексацию и ранжирование по текстовой релевантности.  

• Важно быстро доносить информацию от продавцов до покупателей.  

• Базовый поиск - это распределенная база данных, основанная на библиотеке полнотекстового поиска Lucene.  

• Данные хранятся в структурах, похожих на LSM-деревья, и сортируются по каталожному скору.  

• Сегменты данных позволяют распараллелить поиск, но требуют контроля количества сегментов.  

• Данные хранятся отсортированными по каталожному скору, что позволяет быстро находить популярные товары.  

• Обновление документов создает новые сегменты, что может замедлять процесс.  

• Планируется улучшение обновления отдельных полей и перешедирование индекса для уменьшения размера.  

• Индексация данных осуществляется через пайплайн, включающий правила получения данных, валидации и редупликации.  

• Обновление данных делится на реал-тайм и фукс, где реал-тайм - это текущее обновление, а фукс - добавление новых полей.  

• Базовый поиск не знает о новых полях без полной реиндексации.  

• Полная реиндексация происходит раз в день и занимает много времени.  

• Обновленный индекс с новыми полями отправляется в базовый поиск через Kafka.  

• Время обновления может варьироваться от шести до четырнадцати часов.  

• Индексация должна быть быстрой, чтобы не ждать долго.  

• Важные изменения, такие как изменение цены или склада, имеют высокий приоритет.  

• Менее важные изменения, например, описание товара, могут отправляться в отдельном приоритете.  

• Механизм дедупликации позволяет не перегружать базовый поиск.  

• Перед отправкой обновления в базовый поиск, данные проверяются на наличие изменений.  

• Если селлер изменил несколько параметров товара, они объединяются в одно обновление.  

• Оптимизация дедупликации позволяет ускорить процесс и избежать перегрузки источников данных.  

• Цель - ускорить дедупликацию и пересборку индекса.  

• Это позволит быстрее реагировать на проблемы с индексом и избежать задержек.  

• В случае инцидентов с индексом, быстрая пересборка помогает избежать длительных простоев.  

• Базовый поиск находит нужные документы и передает их в мидвей.  

• Мидвей переранжирует документы с учетом пользовательских, товарных и парных фичей.  

• Используются бустинги для платного размещения товаров.  

• Мидвей склеивает документы, чтобы показать разные варианты товаров.  

• Это улучшает качество выдачи и позволяет пользователям выбирать.  

• Реклама подмешивается в документы для улучшения видимости.  

• Мидвей использует сервисы фичи стор, фичу мета стор и виард.  

• Фичи стор хранит пользовательские и товарные фичи в редисах.  

• Виард предоставляет модели для переранжирования.  

• Планируется перенос моделей на GPU для улучшения производительности.  

• Улучшение кэширования и архитектуры для повышения скорости ответов.  

• Верхний поиск формирует запросы и определяет уровни деградации.  

• НЛП предсказывает категории и исправляет опечатки.  

• Подбирает синонимы и определяет выдачу для пользователей старше 18 лет.  

• Автогенерация синонимов увеличила их количество до 100 тысяч.  

• Архитектура независима и отказоустойчива.  

• Открыты вакансии для разработчиков, интересующихся поиском и тестированием.  

• Вопросы и ответы о многоуровневом кэшировании и подготовке выдачи.  

• Документы постоянно меняются, что требует обновления кэша каждые 20 минут.  

• Клиенты получают готовую выдачу, что ускоряет процесс.  

• Качество выдачи улучшается при увеличении количества обхоженных документов.  

• Товары делятся на горячие и холодные слои для уменьшения количества обхоженных документов.  

• Это улучшает качество выдачи, несмотря на увеличение времени обработки.  

• В электронной коммерции важно учитывать интересы продавцов, а не только покупателей.  

• Продавцы должны быстро получать обновления о товарах и ценах.  

• Реклама и автобитеры также требуют быстрой реакции на изменения.  

• В больших поисковиках доступно все множество документов, в электронной коммерции база документов ограничена.  

• Продавцы должны участвовать в индексации своих товаров для создания полной базы.  

• Важно создать условия для продавцов, чтобы они активно участвовали в индексации.  

• Использование региональных особенностей для улучшения ранжирования.  

• Пример: пользователи из Алматы ищут легкую обувь, а пользователи из других регионов – более защищенную.  

• Пробовали использовать привязки к локации, но это не дало значительных результатов.  

• Вопросы о кашах и их жизни.  

• Обсуждение закодированных данных и их преимуществ.  

• Благодарность спикеру и анонс следующего доклада о системе рекомендаций в Ozon.  

• Система рекомендаций помогает пользователям находить подходящие товары на маркетплейсе.  

• Основная сущность - полка рекомендаций, которая визуализирует товары в определенном месте на сайте или в приложении.  

• Полки могут быть разными: товары, которые пользователь смотрел в личном кабинете, аналоги для конкретного товара и т.д.  

• Система должна возвращать от 5 до 200 товаров на каждый запрос в зависимости от контекста.  

• Используется машинное обучение для нахождения лучших товаров.  

• Система обрабатывает миллиарды событий ежедневно, учитывая данные за разные периоды времени.  

• Требования к производительности: более 20 тысяч запросов в секунду и формирование выдачи за 100 миллисекунд.  

• Запрос обрабатывается сервисом шел, который добавляет контекст и передает его в основной сервис юэм серверго.  

• Основная проблема архитектуры - невозможность применения тяжеловесных алгоритмов на каждый запрос.  

• Решение: разделение логики подбора на два этапа: легкое ранжирование и тяжелое ранжирование.  

• Мемори фичерстор хранит данные о товарах в памяти каждого инстанса.  

• Методы отбора кандидатов включают популярные товары, лучшие аксессуары и подходящие товары для пользователя.  

• Плюсы: простота реализации и быстрое выполнение, минусы: высокие требования к оперативной памяти и времени разработки.  

• Персонализация включает регулярную обработку больших массивов данных и использование нейросетей.  

• Методы включают обработку данных о пользователях и товарах для отбора кандидатов и генерации признаков ранжирования.  

• Маннинг признаков для этапов верхнего ранжирования на основе накопления пользовательских событий в реальном времени.  

• Учет короткой истории пользователя для рекомендаций.  

• Проблемы с большим объемом данных и необходимостью выбора значимых событий.  

• Система рекомендаций на Ozon активно развивается.  

• Фокус на улучшение качества выдачи и увеличение покрытия страниц.  

• Эксперименты с новыми полками и оптимизация внедрения новых алгоритмов.  

• Эксперименты с рекомендациями категорий и выбором порядка полок.  

• Большие рекомендации для товаров в избранном или корзине.  

• Открыты позиции для новых задач и экспериментов.  

• Влияние сгенерированных описаний на рекомендации.  

• Использование текстовых описаний и их влияние на рекомендации.  

• Влияние названия товара и изображения на выдачу.  

• Сбор пользовательских данных для построения профиля пользователя.  

• Различие между авторизованными и неавторизованными пользователями.  

• Эксперименты с нейросетями и их влияние на рекомендации.  

• Легкое и тяжелое ранжирование выполняются на каждый запрос.  

• Время выполнения не превышает 100 миллисекунд.  

• Запросы, которые уже за кашированы, не требуют ранжирования.  

• Пользователи не могут манипулировать своими рекомендациями.  

• В бэклоге нет задачи по манипулированию рекомендациями.  

• Если такая задача появится, будет обсуждаться, как лучше её реализовать.  

• Алгоритм поиска работает для всех категорий, но не одинаково эффективно.  

• Селлеры должны хорошо описывать товары для улучшения поиска и рекомендаций.  

• Аналитическая команда исследует проблемные сегменты и улучшает алгоритмы.  

• Перерыв для отдыха и общения.  

• В зоне отдыха можно перекусить и пообщаться с коллегами.  

• Вопросы по найму и стажировкам можно обсудить с соответствующими специалистами.  

• Илья Осиновков рассказывает о задачах машинного обучения в рекомендациях.  

• Используются данные о пользователях и товарах для персонализации рекомендаций.  

• Рекомендации включают похожие, сопутствующие товары и персональные подборки.  

• Цель: показать пользователю аналогичные товары.  

• Отбор кандидатов: товары из той же категории, популярные товары, товары с похожими фотографиями и названиями.  

• Использование данных по атрибутам для определения релевантности.  

• Формирование множества кандидатов.  

• Применение модели машинного обучения для ранжирования.  

• Важные признаки: похожесть по фотографиям, атрибутам, названиям, со-встречаемость в сессиях пользователей, конверсии товара.  

• Расширение интересов пользователя.  

• Отбор кандидатов на основе заказов пользователей.  

• Агрегирование статистики на уровне категорий.  

• Анализ атрибутов товаров для выявления комплиментарности.  

• Понимание интересов пользователя в данный момент.  

• Использование уже отобранных кандидатов.  

• Ретаргетинг и показ релевантных товаров.  

• Напоминание о регулярных покупках.  

• Ранжирование категорий на основе истории пользователя.  

• Оценка релевантности кандидатов к истории пользователя.  

• Учет социальных характеристик пользователя.  

• Анализ ценовых предпочтений и конверсий.  

• Применение моделей на основе признаков.  

• Логирование признаков через Kafka для обучения моделей.  

• Признаки планируются заранее, чтобы гарантировать их соответствие логике обучения.  

• Используются данные трекера для понимания интересов пользователей.  

• Модель обучается с помощью градиентного бустинга.  

• Модель используется для бинарной классификации, ранжирования или их комбинации.  

• Концептуальная схема включает сервисы для логики работы модели.  

• Признаки собираются и логируются через Kafka.  

• Планируется автоматизация обновления модели в проде.  

• Рассматривается замена градиентного бустинга на более тяжелую модель.  

• Важность разнообразия рекомендаций для персонализации.  

• Вопрос о выборе признаков и их оптимизации.  

• Использование русскоязычного контента и планы по локализации.  

• Вопрос о внешних данных для улучшения рекомендаций.  

• Отзывы используются в товарных рекомендациях.  

• Проблема бустинга товаров селлерами.  

• Анализ действий пользователей и интерпретация их поведения.  

• Модель обучается на Spark, инференция на Go.  

• AB-тесты проводятся в сервисе Servergo.  

• Примеры AB-тестов: выбор источников кандидатов и добавление новых признаков.  

• Обсуждение самовыкупов, рейтинга и отзывов.  

• Вопросы про аб-тесты и кликер.  

• Призы нашли своих героев.  

• Представление компании Озон Тех.  

• Ася, чар директор, рассказывает о сообществе разработчиков.  

• Озон Тех присутствует на крупных ИТ-конференциях.  

• Офисы в Москве, Санкт-Петербурге, Астане и Алматы.  

• Удаленная работа и гибридный график.  

• Вакансии публикуются по всей России и Казахстану.  

• Программа стажировок для разработчиков и тестировщиков.  

• Курсы РУТ 2.5.6 для обучения специфике работы в Озон Тех.  

• Отбор через контест, курсы бесплатные.  

• Мероприятия и мероприятия с внешним сообществом.  

• Кьюар-код для обратной связи.  

• Телеграм-каналы с контентом и экспертизой.  

• Рабочие встречи, метапы, подкасты и интервью.  

• Корпоративы, кибер-турниры, клубы по живописи.  

• Поддержка социальной жизни сотрудников.  

• Вопрос о стажировках на Java и важности диплома.  

• Отбор через контест, предпочтение студентам технических вузов.  

• Мало вакансий и стажировок для фронтенда.  

• Призыв к обратной связи и опросам.  

• Обещание улучшений и обновлений.  

• Благодарность за участие и прощание.