Алексей Степанов | Яндекс Как программисты перепридумали поиск для себя

• Леша рассказывает о проекте по улучшению поиска для программистов в Яндексе.  

• Он руководит группой исследований машинного обучения в отделе качества поиска.  

• Цель проекта - улучшить ранжирование документов для программистов.  

• В Яндексе часто занимаются докфудингом, используя свои продукты.  

• Программисты часто ищут запросы, связанные с их профессиональной деятельностью.  

• Метрики показывали, что все хорошо, но программисты были недовольны.  

• Возможные проблемы: метрика, модели, документы с программистских хостов.  

• Собрали эталонный набор оценок для валидации метрики.  

• Получили 1500 оценок, что показало необходимость улучшений.  

• Асессоры не всегда понимают суть запросов по программированию.  

• Наняли асессоров-программистов для разметки запросов.  

• Новая метрика отражает проблемы продукта.  

• Задача поиска в интернете сложна: найти релевантные документы за 100 миллисекунд.  

• Трансформер Яте решает задачу восстановления пропусков и угадывания кликов.  

• Создали отдельный трансформер для запросов по программированию.  

• Трансформер обучен на текстах по программированию.  

• Угадывает клики умных программистов.  

• Сократили размер документов для передачи в трансформер.  

• Разработали модель для классификации запросов по программированию.  

• Использовали модель для рантайма классификации запросов.  

• Улучшили качество поиска для программистов.  

• Проблемы с переобучением моделей при внедрении новых факторов.  

• Решили объединить модели для улучшения качества поиска.  

• Улучшили обучающие данные для улучшения поиска по программированию.  

• Обследовали популярные каналы и придумали запросы для постов.  

• Для каждого запроса нашли релевантные ответы в Telegram.  

• Разметили множество запросов и добавили их в LERN.  

• Результат: чаще стали находить релевантные ответы по запросам, связанным с программированием.  

• Нашли проблему в метрике и улучшили её.  

• Создали новый процесс и улучшили CatBoost.  

• Добавили новые данные, что улучшило поиск ответов по запросам, связанным с программированием.  

• Если метрика не работает, возможно, проблема в ней.  

• Форкайте существующие решения для итеративного улучшения.  

• Вовремя флейте улучшения в общий стек для уменьшения точек отказа.  

• Будет Q&A сессия для вопросов по поиску.  

• Можно написать на почту или в Telegram для обсуждения интересных задач.  

• Благодарность и прощание.