Современные подходы к матчингу товаров с использованием LLM. Виталий Кулиев, Highload 2024.

• Виталий Кулиев рассказывает о применении больших языковых моделей LLM в компании Wildberries.  

• Он делится своим опытом в разработке и использовании ИИ.  

• Матчинг товаров помогает находить идентичные товары для бизнес-задач и удобства пользователей.  

• Это включает мониторинг цен и группировку карточек товаров.  

• Пайплайн включает использование эмбедингов для поиска кандидатов.  

• Используются три типа эмбедингов: тайтл, текстовое описание и картинки.  

• Затем запускается модель градиентного бустинга для бинарной классификации.  

• Качество матчинга недостаточно для некоторых категорий товаров.  

• Решение проблемы с использованием LLM.  

• LLM извлекают атрибуты из текстового описания карточки товара.  

• Нейросеть корректно извлекает и нормализует атрибуты, такие как бренд, цвет и память.  

• Нейросеть сравнивает значения атрибутов, таких как модель и цвет.  

• Пример с разрешением экрана и процессорами.  

• Использование Vision Language Model для сравнения изображений.  

• Пример с цветом смартфонов, где нейросеть корректно анализирует оттенки.  

• Нейросеть извлекает атрибуты, такие как количество штук товара и наличие подарка.  

• Пример с моделью смартфона и оперативной памятью.  

• Нейросеть корректно распознала черный цвет без указания в тексте.  

• Наличие подарка на наушниках также было распознано.  

• Категория электроники мачится по тексту, одежда — по картинке.  

• Промт для задачи мачинга по картинке включает детальный анализ.  

• Нейросеть квен два вель на 72 миллиарда параметров корректно мачит футболки.  

• Ранее использовались пайпланы для выделения баунинг-боксов.  

• Нейросеть переобучалась на другие элементы, что приводило к ошибкам.  

• Квен два вель корректно мачит футболки на человеке и на виртуальном манекене.  

• Нейросеть корректно мачит футболки с разными лямками и пуговицами.  

• В сложных случаях нейросеть позволяет получить корректный ответ.  

• Основной минус — большое количество вычислений.  

• Решение — генерация синтетических данных и дообучение маленькой модели.  

• Извлечение автора книги с нормализацией данных.  

• Маленькая модель корректно мачит авторов в 64% случаев.  

• Маленькая модель в 64% случаев дает правильные ответы.  

• В 36% случаев ответы отличаются, но не критично.  

• Дообучение модели в десятки раз меньшего размера.  

• Использование нейросети лама три семьдесят б для мачинга.  

• Использование вело лм для запуска нейросетей и обработки запросов.  

• Вело лм поддерживает множество нейросетей и различные типы квантизаций.  

• Основные карты: A100 и A800.  

• Оптимальное значение: нейросеть с 70 миллиардами параметров.  

• Использование достопного железа для экономии.  

• Типы квантизации: VLM и адаптивный бит.  

• Метрики: престиж 92-96%, прикол 30-80%.  

• Время матча: от 2 до 7 секунд.  

• Высокое качество матча.  

• Низкие требования к разметке.  

• Быстрая разработка и промтинг.  

• Минусы: много вычислений на видеокартах.  

• Благодарность за внимание.  

• Ссылки на каналы и личный блог.  

• Призыв к обсуждению и голосованию.  

• Вопрос о подходе с LLM и конфиденс.  

• Вопрос о пайплайнах и до обучении.  

• Вопрос о выборе моделей и их до обучении.  

• Использование трех коллекций данных.  

• Дедупликация данных и получение кандидатов.  

• Оптимизация попарного сравнения товаров.  

• Извлечение атрибутов товара происходит на уровне запроса к модели.  

• Если значения атрибутов не меняются, ответ можно взять из кэша.  

• Это позволяет избежать повторных запросов к нейросети.  

• Промт подбирается вручную, без использования агентной системы.  

• Пример: категория смартфонов, выборка из тысячи товаров.  

• Ошибки нейросети исправляются вручную, например, добавление оттенков цвета.  

• Чем конкретнее запрос, тем лучше нейросеть справляется с ответом.  

• Попарные запросы и по-атрибутный матч улучшают качество.  

• Ошибки могут возникать из-за недостаточной конкретности промта.  

• Используется формат FP-16 или BF-16 для работы с весами.  

• Эффективные ядра, такие как марлин, могут улучшить качество, но снижают скорость.  

• Колонизация подходит по качеству и скорости работы.  

• Товары из трех коллекций не мержатся для аранжировки.  

• Ответы от всех коллекций используются, но дублируются.  

• Пример: 70-80 пар товаров из разных коллекций.  

• Lama 3 и 2 Vision показали результаты хуже, чем Quen 2.  

• Ожидается улучшение от Lama 4.  

• Quen 2.5 лучше справляется с задачами, особенно в мультиязычном формате.  

• Вопросы о подаче промта и его выборе.  

• Призыв к зрителям голосовать за доклад.  

• Поддержка докладчика аплодисментами.