Что умеет YandexGPT 5 и как она поселилась в чате с Алисой (yet another podcast #47)

• Обсуждение актуальности больших языковых моделей LLM.  

• Упоминание о выпуске пятой версии Яндекс.GPT-5.  

• LLM встраиваются в различные продукты Яндекса, включая облако и Алису.  

• Участники обсуждения: Саша Боймель, Дима Рыбалка и Виталий Данилкин.  

• LLM стали обязательным элементом высокотехнологичных продуктов.  

• Примеры использования LLM в профессиональных сценариях.  

• Провайдеры моделей, такие как Яндекс.Облако и западные сервисы, зарабатывают на LLM.  

• Инструменты для разработчиков помогают адаптировать модели под бизнес-сценарии.  

• Готовые решения на базе LLM решают конкретные прикладные задачи.  

• Яндекс.GPT-5 пока не приносит прибыли, но зарабатывает на подписке.  

• Другие игроки рынка, такие как Anthropic и DABS, также успешно ведут бизнес.  

• Яндекс предоставляет базовые модели, инструменты для разработчиков и готовые решения.  

• Примеры продуктов: ассистент API, саппорт-пять, суфлёры для операторов.  

• Пятое поколение Яндекс.GPT-5 значительно улучшило качество.  

• Значительный скачок в решении задач классификации, суммаризации и математики.  

• Бенчмарки проверяют узкие задачи и далеки от реального использования.  

• Попарное сравнение моделей SBS позволяет оценить качество на реальных задачах.  

• Оценка моделей людьми с инструкциями по важности критериев.  

• Сравниваются с собственными моделями для улучшения.  

• Используются международные бенчмарки, включая OpenAI GPT-4.  

• Создаются собственные внутренние бенчмарки для оценки эффективности.  

• Чат-бот арены не отражают реальные задачи пользователей.  

• Запросы на аренах часто не связаны с реальными потребностями.  

• Разметка ответов на аренах может отличаться от реальных критериев оценки.  

• Автоматизируются задачи для создания бенчмарков.  

• Собираются репрезентативные запросы для оценки моделей.  

• Создаются отдельные «корзинки» для улучшения конкретных аспектов моделей.  

• Обучение LLM состоит из двух этапов: предварительного обучения на всех данных интернета и последующего обучения на конкретных задачах.  

• Предварительный этап оптимизирован с использованием опенсорсной модели QNL.  

• После предварительного обучения модель адаптируется под конкретные задачи.  

• Яндекс активно выкладывает свои модели в опенсорс.  

• Модель «Лайт» лучше аналогов на QNL в прикладных задачах российского бизнеса.  

• Модель «8B» также лучше аналогов и сравнима с GPT-4 Mini.  

• Релиз интракт-версии модели, которая решает конкретные задачи.  

• Упрощена лицензия, теперь можно генерировать до 10 миллионов токенов в месяц.  

• Модели полезны для локальных исследований и небольших бизнесов.  

• Опенсорсные модели стимулируют исследования и улучшения.  

• Пример DeepMind показывает, как пользователи могут улучшать модели.  

• Запуск моделей на русском языке способствует развитию исследований.  

• Китайские компании, такие как DeepMind, неожиданно стали популярными в профессиональном сообществе.  

• DeepMind ранее был известен как биржевая компания, занимавшаяся арбитражем.  

• Их модели стали популярными благодаря высокому качеству и эффективности.  

• DeepMind провёл значительную инженерную работу для оптимизации процесса обучения моделей.  

• Компания эффективно распределяет и обрабатывает данные, что позволяет обучать модели быстро и дёшево.  

• Оптимизация процесса обучения делает модели DeepMind конкурентоспособными.  

• DeepMind выложили свои модели в опенсорс, что удивило многих.  

• Открытость моделей привлекла внимание и способствовала их популярности.  

• Несмотря на то что опенсорсные модели уступают лидерам, они привлекают аудиторию.  

• Модели с глубоким размышлением, такие как R-1 от DeepMind, генерируют множество гипотез и проверяют их.  

• Эти модели требуют значительных ресурсов и не подходят для всех задач.  

• Глубокое размышление полезно для решения сложных многошаговых задач.  

• Клиенты часто просят модели с глубоким размышлением для решения сложных задач.  

• После выхода новых моделей, таких как Llama и QN, клиенты активно интересуются их возможностями.  

• Пользователи начинают видеть потенциал в моделях с глубоким размышлением и хотят их использовать.  

• Модели с глубоким размышлением не являются «серебряной пулей», но могут помочь в решении сложных задач.  

• Они полезны для обработки многошаговых задач, требующих глубокого анализа.  

• Ожидается, что модели с глубоким размышлением будут становиться всё более востребованными.  

• ResNet позволяет создавать ассистентов, которые решают множество задач за человека.  

• Обсуждается потенциал ResNet для автоматизации последовательных шагов.  

• Агенты становятся популярными после выхода нового GPT-5.  

• Ожидается массовое применение агентов через 3–5 лет.  

• В 2025 году не ожидается значительного бума в развитии агентов.  

• Агент — это модель с системными инструкциями и набором функций.  

• Логика выполнения задач остаётся вне нейронной сети.  

• Многие компании уже создают прототипы агентов.  

• Базовый подход включает поиск ответов в текстовой базе знаний.  

• Для сложных задач требуется сбор информации из нескольких источников.  

• Чистый поиск не является полноценным агентом.  

• Самый частый запрос — поиск по внутренней базе знаний компании.  

• ЛЛМ не знают внутренней документации и процессов компании.  

• Важна способность модели отвечать по внутренней базе клиента.  

• ЛЛМ используются для автоматизации технической и общей поддержки.  

• Первый этап — суфлёры, помогающие операторам.  

• Некоторые клиенты опасаются выводить ЛЛМ вовне из-за рисков.  

• Речевая аналитика анализирует общение с ботами и операторами.  

• Анализируется эмоциональная составляющая общения, уровень раздражения клиентов.  

• Несмотря на хорошую работу бота, 10% клиентов ставят нулевую оценку.  

• Колл-центры — одно из самых популярных направлений применения ЛЛМ.  

• Ассистенты и помощники используются практически в любой индустрии.  

• Поддержка имеет свой формат ответов, отличающийся от внутреннего общения.  

• Ответы должны учитывать контекст переписки и внутренние системы компании.  

• Модель должна следовать «тону войск» и инструкциям, принятым в компании.  

• Саппорт-чип изначально разрабатывался для Яндекс Маркета.  

• Внедрение саппорт-чипа снизило среднее время обработки запросов на 15%.  

• Операторы могут использовать готовые ответы, предложенные саппорт-чипом.  

• Саппорт-чип адаптируется под специфику каждого подразделения Яндекса.  

• База знаний может быть текстовой, включать картинки и таблицы.  

• Планируется вывод саппорт-чипа на внешний рынок.  

• Разработчики могут настраивать ассистента под свои задачи.  

• Пример: создание помощника по хадисам с помощью Python.  

• Нейроэксперт предназначен для студентов и подготовки к экзаменам.  

• Нейроэксперт работает с PDF, DOC и другими файлами.  

• Поддерживает графики, но пока не работает с видео и аудио.  

• В планах добавление функционала для решения задач.  

• Яндекс GPT-5 Pro улучшил качество ответов Алисы.  

• Алиса теперь лучше решает математические задачи и пишет код.  

• Пример улучшения: Алиса правильно отвечает на запрос о вегетарианских пиццах, не выдумывая несуществующие варианты.  

• Алиса умеет искать информацию в интернете для ответов на сложные вопросы.  

• Пример запроса: «Напиши статью про трубы такие-то, ГОСТ такой-то».  

• Это позволяет Алисе предоставлять более точные и подробные ответы.  

• Алиса теперь одинаково хорошо решает задачи на русском и английском языках.  

• Основные задачи на английском связаны с переводом и адаптацией деловой корреспонденции.  

• Возможность попросить Алису написать стихи на английском.  

• Алиса прошла путь от голосового ввода в приложении поиска до универсального ассистента.  

• Сейчас Алиса работает на генеративных технологиях и готова решать любые задачи.  

• В чате с Алисой можно выбрать технологии Яндекс GPT-5, GPT-5 Pro и GPT-5 Lite.  

• Режим технологий позволяет попробовать технологии без обучения под ассистентский сценарий.  

• Спрос на технологии Яндекс GPT-5 среди разработчиков.  

• Планируется добавление Яндекс Арт для более продвинутого режима взаимодействия.  

• Упоминание о будущих обновлениях, включая память и зрение.  

• Алиса имеет свою персонажность, отличающую её от других ассистентов.  

• В версии Pro Алиса стала более утилитарной, сохраняя эмоции там, где они уместны.  

• Алиса ближе к Алексе и Джемини по персонажности.  

• Клод ориентирован на разработчиков, ему не нужна персонажность, важен исполнительный инструмент.  

• Прототипы будущего уже видны, например, режим «Оператор» в Уне.  

• Автоматизация задач в интернете для конечных пользователей.  

• Агенты будут выполнять рутинные задачи, такие как выбор кондиционера или бронирование билетов.  

• LLM-инструменты уже отвечают на вопросы по базе данных.  

• Бизнес имеет более высокие ожидания к работе технологий и требует больше контроля и безопасности.  

• Первый шаг — генерация ответов, следующий этап — более сложные задачи.  

• Агент может создавать задачи в трекере, назначать исполнителей и выполнять другие действия.  

• Первые прототипы агентов существуют, но качество пока не позволяет полностью внедрить их в производство.  

• Инфраструктурные ограничения могут замедлить развитие агентов.  

• Сбор данных для обучения моделей становится сложнее из-за необходимости генерации собственных данных.  

• Компании уже собрали большую часть полезных данных, что замедляет рост качества моделей.  

• Масштабирование сбора данных требует значительных ресурсов.  

• Модели начинают генерировать собственные данные для обучения.  

• Тренеры остаются важными для проверки качества данных и обучения моделей.  

• Ризинг будет активно развиваться, особенно для новых доменов.  

• Ризинг требует набора задач и реворда для оценки успеха модели.  

• Пример успешного ризинга — предсказание конверсий и покупок.  

• Задача ближайшего года — научиться делать ризинг для более жизненных кейсов.  

• Генеративные тексты могут ухудшить качество данных для обучения моделей.  

• Отсеивание генеративных текстов остаётся сложной задачей.  

• Некоторые модели проще отличить от реальных текстов.  

• Промто-инжиниринг остаётся важным навыком для взаимодействия с моделями.  

• Нейросети учатся понимать запросы, но промты остаются необходимыми.  

• Контекстное взаимодействие помогает лучше понимать потребности пользователя.  

• Промты должны быть понятными для модели и человека.  

• Сложные задачи лучше разбивать на несколько промтов.  

• Важно правильно формулировать желания модели.  

• Самый популярный запрос — ошибка по квоте.  

• Часто возникают вопросы об этике использования моделей.  

• Студенты часто просят бесплатные модели для курсовых работ.  

• В Яндекс Клауд можно использовать различные модели, включая OpenAI.  

• Пользователи часто просят модели DeepMind, но это ограничено из-за вопросов безопасности персональных данных.  

• Самый частый запрос — «резинг» в Алисе.  

• Второе по популярности — работа с документами.  

• В чате с Алисой есть пробные запросы для тех, кто не купил Pro-версию.  

• Подписчиков Pro-версии более двух миллионов.  

• Обновление от 25 февраля получило позитивный отклик.  

• Пользователи чувствуют прирост в качестве и решают больше задач.  

• Продукт универсален и может решать широкий спектр задач.  

• Модель умеет отвечать на вопросы, генерировать тексты, переписывать тексты и систематизировать информацию.  

• Генерация текста включает советы, планирование и подготовку профессиональных документов.  

• Алиса знала о программисте Алексее, который её создал или живёт с ней.  

• Это знание было удалено из обучения Алисы, но иногда появляется в разговоре.  

• Пользователи могут запросить информацию у Алисы о программисте Алексее.  

• Вопросы закончились, спасибо участникам за терпение и ответы.