Обучение LLM для бизнеса: практическое руководство с примерами и советами

• Обеспечение разнообразия и количества примеров — ключ к успеху.  

• Модель тренировалась на 12 тысячах примеров.  

• Противоречивые данные могут вызывать «галлюцинации» у модели.  

• Оптимальная архитектура становится мультиагентной сеткой.  

• Количество ошибок снизилось с 18% до 2,5%.  

• Модель стала лучше человека в некоторых задачах.  

• Задача: обучить модель новому языку программирования для банковского продукта.  

• Имеется большая кодовая база без комментариев.  

• Приглашены эксперты для обсуждения подходов к решению задачи.  

• Обсуждение различных подходов к обучению.  

• Сбор датасета из кодовой базы.  

• Обсуждение тем, связанных с процессом обучения.  

• Валерий Ковальский: опыт в LM-движухах, внедрении решений.  

• Глеб: команда по машинному обучению, внедрение RPA-систем.  

• Контекст-лерннинг: модель запоминает данные для ответов.  

• RPA-концепция: использование LLM без сложных разработок.  

• Примеры использования: чат-боты, OpenWeb.  

• Переход к более сложным подходам из-за нехватки контекст-лерннинга.  

• Классический RPA: сбор системы для решения сложных задач.  

• Призыв ставить лайки и оставлять комментарии.  

• Возможность персональных консультаций с экспертами.  

• Идея организации подобных созвонов в будущем.  

• Обсуждение возможности обучения ассистента внутри платформы.  

• Упоминание о различиях в подходах к использованию данных в России и за рубежом.  

• Пример использования Azure в Европе и США.  

• Банки и юридические компании используют системы для обработки чувствительных данных.  

• Обычные пользователи могут использовать системы для общения, но не для загрузки документов.  

• Корпоративные системы разрабатываются специально для корпоративных нужд.  

• Домены знаний создаются из различных источников, включая файлы и Confluence.  

• Процесс разметки данных и создания агента.  

• Подключение нескольких доменов знаний и использование роутера-агента.  

• Создание нового чата и общение с системой.  

• Система показывает источники информации, даже если они закрыты по VPN.  

• Наличие системы лайков и дизлайков.  

• Описание архитектуры с векторной БД и обучением модели в реальном времени.  

• Роль системы аргументов и генерации ответов.  

• Сложность пайплайна по сравнению с нейронными сетями.  

• Необходимость сбора достаточного количества данных для качественного обучения.  

• Проблемы с оптимальной архитектурой RAG и мультиагентной сеткой.  

• Экспериментальный подход к выбору количества данных и модели.  

• Сложность поддержки сложной архитектуры RAG.  

• Методы адаптации форматов вывода: LORA, GOLORA, SFTI.  

• Постобучающие процессы и выравнивание с предпочтениями пользователей.  

• Три распространённых типа датасетов: абстрактный, ОРПА и другие.  

• ОРПА датасеты включают больше инструкций и улучшают показатели моделей.  

• Пример структуры ОРПА датасета: контент, выбор, режект, промт.  

• Описание структуры одной строки ОРПА датасета: контент, чузен, режект.  

• Роль промта в направлении системы на ответ.  

• Примеры возможных ответов и негативных примеров в режекте.  

• Использование подхода тюнинг для генерации инструкций по вопросам пользователей.  

• Структура сэмпла: роль, контекст, инструкция, результат.  

• Пример применения: генерация кода по вопросу пользователя.  

• Объяснение структуры датасетов: чузен предпочтительный ответ, режект отклоненный ответ.  

• Роль промта и вопроса в наведении на поиск чузена в векторном пространстве.  

• Создание синтезированного поля для идентификации начала диалога.  

• Преобразование вопросов пользователей в запросы к API.  

• Генерация датасетов с учётом комбинаций значений для аналитических отчётов.  

• Пример: отчёт по дням, неделям или месяцам.  

• Тренировка модели на 12 тысячах примеров.  

• Важность разнообразия примеров для успешного обучения.  

• Снижение количества ошибок с 18% до 2,5% после балансировки примеров.  

• Генерация вопросов и ответов с помощью шаблонов.  

• Использование ChatGPT для улучшения качества вопросов.  

• Очистка датасетов от искажённых примеров.  

• Написание скрипта для генерации 20 тысяч примеров.  

• Ручная проверка и удаление подозрительных примеров.  

• Использование библиотеки для проверки близости предложений.  

• Выбор модели с лучшей сходимостью и поддержкой русского языка.  

• Подбор гиперпараметров через GridSearch.  

• Тренировка модели с минимальным разбросом метрик по разным типам запросов.  

• Для каждого типа пользовательского вопроса выделяется определённое количество параметров.  

• Метрика рассчитывается как количество правильно извлечённых параметров.  

• Если параметр не извлечён или извлечён неправильно, ставится ноль, иначе — единица.  

• Датасет разбивается на обучающую и тестовую части.  

• Тестовая часть используется для сопоставления ответов модели с вручную созданными примерами.  

• Подход называется «граунд труф».  

• Обсуждаются концепции Ares и Rogas.  

• Rogas — это автоматическая система тестирования, работающая в полуручном или полуавтоматическом режиме.  

• Используется полнотекстовое сравнение или оценка качества с помощью LLM.  

• Важно правильно склеивать адаптер с моделью.  

• Последовательность квантования и деквантования имеет значение.  

• Использование библиотеки Transformer может быть медленным, поэтому итоговую модель создают на VILM.  

• Рекомендуется использовать один фреймворк для обучения, инференции и продакшна.  

• Фреймворки, такие как Olama и CPP, разработаны для экономии ресурсов.  

• VILM позволяет запускать модели с минимальными изменениями и получать те же метрики, что и на бенчмарках.  

• Для обучения модели требуется минимум 1000–5000 примеров.  

• Время обучения может варьироваться от часов до дней в зависимости от количества эпох.  

• На бесплатном Google Colab можно получить LORA.