#055 ML Илья Гусев. Как запускать большие языковые модели локально

• Приветствие и представление гостя Ильи Гусева, специалиста в области NLP.  

• Обсуждение его проектов, включая анализатор морфологии и генератор стихов.  

• Введение в тему выпуска: большие языковые модели, запускаемые локально.  

• Начало в 2017 году с статьи о трансформерах для машинного перевода.  

• Появление BERT в 2018 году, который использовал только энкодер для заполнения пропусков в предложениях.  

• GPT-3 в 2020 году, который стал мейнстримом и имеет 175 миллиардов параметров.  

• Объяснение, что такое параметры и их влияние на вычислительные ресурсы.  

• Пример с BERT, который имеет 200 миллионов параметров и требует 7 ГБ оперативной памяти.  

• Важность монетизации для уменьшения потребления памяти и ускорения вычислений.  

• Объяснение, что такое монетизация и её цели.  

• Пример с 32-битной точностью и её неэффективностью.  

• Преимущества 8-битной монетизации для уменьшения потребления памяти и ускорения вычислений.  

• Квантование уменьшает размер модели, но может негативно сказаться на её качестве.  

• Восьмибитная квантизация особенно сложна из-за выбросов в активациях.  

• Выбросы в активациях важны для работы модели и не могут быть удалены без потерь.  

• Адаптеры позволяют дообучать модели, добавляя новые слои.  

• Последовательное добавление адаптеров увеличивает время работы модели.  

• Параллельное добавление адаптеров, как в LORA, позволяет дообучать модели на дешевых устройствах.  

• Адаптеры используются для решения различных задач, таких как анализ тональности и изменение стиля текста.  

• Обучение адаптеров может быть разным в зависимости от задачи.  

• Полное дообучение модели требует значительных ресурсов, поэтому используются различные подходы.  

• Появление адаптеров и квантования привело к увеличению количества моделей и их дообучения.  

• Чат-боты и другие задачи также стимулировали развитие моделей.  

• Базовых моделей немного, но их дообученных версий очень много.  

• Автор приехал на SLIP в конце 2022 года и был впечатлен статьями о языковых моделях.  

• Для русского языка не было хороших моделей, и автор решил создать свою.  

• Проект оказался финансово невыгодным, но автор начал собирать данные для обучения модели.  

• Автор собирал данные для обучения моделей, вдохновляясь запайлом для английского языка.  

• В проекте участвовали несколько человек, включая двух Саш, которые также хотели создать модель для русского языка.  

• Пробовали обучать маленькие модели, но процесс был медленным.  

• ChatGPT и другие модели, такие как Lama и Alpaca, оказали значительное влияние на проект.  

• Автор использовал ChatGPT для создания диалогового сета и дообучения модели.  

• Первая версия модели называлась "Русский Турбо", так как использовала данные ChatGPT.  

• Автор улучшал модели, используя данные из других статей и статей от китайцев.  

• Модель на основе диалогового сета называется "Сайга".  

• Пользователи отмечают отсутствие цензуры и осмысленные ответы, но иногда страдает согласованность слов.  

• Модель обучалась на полной синтетике, что исключает наличие эротики и насилия.  

• Модель не имеет цензуры, но может не отвечать на некоторые вопросы.  

• Модель "Мистраль" была обучена во Франции и показала лучшие результаты, чем Lama.  

• Автор объясняет, что можно извлечь данные из моделей и использовать их для обучения других моделей.  

• Вопрос о том, не приведет ли это к деградации моделей, обсуждается в статье, сравнивающей это с коровьим бешенством.  

• Фильтрация данных помогает улучшить модели, несмотря на использование данных из других моделей.  

• Обсуждаются различные подходы к использованию моделей на локальных машинах.  

• Есть готовые решения для генерации текста, а также возможность использования кода для настройки моделей.  

• Автор делится опытом и советами по использованию больших языковых моделей.  

• Готовые графические интерфейсы, такие как Studio для Mac, позволяют легко общаться с моделями.  

• Для других платформ можно использовать Text-U-Boo, который требует установки репозиториев и зависимостей.  

• Простые модели, такие как LLaMA, требуют установки только одной библиотеки и файла.  

• Можно использовать трансформеры для обучения моделей.  

• Фреймворки, такие как T5, упрощают запуск моделей через Docker.  

• Для обучения моделей лучше использовать трансформеры, а для продакшна – фреймворки.  

• Использование готовых решений, таких как ChatGPT, может быть дешевле, чем разработка локальной модели.  

• Если локальная модель необходима, можно начать с больших моделей и постепенно обучать их.  

• Важно обеспечить доступ модели к данным компании для генерации релевантных ответов.  

• Необходимо подготовить данные для обучения модели, включая релевантные документы.  

• Разметка данных для обучения модели – сложный процесс, требующий качественных данных.  

• Можно использовать ChatGPT для генерации данных, но это требует дополнительных запросов.  

• После обучения на документах, модель нужно дообучить на диалогах для общения с людьми.  

• Использование диалоговых сайтов или инструктивных сайтов для дообучения.  

• Важно использовать поиск для индексации документов и обучения модели.  

• Для локального обучения нужны карточки или большие скидки на них.  

• Для компании с 100 пользователями достаточно одной карточки.  

• Каширование ответов может быть полезным, но не всегда эффективно.  

• Замена токинизатора на LLaMA улучшает качество ответов на русском языке.  

• Использование переводчиков для улучшения качества текстов.  

• Комбинация английской модели и переводчика может быть эффективной.  

• Современные инструменты позволяют запускать модели без глубокого понимания NLP.  

• Важно знать, как скачать и использовать модели, а также заниматься промт-инжинирингом.  

• Для углубленного изучения можно использовать пост на канале Наташи.  

• Обучающие материалы включают видеозаписи, текстовые курсы и ссылки на курсы.  

• Блоги предлагают материалы, которые стоит читать и за которыми стоит следить.  

• Прикладные курсы на GitHub помогают освоить базовые навыки.  

• Работа в Booking и участие в контесте по обучению моделей для приложений.  

• Ведение научной работы у студентов.  

• Планов на будущее пока нет, но есть идеи для сотрудничества со студентами.  

• Лекция о не трансформерных языковых моделях, которые не имеют ограничений эншина.  

• Стрипт Гиена Симулярная модель заменяет старые трансформеры.  

• Новые модели, такие как G5, изменят индустрию и использование инструментов.  

• Удешевление технологий, таких как жестки и карточки.  

• Мультимодальность: модели работают с картинками, текстом и видео.  

• Мир компьютерного зрения и обработки естественных языков пересекаются.  

• Автор курса по разработке телеграм-ботов на фреймворке AIOgram.  

• Продвинутый курс по разработке телеграм-ботов с элементами микросервисной архитектуры.  

• Анонс следующего выпуска подкаста.