Что есть кроме ChatGPT и как это готовить: разворачиваем локальные LLM у себя на компьютере!

• Приветствие участников.  

• Представление Ирины Николаевой из компании «Рафт».  

• Объявление темы выступления: локальные модели машинного обучения.  

• Благодарность за приглашение.  

• Обсуждение взаимодействия с аудиторией.  

• Предложение задавать вопросы в конце презентации.  

• Обзор преимуществ локальных моделей перед API-решениями.  

• Практическое использование моделей на ноутбуке.  

• Обсуждение проблем и возможностей улучшения технологий.  

• Работа с локальными моделями и классическим ML.  

• Применение дипленинг-подходов для оптимизации процессов.  

• Анализ временных рядов и данных.  

• Сравнение опенсорсных моделей с ChatGPT.  

• Выбор модели для конкретных задач.  

• Практическое применение моделей для различных задач.  

• Необходимость установки LM Studio.  

• LM Studio как инструмент для работы с локальными моделями.  

• Гибкость обучения и экспериментов.  

• Настройка пропускной способности.  

• Экономичность при больших запросах.  

• Безопасность данных и процессов.  

• Быстрое проектирование решений с ChatGPT.  

• Ограничения API-решений: закрытые модели и инфраструктура.  

• Локальные модели как альтернатива API-решениям.  

• LLM — новая и популярная технология искусственного интеллекта.  

• Важно использовать LLM аккуратно и только для соответствующих задач.  

• Эффективны в генерации, самореализации и анализе текста.  

• Быстрое получение результатов без длительного обучения.  

• Подходят для общения с пользователями через чат-боты.  

• Не подходят для задач, требующих высокой воспроизводимости результатов.  

• Могут давать разные ответы при одном и том же промте.  

• Не всегда позволяют влиять на выход модели.  

• Локальные модели могут плохо обрабатывать JSON-форматы.  

• Проблемы с автоматизацией систем на локальных моделях.  

• Сравнивайте модели по рейтингам, например, ELR.  

• Тестируйте модели на доменных данных.  

• Используйте SOTA-подход для поиска подходящих моделей.  

• Бенчмарки эволюционируют вместе с развитием LLM.  

• Используйте несколько бенчмарков для оценки моделей.  

• Human feedback помогает выявить слабые места моделей.  

• ELR-рейтинг обновлён, появилась новая модель Com.  

• MT-Bench показывает точность моделей в разных задачах.  

• Сравнение моделей показывает их преимущества и недостатки.  

• Обсуждение возможности работы LLM на Mac с процессорами ниже EMAC.  

• Обсуждение различных подходов к развёртыванию моделей.  

• Упоминание микросервисного пути и пути «самурая».  

• Необходимость двух частей для запуска модели: файла весов и файла с архитектурой.  

• Описание процесса запуска модели с помощью Docker.  

• Роль файла весов в сохранении знаний, полученных моделью во время обучения.  

• Настройка параметров модели и создание API-методов.  

• Объяснение преимуществ использования инструментов с открытым исходным кодом.  

• Пример использования ChatGPT для проверки гипотез.  

• Преимущества использования инструментов для быстрого тестирования моделей.  

• Обсуждение проблем с установкой ChatGPT Studio на Mac.  

• Рекомендации по использованию Jana AI или OpenLM.  

• Призыв к участникам поделиться опытом установки.  

• Описание домашней страницы и поисковика в ChatGPT Studio.  

• Возможность скачивания и просмотра моделей.  

• Пример поиска модели Llama 2.  

• Объяснение различий между моделями Llama 2 по количеству параметров.  

• Влияние квантизации на размер и точность модели.  

• Примеры квантизированных версий модели.  

• Объяснение процесса квантизации как механизма сжатия модели.  

• Влияние методов квантизации на точность и вес модели.  

• Роль нормального распределения в процессе квантизации.  

• Описание различных типов квантизации: логарифмическая, взвешенная, линейная.  

• Влияние типа квантизации на результаты взаимодействия с моделью.  

• Подчёркивание важности понимания процесса квантизации для эффективного использования моделей.  

• Обсуждение различий между промтингом для ChatGPT и локальных моделей.  

• Подчёркивается, что у всех моделей есть общие черты и различия.  

• Указывается на необходимость адаптации промтов под каждую модель.  

• Упоминание туториала от инженера по промтингу для Llama.  

• Базовые правила промтинга включают проверку промтов под каждую модель.  

• Важность учёта цели и дополнительной информации в промтах.  

• Описание техник: декомпозиция задачи, использование затравок, эмоциональный промтинг.  

• Непредсказуемость реакций моделей на затравочные фразы.  

• Ограниченная эффективность ASBI промтинга с локальными моделями.  

• Пример задачи: генерация Docker-файла и инжиниринговой конфигурации.  

• Обзор моделей для задач кодинга: DeepCode, Llama.  

• Сравнение точности локальных моделей с ChatGPT.  

• Обсуждение мультиязычности моделей: обучение на английском и русском языках.  

• Примеры моделей, поддерживающих русский язык: Saiga, Llama.  

• Сложности с генерацией русского языка в некоторых моделях.  

• Описание моделей Mistral и их особенностей.  

• Преимущества моделей Armes для работы с русским языком.  

• Технические детали квантования моделей.  

• Выбор модели DeepCode для задачи.  

• Загрузка модели и настройка системного промта.  

• Добавление лайфхаков в системный промт для улучшения результатов.  

• Копирование системного и пользовательского промтов из презентации.  

• Возможность одновременного запуска промтов.  

• Настройка использования GP и контекстной длины.  

• Проблемы с увеличением окна при анализе логов на Mac.  

• Просьба отметить в чате, если модель скачана и запущена.  

• Модели подтягиваются с Hugging Face, а не с официального сайта.  

• Примеры неудачных моделей, удалённых с Hugging Face.  

• Рекомендация начинать с моделей с большим количеством скачиваний.  

• Пример скачивания модели DeepSet.  

• Проверка количества оперативной памяти на Macbook.  

• Генерация джинс-конфигурации для Docker-контейнера.  

• Проверка портов и локаций в конфигурации.  

• Генерация докер-компоста на основе джинс-конфигурации.  

• Комментарии в коде для замены холдеров.  

• Сравнение результатов DeepSet и Llama.  

• DeepSet показывает лучшие результаты по генерации кода.  

• Llama обучена на лонг-контексте и питоновском коде.  

• Инстракт-версия Llama лучше подходит для чётких инструкций.  

• DeepSet сохраняет точность даже при добавлении программного участия.  

• Скорость ответа зависит от технических характеристик железа, на котором запускается модель.  

• Размер промта и размер модели также влияют на скорость обработки запросов.  

• Сравнение результатов на разных моделях может быть интересным.  

• Kaggle — сайт, где проводятся соревнования для дата-сайентистов.  

• Компании выкладывают свои данные, и участники создают модели.  

• На сайте доступны открытые датасеты и лидерборды для сравнения моделей.  

• Обсуждается датасет с DDoS-атаками, развившими порт 50913.  

• Модель не всегда точно определяет наличие атак, иногда просто переписывая логи.  

• Для точного ответа требуется дополнительная настройка модели.  

• Утечки систем промт и меморизация в моделях могут привести к утечкам персональных данных.  

• Большие языковые модели могут содержать персональные данные из-за неопределённости данных, на которых они обучены.  

• Важно отслеживать и предотвращать утечки персональных данных.  

• Подготовка чистых данных для обучения моделей.  

• Использование предобученных моделей для фильтрации персональных данных, например, NER для неймагнишинга.  

• Применение DLT для файтюнинга моделей.  

• Пример использования предобученной модели для фильтрации данных: «я сегодня буду переводить десять миллионов рублей по адресу».  

• Модель распознала классы персональных данных и денег.  

• Обсуждаются способы борьбы с утечкой персональных данных.  

• Упоминаются статьи о мимонизации и повторении данных.  

• Модели могут давать недостоверную информацию и менять язык.  

• Стахастичность и арабасность описывают случайные процессы в моделях.  

• Нестрогий формат вывода, например, JSON, вызывает сомнения в качестве ответов.  

• Применение RAK для создания векторной базы знаний.  

• Трудности при поиске ответов в нескольких документах.  

• Поиск компромисса между качеством и размерами моделей.  

• Фачунинг позволяет обучать модели на собственных данных.  

• Методы: LORA, PEVT, QLORA.  

• LORA ускоряет обучение благодаря низкому рангу матриц.  

• Модели воспринимают фронты неравномерно.  

• Контекстное окно моделей может быть разным.  

• Размер фронта влияет на результат, но нет универсальных правил для промтинга.  

• Появление новых методов, таких как GALORA.  

• Миксер-эксперт подходы и объединение моделей.  

• Оптимизация и квантование моделей.  

• Приглашение задавать вопросы и предложения.  

• Анонс фреймворка для фачунинга от компании Raft.  

• Призыв подписаться на телеграм-канал для получения обновлений.  

• В чате много запросов на вебинар с практическими примерами по фантюнингу и обучению локальных моделей.  

• Предлагается провести отдельный вебинар по использованию консорсного фреймворка.  

• Сегодня была заложена хорошая база для дальнейших обсуждений.  

• Обсуждение минимальных и оптимальных компьютеров для задач, а также облачных решений.  

• Важность проверки модели на своих данных перед развёртыванием.  

• Примеры стоимости развёртывания моделей в облаке: квантовая модель на карточке A2 стоит около 12 тысяч рублей в месяц, а модель 70B требует нескольких карт A100 и обходится почти в миллион рублей в месяц.  

• Mistral 7B можно развёртывать на карточках типа A2, 390, 490.  

• Mistral 8x7B требует четырёх карт A100 для развёртывания.  

• Рекомендации по использованию Docker и Triton для развёртывания моделей.  

• Обсуждение использования LEM для реагирования на инциденты и предотвращения слива конфиденциальных данных.  

• Рекомендация использовать классические модели для детекции аномалий и алармирования, а не LEM, из-за риска принятия неправильных решений.  

• Подчёркивание важности осторожности при использовании LEM в чувствительных кейсах.  

• Благодарность спикерам и организаторам воркшопа.  

• Призыв к продолжению сотрудничества и взаимодействию в сообществе.  

• Пожелания хороших выходных и прощание.