Технологии за современными LLM // Демо-занятие курса «NLP / Natural Language Processing»

• Приветствие участников и проверка звука и связи.  

• Упоминание о возможном переходе на мобильный интернет при проблемах с Wi-Fi.  

• Начало обсуждения больших языковых моделей GPT.  

• Призыв к участникам представиться и кратко описать свой опыт и цели.  

• Указание на важность неформальной атмосферы и возможность использования "ты".  

• Представление спикера: Мария Тихонова, кандидат компьютерных наук, исследователь СберДевайсов и доцент ВШЭ.  

• Описание формата вебинара: использование микрофона, вопросы в чате, активное участие участников.  

• Упоминание о важности качества звука и связи.  

• Призыв подписываться на телеграм-канал для получения полезных материалов и анонсов.  

• Описание формата интенсива: быстрый темп, максимум информации за короткое время.  

• Упоминание о том, что на занятиях материал будет прорабатываться более глубоко.  

• Введение в тему больших языковых моделей и их влияние на современные технологии.  

• Описание образовательного проекта Отус: онлайн-образование, линейка курсов, образовательная лицензия.  

• Упоминание о важности получения глубоких знаний и их практического применения.  

• Призыв к участникам делиться своим опытом и знаниями.  

• Призыв к участникам написать в чат, если они впервые на вебинаре или уже проходили курсы Отус.  

• Упоминание о более камерной атмосфере и удобном формате на занятиях.  

• Переход к обсуждению больших языковых моделей и их влияния на современную жизнь.  

• Большие языковые модели LLM постепенно заменяют информационный поиск.  

• LLM используются в поисковых системах и чат-ботах, таких как ChatGPT.  

• LLM выполняют сложные поручения, такие как бронирование билетов и перевод текстов.  

• LLM открывают новые горизонты в NLP, влияя на написание текстов, слоганов и программного кода.  

• Маркетологи активно используют LLM для создания контента.  

• LLM становятся необходимым навыком, как умение гуглить.  

• LLM помогают писать код и тексты, а также создавать сценарии и сюжеты.  

• GigaChat, отечественная разработка, может вести диалог, создавать сценарии и рисовать картины.  

• GigaChat доступен в Telegram и может отвечать на вопросы и создавать креативный контент.  

• Языковые модели работают с текстовой информацией, а не с речью.  

• Они имитируют работу человеческого мозга, предсказывая вероятность следующего слова.  

• LLM обучаются на больших корпусах текстов, чтобы предсказывать следующее слово в предложении.  

• Современные языковые модели используют архитектуру трансформеров.  

• Трансформеры позволяют модели обобщать и предсказывать текст на основе контекста.  

• Трансформеры стали доминирующей архитектурой в области языкового моделирования.  

• GPT расшифровывается как "Generative Pre-trained Transformer".  

• Трансформеры имитируют человеческое восприятие текста, фокусируясь на важных контекстных словах.  

• Эти модели стали стандартом в области NLP, и их количество продолжает расти.  

• В основе трансформеров лежит механизм внимания, имитирующий человеческое восприятие текста.  

• Модели учатся фокусироваться на важных словах для лучшего понимания текста.  

• Трансформеры стали стандартом в NLP, и их использование продолжает расти.  

• В 2018 году был предложен подход предобучения больших моделей и их дообучения под конкретные задачи.  

• Предобученные модели можно многократно использовать и адаптировать под разные задачи.  

• Этот подход был революционным и позволил использовать трансформеры для различных задач.  

• BERT был первой моделью, предобученной и выложенной в открытый доступ.  

• BERT показал впечатляющие результаты на основных задачах NLP.  

• BERT стал основой для многих последующих моделей, включая GPT.  

• GPT-3 была генеративной трансформерной моделью с 175 миллиардами параметров.  

• Модель обучалась на огромном объеме английских текстов и могла генерировать текст.  

• GPT-3 видела весь интернет и научилась многому о языке и мире.  

• GPT-3 не всегда понимала намерения пользователей и генерировала ответы, основанные на предыдущих примерах.  

• Для решения этой проблемы было предложено инструктивное обучение.  

• Авторы GPT-3 создали инструктивный датасет с примерами правильных ответов на запросы.  

• Инструктивное обучение помогает моделям правильно реагировать на запросы пользователей.  

• Авторы GPT-3 создали датасет с примерами правильных ответов на запросы.  

• Это позволило GPT-3 и GPT-3.5 лучше понимать и выполнять инструкции пользователей.  

• ChatGPT может анализировать код и выдавать правильные ответы.  

• Пример анекдота, придуманного ChatGPT: пациент жалуется психологу на навязчивые мысли о машинном обучении.  

• Модель старается выполнить просьбу, но качество анекдота вызывает вопросы.  

• Обсуждение вопросов из чата и переход к теме агентов.  

• Агенты и мультимодальные агентные системы.  

• Первый шаг к агентам: возможность моделей обращаться к базам знаний.  

• Модели могут обманывать, но базы знаний помогают избежать этого.  

• Модели обращаются к базам знаний для фактологических вопросов.  

• Это делает языковые модели более надежными.  

• Прогнозы на развитие LLM и генеративного видео в 2025 году.  

• Агенты как виртуальные ассистенты и помощники.  

• LLM как мозг, дополненный инструментами.  

• LLM как мозг робота, получающий указания и передающий сигналы.  

• Объединение нескольких LLM в мультиагентные системы.  

• Пример использования в образовании для обучения мягким навыкам.  

• Ответы на вопросы о производительности и ресурсах.  

• Важность вычислительной мощности для генерации ответов.  

• Уменьшение галлюцинаций благодаря базам знаний.  

• Курс стартует в конце января и длится четыре месяца.  

• Включает основы и продвинутые методы LLM и агентов.  

• Формат занятий: вебинары два раза в неделю с возможностью просмотра записей.  

• Введение в NLP, парсинг данных, визуализация данных.  

• Работа с нейронными сетями и трансформерными моделями.  

• Обсуждение последних технологий применения LLM и агентов.  

• Интеграция моделей в Telegram-боты для демонстрации заказчику.  

• Изучение распределенного обучения и тематического моделирования.  

• Возможность выбора проекта из рабочей задачи или создание креативного проекта.  

• Студенты с конфиденциальными данными могут рассказывать о проекте без предоставления кода.  

• Поддержка и направление в решении задач.  

• Возможность публикации статей на Хабре для лучших проектов.  

• Домашние задания для отработки навыков и применения моделей.  

• Менторы помогают в решении сложных задач.  

• Условные дедлайны для выполнения заданий.  

• Анонс запуска нового курса по НЛП в марте или апреле.  

• Информация о календаре запуска курсов на платформе.  

• Языковые модели используются для решения новых задач.  

• Трансформеры и инструктивное обучение делают модели помощниками.  

• Виртуальные ассистенты становятся реальностью.  

• Возможность стать специалистом по НЛП и дата-сайнс.  

• Курс стартует 29 января и длится четыре месяца.  

• Навыки работы с классическими методами НЛП.  

• Запись вебинара будет доступна в телеграм-канале.  

• Приглашение на открытые уроки и вебинары по дата-сайнс.  

• Занятия будут вести опытные специалисты в своих областях.