В начале было слово. Лекция про развитие генеративного ИИ (GenAI)

• Благодарность за присутствие на лекции.  

• Тема лекции: «В начале было слово», но обсуждение будет о том, какое слово должно было быть в конце.  

• Компания фокусируется на проектах в области искусственного интеллекта и кибербезопасности.  

• Изменения в генеративном ИИ имеют тектонический характер.  

• Лекция в научно-популярном формате для инженеров, предпринимателей и учёных.  

• Обсуждение прошлого, настоящего и будущего генеративного ИИ.  

• Избегание дешёвого футуризма.  

• Булат, сооснователь группы компаний «Технократия».  

• Выручка группы превышает миллиард рублей, более 400 сотрудников.  

• Опыт работы с промышленностью и банками.  

• Три компании в сфере услуг: искусственный интеллект, нео-банки, апкшн-секьюрити.  

• Потеря значительных средств на стартапах.  

• Фокус на генеративном ИИ, а не на всём ИИ.  

• Бум языковых моделей и трансформеров.  

• Технологические революции и лидирующие компании.  

• Мобильная революция и её влияние на бизнес.  

• Облачные сервисы и сервисы по подписке.  

• Новый цикл масштабирования компаний вокруг генеративного ИИ.  

• Треть мирового венчурного капитала в генеративный ИИ.  

• Проект «Старгейт» от США: 500 миллиардов долларов на дата-центры.  

• Возможность взлома математики и научного прогресса.  

• Генеративный ИИ как мощное оружие.  

• 74% организаций фиксируют рост в области генеративного ИИ.  

• Прибыль на каждый вложенный доллар.  

• Российские компании, такие как «Авито», инвестируют в генеративный ИИ.  

• Лидеры: Яндекс и Сбербанк.  

• Россия в гонке за технологиями, несмотря на отставание от США и Китая.  

• Первый диалоговый бот имитировал психолога.  

• Второй бот, Перри, имитировал параноидального шизофреника.  

• Проект Элис отличался активным участием комьюнити в программировании диалогов.  

• Боты работали примитивно, используя программируемые диалоги.  

• Психолог рекурсивно переспрашивал о состоянии пользователя.  

• Шизофреник мог отклоняться от темы, что было несерьёзно.  

• Машинное обучение стало ключевым для развития языковых моделей.  

• Для понимания работы больших языковых моделей важно знать концепцию эмбедингов.  

• Три этапа: цепи Маркова, рекуррентные нейронные сети, трансформеры.  

• Цепи Маркова предсказывают слова на основе анализа текста.  

• Пример реализации: T9.  

• Эволюция: предсказание комбинаций слов.  

• Рекуррентные нейронные сети имеют память благодаря свойству рекуррентности.  

• Проблема: тяжёлые вычисления при обработке большого объёма текста.  

• Лонгшорм-модели пытались решить проблему контекстного окна.  

• Эмбединги представляют слова в виде векторов для упрощения обработки.  

• Контекстуализированные эмбединги учитывают контекст слов.  

• Пример: слово «коса» может означать причёску или инструмент для кошения травы.  

• Трансформеры — следующий шаг в развитии языковых моделей.  

• Они позволяют векторно упаковывать язык, учитывая контекст.  

• Технология трансформеров с механизмом внимания появилась благодаря статье, которая имеет историческое значение.  

• Статья сравнивается с работой Алана Тьюринга о возможности машин мыслить.  

• Алгоритм внимания в трансформерах позволяет параллельно анализировать каждое слово в предложении.  

• Параллельные вычисления стали возможны благодаря прогрессу в области видеокарт.  

• GPT-5 использует механизм внимания для анализа огромных массивов текста из интернета.  

• Большие языковые модели способны задавать множество вопросов тексту, анализируя его с разных углов.  

• Пример визуализации работы трансформеров в трёхмерном пространстве.  

• Вектор в многомерном пространстве кодирует информацию о слове «king» и его контексте.  

• Современные модели обладают «мышлением», применяя когнитивные стратегии для понимания запросов.  

• Думающие модели строят цепочки логических рассуждений и объясняют свой ход мысли.  

• Недумающие модели предсказывают следующий токен, но могут застревать на шаблонных ответах.  

• Думающие модели адаптируются, моделируют и объясняют ход своих мыслей.  

• Цепочка мыслей позволяет моделям имитировать человеческую рациональность.  

• Языковые модели рассматриваются как универсальный инструмент для создания универсальных систем.  

• Языковые модели сравниваются с операционной системой мышления человечества.  

• Люди используют различные когнитивные стратегии для извлечения ответов из языковых моделей.  

• Люди сложно остаются рациональными, в отличие от машин.  

• Машины способны постоянно находиться в состоянии системы два.  

• Развитие технологий от цепей Маркова до трансформеров.  

• Компании экспериментируют с когнитивными стратегиями для оптимизации выдачи.  

• Концепция разбиения большого синтетического мозга на маленькие мозги для решения конкретных задач.  

• Пример: отдельный «мозг» для математики, отдельный — для расстановки запятых.  

• Роутер понимает суть запроса и активирует нужный «мозг», экономя электричество.  

• Ключевые критерии для развития ИИ: компетенции, вычислительные мощности и дешёвое электричество.  

• Создание больших моделей с множеством параметров.  

• Конкуренция за создание дистиллированных моделей и квантизация данных.  

• Цель: языковая модель в смартфоне без выхода в интернет.  

• Предложение задать вопросы в конце.  

• Обсуждение применения ИИ в бизнесе.  

• Архитектура RAG: Retrieval-Augmented Generation.  

• Проблема больших языковых моделей: они не знают контекста бизнеса.  

• Создание векторной базы знаний для бизнеса.  

• Викторизация текста для преобразования в векторные представления.  

• Рост числа стартапов, связанных с RAG-платформами.  

• Экономия времени на бесполезной коммуникации.  

• Мини-мозг компании, знающий всё о бизнесе.  

• Возможность работы с чувствительными данными.