В начале было слово. Лекция про развитие генеративного ИИ (GenAI)

• Благодарность за присутствие на лекции.  

• Тема лекции: «В начале было слово», но обсуждение будет о том, какое слово должно было быть в конце.  

• Компания фокусируется на проектах в области искусственного интеллекта и кибербезопасности.  

• Изменения в генеративном ИИ имеют тектонический характер.  

• Лекция в научно-популярном формате для инженеров, предпринимателей и учёных.  

• Обсуждение прошлого, настоящего и будущего генеративного ИИ.  

• Избегание дешёвого футуризма.  

• Булат, сооснователь группы компаний «Технократия».  

• Выручка группы превышает миллиард рублей, более 400 сотрудников.  

• Опыт работы с промышленностью и банками.  

• Три компании в сфере услуг: искусственный интеллект, нео-банки, апкшн-секьюрити.  

• Потеря значительных средств на стартапах.  

• Фокус на генеративном ИИ, а не на всём ИИ.  

• Бум языковых моделей и трансформеров.  

• Технологические революции и лидирующие компании.  

• Мобильная революция и её влияние на бизнес.  

• Облачные сервисы и сервисы по подписке.  

• Новый цикл масштабирования компаний вокруг генеративного ИИ.  

• Треть мирового венчурного капитала в генеративный ИИ.  

• Проект «Старгейт» от США: 500 миллиардов долларов на дата-центры.  

• Возможность взлома математики и научного прогресса.  

• Генеративный ИИ как мощное оружие.  

• 74% организаций фиксируют рост в области генеративного ИИ.  

• Прибыль на каждый вложенный доллар.  

• Российские компании, такие как «Авито», инвестируют в генеративный ИИ.  

• Лидеры: Яндекс и Сбербанк.  

• Россия в гонке за технологиями, несмотря на отставание от США и Китая.  

• Первый диалоговый бот имитировал психолога.  

• Второй бот, Перри, имитировал параноидального шизофреника.  

• Проект Элис отличался активным участием комьюнити в программировании диалогов.  

• Боты работали примитивно, используя программируемые диалоги.  

• Психолог рекурсивно переспрашивал о состоянии пользователя.  

• Шизофреник мог отклоняться от темы, что было несерьёзно.  

• Машинное обучение стало ключевым для развития языковых моделей.  

• Для понимания работы больших языковых моделей важно знать концепцию эмбедингов.  

• Три этапа: цепи Маркова, рекуррентные нейронные сети, трансформеры.  

• Цепи Маркова предсказывают слова на основе анализа текста.  

• Пример реализации: T9.  

• Эволюция: предсказание комбинаций слов.  

• Рекуррентные нейронные сети имеют память благодаря свойству рекуррентности.  

• Проблема: тяжёлые вычисления при обработке большого объёма текста.  

• Лонгшорм-модели пытались решить проблему контекстного окна.  

• Эмбединги представляют слова в виде векторов для упрощения обработки.  

• Контекстуализированные эмбединги учитывают контекст слов.  

• Пример: слово «коса» может означать причёску или инструмент для кошения травы.  

• Трансформеры — следующий шаг в развитии языковых моделей.  

• Они позволяют векторно упаковывать язык, учитывая контекст.  

• Технология трансформеров с механизмом внимания появилась благодаря статье, которая имеет историческое значение.  

• Статья сравнивается с работой Алана Тьюринга о возможности машин мыслить.  

• Алгоритм внимания в трансформерах позволяет параллельно анализировать каждое слово в предложении.  

• Параллельные вычисления стали возможны благодаря прогрессу в области видеокарт.  

• GPT-5 использует механизм внимания для анализа огромных массивов текста из интернета.  

• Большие языковые модели способны задавать множество вопросов тексту, анализируя его с разных углов.  

• Пример визуализации работы трансформеров в трёхмерном пространстве.  

• Вектор в многомерном пространстве кодирует информацию о слове «king» и его контексте.  

• Современные модели обладают «мышлением», применяя когнитивные стратегии для понимания запросов.  

• Думающие модели строят цепочки логических рассуждений и объясняют свой ход мысли.  

• Недумающие модели предсказывают следующий токен, но могут застревать на шаблонных ответах.  

• Думающие модели адаптируются, моделируют и объясняют ход своих мыслей.  

• Цепочка мыслей позволяет моделям имитировать человеческую рациональность.  

• Языковые модели рассматриваются как универсальный инструмент для создания универсальных систем.  

• Языковые модели сравниваются с операционной системой мышления человечества.  

• Люди используют различные когнитивные стратегии для извлечения ответов из языковых моделей.  

• Люди сложно остаются рациональными, в отличие от машин.  

• Машины способны постоянно находиться в состоянии системы два.  

• Развитие технологий от цепей Маркова до трансформеров.  

• Компании экспериментируют с когнитивными стратегиями для оптимизации выдачи.  

• Концепция разбиения большого синтетического мозга на маленькие мозги для решения конкретных задач.  

• Пример: отдельный «мозг» для математики, отдельный — для расстановки запятых.  

• Роутер понимает суть запроса и активирует нужный «мозг», экономя электричество.  

• Ключевые критерии для развития ИИ: компетенции, вычислительные мощности и дешёвое электричество.  

• Создание больших моделей с множеством параметров.  

• Конкуренция за создание дистиллированных моделей и квантизация данных.  

• Цель: языковая модель в смартфоне без выхода в интернет.  

• Предложение задать вопросы в конце.  

• Обсуждение применения ИИ в бизнесе.  

• Архитектура RAG: Retrieval-Augmented Generation.  

• Проблема больших языковых моделей: они не знают контекста бизнеса.  

• Создание векторной базы знаний для бизнеса.  

• Викторизация текста для преобразования в векторные представления.  

• Рост числа стартапов, связанных с RAG-платформами.  

• Экономия времени на бесполезной коммуникации.  

• Мини-мозг компании, знающий всё о бизнесе.  

• Возможность работы с чувствительными данными.  

• Появление новых концепций, таких как ESP от Antropic.  

• Переход к более сложным действиям с данными.  

• Быстрое развитие технологий ИИ.  

• Агент как синтетический мозг, решающий задачи автономно.  

• Гибкость агентов: возможность самостоятельного поиска информации и выполнения сложных действий.  

• Автоматизация бизнес-процессов через цепочки агентов.  

• Различие между агентами и чат-ботами.  

• Инструменты и внешняя память как ключевые элементы агентов.  

• Примеры интеграции агентов с различными сервисами.  

• Планирование задач и автономность агентов.  

• Дискуссия о том, что считать агентами.  

• Бизнес-процессы автоматизируются через системы вроде CRM.  

• Данные хранятся в базах данных, а логика процессов — в системах.  

• Люди ускоряют работу, используя автоматизированные системы.  

• Мультиагентные системы могут создать новые бизнес-процессы.  

• Синтетические мозги автономно решают задачи, связанные со знаниями.  

• Компании, такие как Salesforce, активно внедряют генеративный ИИ.  

• Агенты универсальны и рациональны, в отличие от людей.  

• Пример рациональности: судьи выносят больше обвинительных приговоров ближе к обеду.  

• Системы более эффективны в принятии решений.  

• Наибольшее применение ИИ в клиентской поддержке.  

• Языковые модели улучшают коммуникацию с клиентами.  

• Пример: в Яндекс.Поддержке сложно понять, что отвечаешь не человеку.  

• Создание документации для IPO за несколько минут.  

• Автоматизация структурированных процессов в инвестиционном банкинге.  

• Анализ отчётности компаний с помощью языковых моделей.  

• Синтетические мозги быстрее анализируют отчётность, чем люди.  

• Возможность задать логику рациональности и когнитивную стратегию моделям.  

• Модели справляются с анализом быстрее, чем целые отделы аналитиков.  

• Языковые модели ускоряют создание лекарств, позволяя перебирать огромное количество комбинаций.  

• Фармацевтические компании видят в этой технологии значительный скачок в ускорении разработки лекарств.  

• Компания создала чат-бота для зуммеров, который стал «домашним животным» для сотрудников.  

• Бот выполняет различные задачи, включая расшифровку видео и сбор статусов проектов.  

• Автоматизация сложных процессов, таких как сбор статусов проектов, значительно ускоряет работу менеджеров.  

• Бот собирает оценки от разных команд и суммирует статусы, экономя время.  

• Компания интегрировала различные модели, включая ChatGPT, Яндекс и другие, для создания единого интерфейса.  

• Создана база знаний «Пантеон», которая отвечает на простые вопросы и реализует агентскую логику.  

• Продукт «Юл» генерирует индивидуальные планы развития для сотрудников на основе накопленной базы знаний.  

• Система рекомендует курсы, книги и другие ресурсы для развития, сокращая трудоёмкий процесс.  

• Обсуждение эволюции технологий от примитивных диалогов к трансформерам.  

• Подчёркивание важности традиционных профессий, таких как таксисты, которые не будут заменены технологиями.  

• Сдвиг в технологиях требует новых интеллектуальных интуиций.  

• Векторные базы знаний предлагают новую логику хранения информации.  

• Трансформеры и агенты создают новые сценарии использования данных.  

• Важно понимать базовые принципы работы современных технологий.  

• Массовое использование языковых моделей без понимания их работы может привести к тупику.  

• Технологии не должны становиться «магией» для людей.  

• Мультиагентные системы изменят способ работы людей.  

• Появится необходимость в новых бизнес-процессах и навыках.  

• Сервисы предыдущей волны вынесли память в интернет, но мышление оставалось за человеком.  

• Языковые модели выносят мышление вовне, анализируя информацию.  

• Опасность заключается в слепом доверии к когнитивным стратегиям систем.  

• Необходимо развивать навыки в логике, аналитической философии и математике.  

• Спрос на высококвалифицированные кадры вырастет на 42%.  

• Машины не заменят людей, а создадут новый рынок для работы с агентами.  

• Потребуются специалисты, способные программировать когнитивные стратегии для машин.  

• У каждого в кармане появится мощная машина для вычислений.  

• Это приведёт к революции, сравнимой с появлением автомобилей и смартфонов.  

• Возникает вопрос, как использовать доступ к сверхинтеллекту.  

• Обсуждается страх поделиться данными и желание развернуть всё у себя.  

• Вопрос о разнице между обучением и выдачей ответов генеративными моделями.  

• Бизнес опасается доверять свои данные облачным провайдерам, таким как Яндекс Клауд или Сбер.  

• Компании боятся, что данные могут быть использованы конкурентами.  

• Компании строят локальные модели, используя собственные видеокарты и серверные стойки.  

• Локальные модели не подключены к интернету, что обеспечивает безопасность данных.  

• Несмотря на первоначальные опасения, облачные решения могут оказаться более безопасными в долгосрочной перспективе.  

• Данные «растворяются» в многомерном векторном пространстве, доступ к ним можно получить через запросы или промты.  

• Существуют технологии маскировки данных, но они пока не получили широкого распространения.  

• Агенты могут экспериментировать с когнитивными стратегиями и планировать своё мышление.  

• Они способны рефлексировать и изменять стратегии для улучшения результатов.  

• Использование генерируемого кода ограничено из-за проблем с безопасностью.  

• Статический и динамический анализ кода не всегда обеспечивает достаточную защиту.  

• В стартапах генерируемый код используется более свободно, чем в чувствительных проектах.  

• Агенты могут помогать в поиске отелей и договариваться о скидках.  

• Они могут выступать в роли посредников между клиентами и продавцами.  

• Специфика бизнеса ограничивает широкое применение агентов в продажах.  

• Агенты создаются небольшими командами, часто в рамках стартапов.  

• Внутри компании реализуется концепт массового применения агентов.  

• Внедрение агентов требует понимания технологий и процессов, но со временем процесс станет проще и быстрее.  

• Джуниоры конкурируют с ИИ, а не с другими людьми.  

• В будущем ИИ может заменить джуниоров и мидлов, оставив только сеньоров.  

• Возникает вопрос, кто заменит биологических сеньоров через 50 лет.  

• В 90-е годы в России старые программисты обслуживали станки, на которых не учились программировать молодые.  

• Старики открыли стартап по обслуживанию станков, демонстрируя, что сеньоры могут быть востребованы.  

• Программирование стало ремеслом из-за использования фреймворков.  

• Автоматизация программирования требует более сложного мышления.  

• Будущие разработчики будут работать с ассистентами, используя системные навыки.  

• Вопрос ответственности за результаты работы ИИ остаётся открытым.  

• Владелец программы или пользователь должен возмещать вред, нанесённый ИИ.  

• Этика и философия играют важную роль в ограничении ответственности ИИ.  

• Этика ИИ остаётся сложной проблемой, сравнимой с дилеммой «Тесла и ребёнок».  

• Необходимо находить баланс между прогрессом и этическими нормами.  

• Вопрос ответственности за ИИ остаётся открытым, будущее непредсказуемо.  

• Будущее ИИ неопределённо, нет однозначного ответа на вопрос ответственности.  

• Будущее требует дальнейшего обсуждения и развития этических норм.