Сергей Марков: Перспективы AGI, RAG-боты, будущее AI-систем | Подкаст «Ноосфера» #102

• Прогресс в области искусственного интеллекта будет продолжаться, хотя и не всегда в виде революций.  

• Будут появляться более сложные агентные системы, способные выполнять множество действий.  

• Обсуждение возможностей искусственного интеллекта размышлять и строить теории в области физики, химии, биологии и математики.  

• Ведущий приветствует Сергея, эксперта по искусственному интеллекту.  

• Сергей объясняет, что он не академический учёный, а научный администратор, руководящий исследователями.  

• Сергей руководит командой из 300 человек, занимающейся машинным обучением.  

• Основные направления работы: компьютерное зрение, обработка естественного языка, большие языковые модели.  

• Упоминаются проекты Ruji 2, Ruji 3, генерация изображений по тексту, проект Кандинский.  

• В портфеле Сергея около 70 проектов по машинному обучению.  

• Книга «Охота на электроовец» вышла шесть лет назад и охватывает область машинного обучения.  

• Автор стремился дать более глубокое понимание темы, чем простой научпоп.  

• Несмотря на шесть лет работы над книгой, многие аспекты остаются актуальными.  

• Специалисты знают о новых достижениях раньше широкой публики.  

• ChatGPT стал общедоступным сервисом, демонстрирующим возможности больших языковых моделей.  

• Релиз вызвал большую медийную шумиху и показал прогресс в обработке естественного языка.  

• Большие языковые модели постепенно учатся выстраивать цепочки рассуждений.  

• Переход от генеративного к интерактивному ИИ — важный концептуальный шаг.  

• Возможности моделей в области рассуждений значительно выросли за последние несколько лет.  

• Системы начинают строить консистентные последовательности шагов и действий.  

• Быстрое мышление позволяет сразу понимать информацию, например, видеть на картинке котика.  

• Медленное мышление требует размышлений и анализа альтернатив.  

• Многие интеллектуальные задачи лучше решаются медленным мышлением.  

• Большие языковые модели могут моделировать медленное мышление, предлагая возможные шаги рассуждений.  

• Это важно для интерактивного искусственного интеллекта.  

• Интерактивный ИИ решает многостадийные задачи, используя внешние инструменты и взаимодействуя с другими моделями.  

• Люди часто используют специализированные инструменты для решения задач, например, калькуляторы или поисковые системы.  

• Задача планирования отпуска требует взаимодействия с агрегаторами отелей, билетов и другими источниками информации.  

• Простой генеративный ИИ не может справиться с такой задачей, в отличие от интерактивного.  

• Большие языковые модели учатся на цифровом следе человечества, приобретая представление о реальном мире.  

• Они могут генерировать реалистичные тексты и видео, отражая закономерности мира.  

• Модели мира у больших языковых моделей могут быть неточными, как и у людей.  

• Вопрос точности моделей зависит от задач, которые они должны решать.  

• Модели могут предсказывать результаты выборов, моделируя рассуждения людей разных социальных групп.  

• Цифровые двойники ведут себя похоже на реальное сообщество людей.  

• Вопрос о наличии сознания в больших языковых моделях носит философский характер.  

• Модели не проходили эволюционный путь, аналогичный человеческому, что ограничивает их способность к рефлексии.  

• Большие языковые модели не имеют субъективной психологической реальности, такой как поток времени и текущее состояние психики.  

• Они работают как гигантская формула, вычисляющая распределение вероятностей для следующего слова в диалоге.  

• Внутреннее представление модели остаётся неизменным после взаимодействия с множеством людей.  

• Веса модели не меняются, в отличие от человеческого мозга, который адаптируется к внешним стимулам.  

• Модель сохраняет историю общения, что можно считать аналогом краткосрочной памяти.  

• Долгосрочной памяти у модели нет.  

• Сознание возникает, когда модель начинает замыкаться на себя.  

• Социальные организмы адаптируются к среде, моделируя поведение других представителей вида.  

• Модель не может отождествить себя с субъектом, так как у неё нет достаточного количества информации для этого.  

• Создание модели с сознанием требует мультиагентного взаимодействия многих больших моделей.  

• Это чрезвычайно вычислительно дорого.  

• Сложно отличить симуляцию сознания от настоящего сознания.  

• Тест Тьюринга может помочь в этом, но не решает проблему полностью.  

• Большие языковые модели легко отличаются от людей на сложных тестах.  

• До универсального искусственного интеллекта ещё далеко.  

• Языковые модели часто генерируют недостоверную информацию, называемую «галлюцинациями».  

• Идея ретривов заключается в предоставлении моделям доступа к внешним источникам информации.  

• Поиск не всегда находит релевантную информацию.  

• Важно правильно формулировать запросы для поиска.  

• Продвинутые ретривы учат модели формулировать запросы и генерировать их только при необходимости.  

• Ретривы полезны для узкодоменных задач, например, в промышленности.  

• Модели могут консультировать специалистов, используя корпоративные базы знаний.  

• Необходимо правильно соединить генерацию ответов и фактологию для конкретной задачи.