Yann LeCun про ограничения всех LLM. Чуда AGI не будет. (35 мин, вместо 3 часов)

• Ян Ликун — главный научный сотрудник по искусственному интеллекту в Meta, профессор Нью-Йоркского университета, лауреат премии Тьюринга.  

• Он активно поддерживает открытое развитие ИИ и критикует опасения по поводу угрозы от ИИ.  

• Ян уверен, что ИИ будет полезным и не выйдет из-под контроля человека.  

• Большие языковые модели LLM не обладают пониманием физического мира, памятью, рассуждениями и планированием.  

• LLM обучаются на огромных объёмах текста, но этого недостаточно для достижения интеллекта на уровне человека.  

• Большинство знаний приобретается через взаимодействие с реальным миром, а не через язык.  

• Компьютеры хорошо справляются со сложными задачами, такими как шахматы, но плохо — с повседневными делами, например, вождением или домашними заданиями.  

• LLM не могут быстро осваивать практические навыки, как люди.  

• Для решения проблемы планируется интеграция визуальных представлений через системы зрения.  

• LLM предсказывают слова, создавая распределение вероятностей, а не точно предсказывая следующее слово.  

• Человеческая мысль часто не зависит от языка, в отличие от LLM, которые генерируют слова последовательно без внутреннего планирования.  

• Язык не обладает достаточной пропускной способностью для создания полных моделей мира.  

• Прогнозирование последовательности видеокадров включает представление о распределении в высокоразмерных пространствах, что трудно реализовать.  

• Попытки использовать скрытые переменные в нейросетях не дали результатов.  

• Методы обучения эффективному представлению изображений или видео для задач классификации в основном не увенчались успехом.  

• Методы дистилляции, включая BioL, JEPA и DINO, включают пропуск изображения через инкодер и применение преобразований для эффективного обучения системы.  

• JEPA обучает предсказатель выводить полное представление из искажённого изображения.  

• Dino требует знания специфики изображения для геометрических преобразований.  

• Расширение JEPA применяется к видео, где сегменты видеокадров маскируются в последовательности.  

• Система обучается предсказывать полное видео из частично замаскированной версии.  

• Этот подход позволяет точно классифицировать действия в видео.  

• Внутренняя модель мира позволяет планировать последовательности действий для достижения целей.  

• Иерархическое планирование необходимо для сложных действий, например, путешествия из Нью-Йорка в Париж.  

• Модели могут предсказывать результаты и планировать действия для минимизации целевой функции.  

• Иерархическое планирование важно для действий в реальном времени, но ИИ пока плохо справляется с выбором правильных уровней представления.  

• Языковые модели могут отвечать на отдельные вопросы о планировании, но не способны управлять мелкими физическими действиями или незнакомыми ситуациями.  

• Большинство планов люди усваивают через опыт, который богаче языка.  

• Метод самонаблюдаемого обучения, как в модели BERT, искажал текст и обучал модель его восстанавливать, что дало значительный прогресс в понимании и переводе множества языков.  

• Авторегрессивные языковые модели предсказывают слова, опираясь только на предыдущие слова, и их эффективность растёт с увеличением размера и объёма данных.  

• Языковые модели не имеют общего опыта, который формирует высокоуровневые концепции, и многое из того, что мы понимаем с младенчества, отсутствует в текстах.  

• Современные системы лишены этого опыта, что ограничивает их возможности.  

• Проблема «длинного хвоста» заключается в том, что система хорошо работает на обученных примерах, но может давать бессмысленные ответы на незнакомые запросы.  

• Уровень рассуждений у больших языковых моделей пока примитивный, так как вычислительные усилия на один токен остаются постоянными независимо от сложности вопроса.  

• В будущем диалоговые системы смогут лучше рассуждать и планировать, формируя мысленную модель до озвучивания ответа.  

• Для планирования системам нужно перейти от агрессивного предсказания токенов к методам скрытого вывода переменных, аналогичным вероятностным или графовым моделям.  

• Энергетическая модель оценивает качество потенциальных ответов через скалярный выход, минимизируя его для нахождения хорошего ответа.  

• Процесс включает планирование ответа через оптимизацию до его превращения в текст.  

• Обучение системы оценки качества ответов происходит через оптимизацию в дифференцируемой системе.  

• Контрастные методы требуют много примеров, поэтому используются неконтрастные методы, которые минимизируют объём пространства с низкой энергией.  

• ИИ-системы часто отражают общественные предубеждения, присутствующие в обучающих данных.  

• Полностью беспристрастная система невозможна из-за субъективности восприятия предвзятости.  

• Свобода слова и разнообразие важны для избежания монополии информации и развития идей.  

• Взаимодействие с цифровым миром будет всё больше опосредовано ИИ-системами, например, умные очки смогут подключаться к ИИ, предоставляя информацию о достопримечательностях или переводя речь в реальном времени.  

• Важно, чтобы такие системы не принадлежали лишь нескольким компаниям, контролирующим всё человеческое знание.  

• Опенсорс-платформы поддерживают создание ИИ-систем, отражающих разные языки, культуры и взгляды, позволяя разным группам создавать собственные решения.  

• Бизнес-модели в отрасли могут включать услуги, финансируемые рекламой или прямыми платежами от компаний.  

• Мета планирует использовать свою огромную базу пользователей и клиентов для создания полезных продуктов и получения прибыли.  

• Дизайнерам нужно учитывать политическую приемлемость своих систем, чтобы избежать оскорбления пользователей.  

• Архитектура может включать защитные механизмы для обеспечения базовой безопасности.  

• ЛЛМ не способствуют созданию опасного оружия из-за отсутствия экспертных знаний.  

• Будущие версии моделей, таких как Llama, будут улучшены и получат мультимодальные возможности.  

• Организации, включая DeepMind и UC Berkeley, работают над обучением систем на видео.  

• Ожидаются разработки в моделях для задач планирования и усиленного обучения.  

• Потенциал для достижения интеллекта, сопоставимого с человеческим, остаётся высоким.  

• Не хватает вычислительных мощностей для соответствия человеческому мозгу.  

• Текущий прогресс связан с инновациями в архитектуре, а не в силиконовых технологиях.  

• Необходимы улучшения в аппаратуре для снижения потребления энергии.  

• Интеграция систем может занять десять лет или больше.  

• Интеллект — это совокупность различных навыков, сравнение между видами сложное.  

• Системы ИИ будут постепенно имитировать характеристики человеческого интеллекта.  

• Совместная работа людей необходима для создания контролируемого и безопасного ИИ.  

• ИИ не будет стремиться к доминированию, системы будут подчинены людям.  

• Защитные механизмы обеспечат безопасность человека.  

• Прогресс в разработке ИИ будет продолжаться благодаря инновациям в индустрии.  

• Прорывы будут быстро распространяться, стимулируя инвестиции.  

• Успех американской технологической индустрии связан с быстрым обменом информацией.  

• Люди сопротивляются угрозам для своей культуры, рабочих мест и будущего.  

• Исторические технологические революции часто сталкивались с критикой СМИ.  

• Вопрос: примем ли мы изменения или будем им сопротивляться?  

• Открытые платформы способствуют разнообразию в помощниках на базе ИИ.  

• Сосредоточение власти в собственных системах ИИ может привести к узкому информационному потоку.  

• Важно решить, доверяем ли мы институтам действовать этично.  

• Современная робототехника зависит от заранее запрограммированных действий.  

• Для создания полностью автономных роботов необходимы системы, способные обучаться и осознавать свою среду.  

• Основные трудности включают обучение моделям мира через наблюдение и планирование действий в нефизических контекстах.  

• Иерархическое планирование важно для многих наших действий.  

• ИИ не имеет демонстрации изученного иерархического планирования на различных уровнях представлений.  

• Двухуровневое иерархическое планирование может быть внедрено, но уровни должны быть заранее определены.  

• ИИ может улучшить жизнь, расширив доступ к знаниям.  

• Влияние ИИ аналогично изобретению печатного пресса, который стал катализатором просвещения и революций.  

• Вопрос: кого мы защищаем, регулируя ИИ сегодня?  

• Технологические достижения не приведут к массовой безработице, а вызовут изменение профессий.  

• Будущее рабочих мест непредсказуемо, как и два десятилетия назад.  

• Вера в доброту людей и поддержку открытого исходного кода.