Yann LeCun про ограничения всех LLM. Чуда AGI не будет. (35 мин, вместо 3 часов)

• Ян Ликун — главный научный сотрудник по искусственному интеллекту в Meta, профессор Нью-Йоркского университета, лауреат премии Тьюринга.  

• Он активно поддерживает открытое развитие ИИ и критикует опасения по поводу угрозы от ИИ.  

• Ян уверен, что ИИ будет полезным и не выйдет из-под контроля человека.  

• Большие языковые модели LLM не обладают пониманием физического мира, памятью, рассуждениями и планированием.  

• LLM обучаются на огромных объёмах текста, но этого недостаточно для достижения интеллекта на уровне человека.  

• Большинство знаний приобретается через взаимодействие с реальным миром, а не через язык.  

• Компьютеры хорошо справляются со сложными задачами, такими как шахматы, но плохо — с повседневными делами, например, вождением или домашними заданиями.  

• LLM не могут быстро осваивать практические навыки, как люди.  

• Для решения проблемы планируется интеграция визуальных представлений через системы зрения.  

• LLM предсказывают слова, создавая распределение вероятностей, а не точно предсказывая следующее слово.  

• Человеческая мысль часто не зависит от языка, в отличие от LLM, которые генерируют слова последовательно без внутреннего планирования.  

• Язык не обладает достаточной пропускной способностью для создания полных моделей мира.  

• Прогнозирование последовательности видеокадров включает представление о распределении в высокоразмерных пространствах, что трудно реализовать.  

• Попытки использовать скрытые переменные в нейросетях не дали результатов.  

• Методы обучения эффективному представлению изображений или видео для задач классификации в основном не увенчались успехом.  

• Методы дистилляции, включая BioL, JEPA и DINO, включают пропуск изображения через инкодер и применение преобразований для эффективного обучения системы.  

• JEPA обучает предсказатель выводить полное представление из искажённого изображения.  

• Dino требует знания специфики изображения для геометрических преобразований.  

• Расширение JEPA применяется к видео, где сегменты видеокадров маскируются в последовательности.  

• Система обучается предсказывать полное видео из частично замаскированной версии.  

• Этот подход позволяет точно классифицировать действия в видео.  

• Внутренняя модель мира позволяет планировать последовательности действий для достижения целей.  

• Иерархическое планирование необходимо для сложных действий, например, путешествия из Нью-Йорка в Париж.  

• Модели могут предсказывать результаты и планировать действия для минимизации целевой функции.  

• Иерархическое планирование важно для действий в реальном времени, но ИИ пока плохо справляется с выбором правильных уровней представления.  

• Языковые модели могут отвечать на отдельные вопросы о планировании, но не способны управлять мелкими физическими действиями или незнакомыми ситуациями.  

• Большинство планов люди усваивают через опыт, который богаче языка.  

• Метод самонаблюдаемого обучения, как в модели BERT, искажал текст и обучал модель его восстанавливать, что дало значительный прогресс в понимании и переводе множества языков.  

• Авторегрессивные языковые модели предсказывают слова, опираясь только на предыдущие слова, и их эффективность растёт с увеличением размера и объёма данных.  

• Языковые модели не имеют общего опыта, который формирует высокоуровневые концепции, и многое из того, что мы понимаем с младенчества, отсутствует в текстах.  

• Современные системы лишены этого опыта, что ограничивает их возможности.  

• Проблема «длинного хвоста» заключается в том, что система хорошо работает на обученных примерах, но может давать бессмысленные ответы на незнакомые запросы.  

• Уровень рассуждений у больших языковых моделей пока примитивный, так как вычислительные усилия на один токен остаются постоянными независимо от сложности вопроса.  

• В будущем диалоговые системы смогут лучше рассуждать и планировать, формируя мысленную модель до озвучивания ответа.  

• Для планирования системам нужно перейти от агрессивного предсказания токенов к методам скрытого вывода переменных, аналогичным вероятностным или графовым моделям.  

• Энергетическая модель оценивает качество потенциальных ответов через скалярный выход, минимизируя его для нахождения хорошего ответа.  

• Процесс включает планирование ответа через оптимизацию до его превращения в текст.  

• Обучение системы оценки качества ответов происходит через оптимизацию в дифференцируемой системе.  

• Контрастные методы требуют много примеров, поэтому используются неконтрастные методы, которые минимизируют объём пространства с низкой энергией.