Ян Лекун: Мозг, Биты и Будущее - Откровенный Разговор с Главным Учёным Meta AI

• Концентрация власти через проприетарные системы ИИ представляет большую опасность.  

• Противники считают, что системы ИИ должны быть под замком для безопасности.  

• Передача систем ИИ в руки всех приведет к контролю информации небольшим числом компаний.  

• Люди по своей сути добры, и ИИ может сделать их умнее.  

• Пессимисты не верят в доброту людей.  

• Ян Ликун, главный научный сотрудник Meta, выступает за открытое развитие ИИ.  

• Он критикует тех, кто предупреждает о надвигающейся опасности ИИ.  

• Ликун верит, что ИИ будет хорошим и не выйдет из-под контроля человека.  

• Большие языковые модели LLM не являются путем к сверхчеловеческому интеллекту.  

• LLM не могут понимать физический мир, запоминать информацию, рассуждать и планировать.  

• Они полезны, но не могут заменить человеческий интеллект.  

• LLM обучены на огромных объемах текста, но это не так много данных по сравнению с сенсорным восприятием.  

• Человеческий разум получает больше данных быстрее и учится на них.  

• Большая часть знаний приходит через наблюдение и взаимодействие с реальным миром.  

• Язык уже содержит много информации, но не может полностью заменить физическое восприятие.  

• Интеллект должен основываться на реальности, даже если это не физическая реальность.  

• Большая часть нашего знания происходит из взаимодействия с физическим миром.  

• Парадокс Марца: почему компьютеры легко выполняют сложные задачи, но не могут выполнять простые задачи, такие как вождение машины.  

• Большие языковые модели могут выполнять сложные задачи, но не могут учиться новым навыкам.  

• Для решения этой проблемы нужны новые методы обучения и архитектура рассуждений.  

• Визуальные системы могут обрабатывать изображения и видео, но это уловки.  

• Языковые модели с визуальными расширениями не обучены понимать мир и интуитивную физику.  

• Эти системы не могут полностью заменить человеческий интеллект.  

• Языковые модели не могут предсказать следующее слово в тексте.  

• Они обучаются предсказывать слова, заменяя их маркерами.  

• Система выбирает слово из распределения вероятностей, что позволяет ей предсказывать следующее слово.  

• Большие языковые модели предсказывают слова, а не сами слова.  

• Они производят распределение вероятностей по всем возможным словам.  

• Система выбирает слово с высокой вероятностью и добавляет его в предсказание.  

• Мышление не связано с конкретным языком.  

• Мышление включает абстрактные концепции, такие как математические идеи.  

• Большие языковые модели не планируют ответ, а просто выдают слова.  

• Модель мира должна быть сложной и включать предсказание действий.  

• Генеративные модели обучаются на видео, но не могут предсказать все детали.  

• Видео содержит много деталей, которые сложно предсказать.  

• Предсказание видео требует предсказания распределения по всем возможным кадрам.  

• Видео является высокоразмерным и непрерывным, что усложняет задачу.  

• Системы не могут предсказать все детали, такие как текстуры и объекты.  

• Скрытые переменные помогают дополнить систему информацией.  

• Пробовали различные методы, включая нейронные сети и регуляризованные автокодировщики.  

• Эти методы не работают для изображений и видео.  

• Трудно сформировать хорошее представление изображения.  

• Обучение системы восстанавливать изображение из поврежденной версии не работает.  

• Существуют техники, такие как динозинговые автоинкодеры, которые могут работать лучше.  

• Самообучение не всегда приводит к хорошим представлениям изображений.  

• Совместное встраивание позволяет предсказывать представления изображений на основе испорченных версий.  

• Это помогает избежать коллапса системы и улучшает предсказание.  

• Контрастивное обучение использует пары изображений для предотвращения коллапса системы.  

• Методы контрастивного обучения имеют ограничения, но за последние годы появились новые подходы.  

• Новые методы позволяют использовать изображения с разными версиями или ракурсами.  

• Совместное встраивание предсказывает абстрактные представления, а не пиксели.  

• Это упрощает задачу и позволяет системе учиться на более высоком уровне абстракции.  

• Совместное встраивание помогает абстрагировать и предсказывать важные аспекты данных.  

• Совместное встраивание поднимает уровень абстракции, что важно для интеллектуальных систем.  

• В языке уже есть абстрактные представления, что упрощает задачу.  

• Совместное встраивание требует перехода от полного представления к абстрактному для лучшего понимания реальности.  

• Объединение самонастраивающегося обучения возможно, но требует осторожности.  

• Использование языка как костыля для визуальных систем может привести к обману.  

• Важно сначала научиться понимать мир без языка, прежде чем объединять его с языком.  

• Архитектура не контрастивная, а методы обучения не генеративные.  

• Используются методы дистилляции, такие как бил, врг и ай-джепа.  

• Обучение предсказателя на основе искаженного ввода.  

• Полный ввод проходит через кодировщик, затем искажается.  

• Обучается предсказатель для предсказания представления искаженного ввода.  

• Предотвращение коллапса системы с помощью различных приемов.  

• Искажение изображения: обрезка, изменение размера, размытие.  

• Маскирование частей изображения для обучения предсказателя.  

• Применение к видео: маскирование временной трубки.  

• Обучение системы для предсказания полного видео из частично замаскированного.  

• Возможность определения физических ограничений реальности в видео.  

• Применение для роботизированных систем.  

• Использование модели мира для планирования действий.  

• Возможность предсказания состояния мира в будущем.  

• Применение в управлении на основе предсказательной модели.  

• Необходимость иерархического планирования для сложных действий.  

• Пример с поездкой из Нью-Йорка в Париж.  

• Проблемы с детализацией и контролем мышц на уровне миллисекунд.  

• ЛЛМ могут отвечать на вопросы о пошаговых инструкциях.  

• Ограниченная способность контролировать мышцы с точностью.  

• Возможность планирования только при наличии обучающего набора.  

• Большие языковые модели LLM могут воспроизводить шаблоны, на которых они обучены.  

• LLM могут решать задачи, если их обучить, но не могут объяснить физические действия, такие как спуск по лестнице.  

• Для взаимодействия с физической реальностью и робототехникой нужны LLM, а для более глубокого рассуждения - другие методы.  

• Большинство планов, которые люди используют, они не изобретают сами, а обучаются на примерах.  

• LLM могут выполнять задачи, которые люди не могут, например, объяснить, как добраться из Нью-Йорка в Париж.  

• Для выполнения низкоуровневых действий нужны другие методы, такие как GP.  

• Автоагрессивные LLM используют самообучение, что делает их впечатляющими.  

• Самообучение позволяет LLM понимать язык и переводить сотни языков.  

• Ограничение архитектуры сети для предсказания слов на основе предыдущих слов улучшает понимание языка.  

• Тест Тьюринга не является точным тестом интеллекта.  

• LLM впечатляют, но не обладают всеми характеристиками человеческого интеллекта.  

• Самообучающееся обучение позволяет LLM захватывать внутреннюю структуру данных без специального обучения.  

• Самоконтролируемое обучение позволяет LLM понимать многоязычный контент и распознавать речь.  

• Системы, основанные на самоконтролируемом обучении, могут выполнять синхронный перевод и распознавание речи.  

• Генеративные модели не всегда могут научиться хорошим представлениям реального мира.  

• Большие языковые модели могут выполнять два типа рассуждений: на основе здравого смысла и высокоуровневое рассуждение.  

• Совместное встраивание и предсказание в пространстве представлений могут быть полезны для навигации в мире.  

• Политики и мнения в языке сложно представить визуально.  

• Системы, основанные только на языке, могут не понимать сложные сценарии.  

• Высокий уровень понимания языка основан на общем опыте, которого нет у ЛЛМ.  

• Высокий уровень языка основан на общем опыте мира.  

• ЛЛМ не имеют этого общего опыта, что затрудняет генерацию языка.  

• Для формирования здравого смысла нужно понимать базовые принципы, такие как гравитация.  

• ЛЛМ обучаются исключительно на текстах, что ограничивает их понимание.  

• В языке не всегда выражена основная реальность.  

• Сенсорные данные и личный опыт играют ключевую роль в понимании мира.  

• ЛЛМ могут генерировать бессмысленные ответы из-за ошибок в предсказаниях.  

• Вероятность ошибки увеличивается экспоненциально с количеством токенов.  

• Система может быть взломана, если подсказка выходит за пределы обучения.  

• Существует длинный хвост запросов, которые система не может охватить.  

• Система становится гигантской таблицей поиска, а не системой, способной рассуждать.  

• Количество вычислений для ответа на вопрос постоянно, что ограничивает возможности системы.  

• Модель мира низкого уровня используется для построения механизмов, таких как долгосрочная память и рассуждения.  

• Важно иметь ментальную модель, позволяющую планировать ответы до их формулировки.  

• В ближайшие годы появятся системы, способные к планированию и рассуждениям.  

• Система один выполняет задачи подсознательно, без сознательного планирования.  

• Система два требует целенаправленного планирования и использования внутренней модели мира.  

• Современные ЛЛМ не могут выполнять систему два, но это возможно с новыми моделями.  

• Модель на основе энергии измеряет, насколько ответ соответствует запросу.  

• Система оптимизирует ответ в пространстве абстрактных представлений.  

• Процесс оптимизации минимизирует целевую функцию, что позволяет системе выдавать хорошие ответы.