Ян ЛеКун "Математические препятствия на пути к искусственному интеллекту человеческого уровня"

• Приветствие от Брайана Кроу, президента AMS.  

• Лекция Джосайи Уилларда Гиббса организована в 1923 году.  

• Гиббс - физик-математик, основатель статистической механики и векторного исчисления.  

• Ян Лакун - профессор компьютерных наук и специалист по искусственному интеллекту.  

• Лакун известен своими работами в области компьютерного зрения и глубокого обучения.  

• Он является членом многочисленных академий и получил множество наград.  

• Лакун обсуждает перспективы создания ИИ человеческого уровня.  

• Оценки времени достижения ИИ человеческого уровня сильно разнятся.  

• Лакун считает, что у нас есть хороший шанс на создание ИИ человеческого уровня.  

• Лакун предсказывает, что в будущем мы будем взаимодействовать с ИИ через умные устройства.  

• Умные очки и другие устройства уже существуют, но пока слишком дороги для коммерциализации.  

• Лакун видит будущее, где каждый будет работать с командой виртуальных помощников.  

• Машинное обучение неэффективно по сравнению с людьми и животными.  

• Обучение под наблюдением и обучение с подкреплением имеют свои ограничения.  

• Самообучение произвело революцию в ИИ, но его возможности все еще ограничены.  

• Авторегрессионные модели обучаются предсказывать следующее слово или символ.  

• Эти модели используют большие нейронные сети для воспроизведения входных данных.  

• Лакун объясняет, как эти модели работают и их ограничения.  

• Авторегрессионное прогнозирование - это дивергентный процесс.  

• Существует огромное количество возможных последовательностей символов.  

• Поддерево правильных ответов составляет лишь крошечное подмножество всех возможных последовательностей.  

• Вероятность ошибки при создании символа равна e, что приводит к экспоненциальному увеличению ошибок.  

• Авторегрессионные LLM обречены на провал, и их использование будет ограничено.  

• Необходимы новые концепции для создания систем искусственного интеллекта.  

• Невозможно достичь ИИ человеческого уровня, обучая большие языковые модели.  

• Даже кошки обладают удивительным пониманием физического мира.  

• Люди и животные обладают уникальными способностями, которые ИИ пока не может воспроизвести.  

• Задачи, сложные для людей, такие как вычисление интегралов, решаются компьютерами лучше.  

• Человеческий интеллект не является общим, а специализирован.  

• Современные компьютеры обучаются на огромных объемах данных, но этого недостаточно для достижения ИИ человеческого уровня.  

• Младенцы учатся через наблюдение, что необходимо воспроизвести для ИИ.  

• Младенцы усваивают базовые знания о мире через наблюдение и взаимодействие.  

• Для достижения ИИ человеческого уровня нужны системы, изучающие модели мира на основе наблюдений.  

• Современные системы ИИ ограничены фиксированным количеством слоев нейронных сетей.  

• Необходимо изменить тип логического вывода для достижения ИИ человеческого уровня.  

• Оптимизация и планирование действий могут стать основой для создания таких систем.  

• В психологии существуют две системы действий: подсознательная и сознательная.  

• Вторая система требует полного посвящения сознания и планирования действий.  

• Эти концепции могут быть использованы для создания систем ИИ, способных решать сложные задачи.  

• Модель вычисляет скалярное число, измеряющее степень несовместимости между входным сигналом x и возможным выходным сигналом y.  

• Логический вывод минимизирует эту энергию по отношению к y.  

• Это приближает нас к понятию Гиббса и процессу логического вывода.  

• Моделирование зависимости между переменными с помощью скалярной энергетической функции более общее, чем изучение функции от x до y.  

• Существует множество y, совместимых с x, что делает задачу перевода более сложной.  

• Не существует единого правильного вывода, что делает неявные функции важными.  

• Диаграмма внутренней структуры энергетической функции включает круглые формы для переменных и детерминированные функции.  

• Целевые функции измеряют, насколько система выполняет задачу и предотвращает опасные действия.  

• Модель мира предсказывает результат выполнения последовательности действий и применяется к целям для оптимизации.  

• Модель предпланетного управления используется для планирования траектории ракеты.  

• В условиях неопределенности скрытые переменные помогают прогнозировать действия.  

• Иерархическое планирование позволяет планировать действия на разных уровнях, от высокоуровневых до низкоуровневых.  

• Когнитивная архитектура для AMI включает модель для подражания, целевые функции и оптимизатор действий.  

• Изучение ментальных моделей мира на основе сенсорной информации, такой как видео, остается сложной задачей.  

• Использование генеративных моделей для предсказания видео не работает, так как это трудноразрешимая задача.  

• GEPA - совместная встраиваемая прогностическая архитектура.  

• Отличие от генеративных архитектур: минимизация ошибки прогнозирования.  

• GEPA обрабатывает x и y с помощью кодировщиков для создания абстрактного представления.  

• Кодировщики вычисляют абстрактное представление x и y.  

• Исключение непредсказуемых деталей из представления.  

• Пример с видео: предсказание людей на сиденьях, но не текстуры пола.  

• GEPA предпочтительнее генеративных архитектур.  

• Проблемы с обучением генеративных архитектур.  

• Контрастивные и регуляризованные методы для предотвращения коллапса.  

• Контрастивные методы: генерация контрастных выборок.  

• Регуляризованные методы: минимизация объема пространства с низкой энергией.  

• Примеры: разреженное кодирование и вариационные приближения.  

• Исторические и современные методы обучения.  

• Примеры: модель CLIP от OpenAI.  

• Предпочтение регуляризованных методов для больших размеров.  

• Коллапс: минимизация ошибки прогнозирования без учета x и y.  

• Регуляризация: увеличение объема информации, поступающей из кодеров.  

• Методы сопоставления: заполнение пространства представлениями из кодеров.  

• Для работы методов построения измерений требуется много строк.  

• Методы работают лучше при небольшом количестве строк и высокой размерности.  

• Существует двойственность между методами построения измерений и ортогональными векторами.  

• VIRAG использует дисперсию и ковариационную регуляризацию.  

• Цель - сделать столбцы матрицы представления ортогональными.  

• Другие исследователи также работали над подобными методами.  

• При определенных условиях декорреляция делает переменные попарно независимыми.  

• Использование скрытых переменных для минимизации информационного содержания.  

• Гиббс предложил метод минимизации свободной энергии для скрытых переменных.  

• VIRAG можно использовать для поиска коэффициентов PDE.  

• Система обучается создавать идентичные представления для разных окон решения PDE.  

• Это позволяет извлекать общие коэффициенты PDE.  

• Методы, основанные на дистилляции, работают хорошо, но менее обоснованы.  

• Они минимизируют функции, которые не всегда минимизируются с помощью сетки и спуска.  

• Эти методы используются для самостоятельного изучения особенностей изображений.  

• Видео JAPA обучает систему предсказывать внутреннее представление видео.  

• Система может классифицировать действия в видео и выполнять подобные задачи.  

• Система обнаруживает физически невозможные события, что указывает на наличие здравого смысла.  

• Система управляет манипулятором робота для достижения конкретной цели.  

• Используется кодировщик и ролевая модель для предсказания действий.  

• Система планирует последовательность действий для достижения желаемого результата.  

• Отказ от генеративных моделей в пользу архитектур совместного встраивания.  

• Предпочтение моделей, основанных на энергии, перед вероятностными моделями.  

• Проблемы с планированием и навигацией в реальном мире.  

• Проблемы с локальными минимумами и недифференцируемостью при использовании методов планирования на основе градиента.  

• Необходимость использования методов, таких как ADMM, для решения этих проблем.  

• Планирование с использованием неточной модели мира и корректировка моделей мира.  

• Решение всех текущих проблем в течение следующего десятилетия может привести к созданию интеллектуальных систем, способных планировать и рассуждать.  

• Использование платформ с открытым исходным кодом является ключевым для достижения успеха.  

• Успех в этом направлении может сделать ИИ мощным усилителем человеческого интеллекта, что является положительным результатом.