Ян Лекун: Мозг, Биты и Будущее - Откровенный Разговор с Главным Учёным Meta AI

• Концентрация власти через проприетарные системы ИИ представляет большую опасность.  

• Противники считают, что системы ИИ должны быть под замком для безопасности.  

• Передача систем ИИ в руки всех приведет к контролю информации небольшим числом компаний.  

• Люди по своей сути добры, и ИИ может сделать их умнее.  

• Пессимисты не верят в доброту людей.  

• Ян Ликун, главный научный сотрудник Meta, выступает за открытое развитие ИИ.  

• Он критикует тех, кто предупреждает о надвигающейся опасности ИИ.  

• Ликун верит, что ИИ будет хорошим и не выйдет из-под контроля человека.  

• Большие языковые модели LLM не являются путем к сверхчеловеческому интеллекту.  

• LLM не могут понимать физический мир, запоминать информацию, рассуждать и планировать.  

• Они полезны, но не могут заменить человеческий интеллект.  

• LLM обучены на огромных объемах текста, но это не так много данных по сравнению с сенсорным восприятием.  

• Человеческий разум получает больше данных быстрее и учится на них.  

• Большая часть знаний приходит через наблюдение и взаимодействие с реальным миром.  

• Язык уже содержит много информации, но не может полностью заменить физическое восприятие.  

• Интеллект должен основываться на реальности, даже если это не физическая реальность.  

• Большая часть нашего знания происходит из взаимодействия с физическим миром.  

• Парадокс Марца: почему компьютеры легко выполняют сложные задачи, но не могут выполнять простые задачи, такие как вождение машины.  

• Большие языковые модели могут выполнять сложные задачи, но не могут учиться новым навыкам.  

• Для решения этой проблемы нужны новые методы обучения и архитектура рассуждений.  

• Визуальные системы могут обрабатывать изображения и видео, но это уловки.  

• Языковые модели с визуальными расширениями не обучены понимать мир и интуитивную физику.  

• Эти системы не могут полностью заменить человеческий интеллект.  

• Языковые модели не могут предсказать следующее слово в тексте.  

• Они обучаются предсказывать слова, заменяя их маркерами.  

• Система выбирает слово из распределения вероятностей, что позволяет ей предсказывать следующее слово.  

• Большие языковые модели предсказывают слова, а не сами слова.  

• Они производят распределение вероятностей по всем возможным словам.  

• Система выбирает слово с высокой вероятностью и добавляет его в предсказание.  

• Мышление не связано с конкретным языком.  

• Мышление включает абстрактные концепции, такие как математические идеи.  

• Большие языковые модели не планируют ответ, а просто выдают слова.  

• Модель мира должна быть сложной и включать предсказание действий.  

• Генеративные модели обучаются на видео, но не могут предсказать все детали.  

• Видео содержит много деталей, которые сложно предсказать.  

• Предсказание видео требует предсказания распределения по всем возможным кадрам.  

• Видео является высокоразмерным и непрерывным, что усложняет задачу.  

• Системы не могут предсказать все детали, такие как текстуры и объекты.  

• Скрытые переменные помогают дополнить систему информацией.  

• Пробовали различные методы, включая нейронные сети и регуляризованные автокодировщики.  

• Эти методы не работают для изображений и видео.  

• Трудно сформировать хорошее представление изображения.  

• Обучение системы восстанавливать изображение из поврежденной версии не работает.  

• Существуют техники, такие как динозинговые автоинкодеры, которые могут работать лучше.  

• Самообучение не всегда приводит к хорошим представлениям изображений.  

• Совместное встраивание позволяет предсказывать представления изображений на основе испорченных версий.  

• Это помогает избежать коллапса системы и улучшает предсказание.  

• Контрастивное обучение использует пары изображений для предотвращения коллапса системы.  

• Методы контрастивного обучения имеют ограничения, но за последние годы появились новые подходы.  

• Новые методы позволяют использовать изображения с разными версиями или ракурсами.  

• Совместное встраивание предсказывает абстрактные представления, а не пиксели.  

• Это упрощает задачу и позволяет системе учиться на более высоком уровне абстракции.  

• Совместное встраивание помогает абстрагировать и предсказывать важные аспекты данных.  

• Совместное встраивание поднимает уровень абстракции, что важно для интеллектуальных систем.  

• В языке уже есть абстрактные представления, что упрощает задачу.  

• Совместное встраивание требует перехода от полного представления к абстрактному для лучшего понимания реальности.  

• Объединение самонастраивающегося обучения возможно, но требует осторожности.  

• Использование языка как костыля для визуальных систем может привести к обману.  

• Важно сначала научиться понимать мир без языка, прежде чем объединять его с языком.  

• Архитектура не контрастивная, а методы обучения не генеративные.  

• Используются методы дистилляции, такие как бил, врг и ай-джепа.  

• Обучение предсказателя на основе искаженного ввода.  

• Полный ввод проходит через кодировщик, затем искажается.  

• Обучается предсказатель для предсказания представления искаженного ввода.  

• Предотвращение коллапса системы с помощью различных приемов.  

• Искажение изображения: обрезка, изменение размера, размытие.  

• Маскирование частей изображения для обучения предсказателя.  

• Применение к видео: маскирование временной трубки.  

• Обучение системы для предсказания полного видео из частично замаскированного.  

• Возможность определения физических ограничений реальности в видео.  

• Применение для роботизированных систем.  

• Использование модели мира для планирования действий.  

• Возможность предсказания состояния мира в будущем.  

• Применение в управлении на основе предсказательной модели.  

• Необходимость иерархического планирования для сложных действий.  

• Пример с поездкой из Нью-Йорка в Париж.  

• Проблемы с детализацией и контролем мышц на уровне миллисекунд.  

• ЛЛМ могут отвечать на вопросы о пошаговых инструкциях.  

• Ограниченная способность контролировать мышцы с точностью.  

• Возможность планирования только при наличии обучающего набора.  

• Большие языковые модели LLM могут воспроизводить шаблоны, на которых они обучены.  

• LLM могут решать задачи, если их обучить, но не могут объяснить физические действия, такие как спуск по лестнице.  

• Для взаимодействия с физической реальностью и робототехникой нужны LLM, а для более глубокого рассуждения - другие методы.  

• Большинство планов, которые люди используют, они не изобретают сами, а обучаются на примерах.  

• LLM могут выполнять задачи, которые люди не могут, например, объяснить, как добраться из Нью-Йорка в Париж.  

• Для выполнения низкоуровневых действий нужны другие методы, такие как GP.  

• Автоагрессивные LLM используют самообучение, что делает их впечатляющими.  

• Самообучение позволяет LLM понимать язык и переводить сотни языков.  

• Ограничение архитектуры сети для предсказания слов на основе предыдущих слов улучшает понимание языка.  

• Тест Тьюринга не является точным тестом интеллекта.  

• LLM впечатляют, но не обладают всеми характеристиками человеческого интеллекта.  

• Самообучающееся обучение позволяет LLM захватывать внутреннюю структуру данных без специального обучения.  

• Самоконтролируемое обучение позволяет LLM понимать многоязычный контент и распознавать речь.  

• Системы, основанные на самоконтролируемом обучении, могут выполнять синхронный перевод и распознавание речи.  

• Генеративные модели не всегда могут научиться хорошим представлениям реального мира.  

• Большие языковые модели могут выполнять два типа рассуждений: на основе здравого смысла и высокоуровневое рассуждение.  

• Совместное встраивание и предсказание в пространстве представлений могут быть полезны для навигации в мире.  

• Политики и мнения в языке сложно представить визуально.  

• Системы, основанные только на языке, могут не понимать сложные сценарии.  

• Высокий уровень понимания языка основан на общем опыте, которого нет у ЛЛМ.  

• Высокий уровень языка основан на общем опыте мира.  

• ЛЛМ не имеют этого общего опыта, что затрудняет генерацию языка.  

• Для формирования здравого смысла нужно понимать базовые принципы, такие как гравитация.  

• ЛЛМ обучаются исключительно на текстах, что ограничивает их понимание.  

• В языке не всегда выражена основная реальность.  

• Сенсорные данные и личный опыт играют ключевую роль в понимании мира.  

• ЛЛМ могут генерировать бессмысленные ответы из-за ошибок в предсказаниях.  

• Вероятность ошибки увеличивается экспоненциально с количеством токенов.  

• Система может быть взломана, если подсказка выходит за пределы обучения.  

• Существует длинный хвост запросов, которые система не может охватить.  

• Система становится гигантской таблицей поиска, а не системой, способной рассуждать.  

• Количество вычислений для ответа на вопрос постоянно, что ограничивает возможности системы.  

• Модель мира низкого уровня используется для построения механизмов, таких как долгосрочная память и рассуждения.  

• Важно иметь ментальную модель, позволяющую планировать ответы до их формулировки.  

• В ближайшие годы появятся системы, способные к планированию и рассуждениям.  

• Система один выполняет задачи подсознательно, без сознательного планирования.  

• Система два требует целенаправленного планирования и использования внутренней модели мира.  

• Современные ЛЛМ не могут выполнять систему два, но это возможно с новыми моделями.  

• Модель на основе энергии измеряет, насколько ответ соответствует запросу.  

• Система оптимизирует ответ в пространстве абстрактных представлений.  

• Процесс оптимизации минимизирует целевую функцию, что позволяет системе выдавать хорошие ответы.  

• Система обучается на парах запрос-ответ, чтобы минимизировать энергию.  

• Контрастные методы увеличивают энергию для неправильных ответов.  

• Неконтрастные методы используют регуляризаторы для минимизации объема пространства с низкой энергией.  

• Важно иметь абстрактное представление идей для оптимизации.  

• Внутренняя структура системы должна позволять манипулировать скрытыми переменными для минимизации энергии.  

• Это позволяет системе выдавать хорошие ответы, которые можно перевести в текст.  

• Системы могут быть обучены похожим образом, но с предотвращением коллапса.  

• Высокая вероятность одного слова автоматически снижает вероятность других слов.  

• Это косвенно увеличивает вероятность правильных последовательностей слов и уменьшает вероятность неправильных.  

• Совместное обучение используется для визуальных данных.  

• Система предсказывает представление хорошего изображения по испорченному.  

• Высокая энергия указывает на различия между изображениями, что помогает в классификации.  

• Отказ от генеративных моделей в пользу совместных архитектур.  

• Отказ от автоагрессивной генерации и вероятностных моделей.  

• Использование моделей на основе энергии и регуляризованных методов.  

• Обучение с подкреплением должно быть минимизировано.  

• Использование RL для корректировки модели мира и целевой функции.  

• Обучение с подкреплением эффективно для корректировки модели мира в реальных условиях.  

• Человеческая обратная связь важна для настройки систем.  

• Использование целевой функции для предсказания качества ответов.  

• Настройка системы через человеческую обратную связь.  

• GEMINI 1.5 вызывает критику за предвзятость и цензуру.  

• Предвзятость систем связана с распределением обучающих данных.  

• Открытый код является ответом на критику.  

• Будущее взаимодействия с цифровым миром будет опосредовано ИИ.  

• Умные очки и диалоговые системы станут нормой.  

• Важно, чтобы эти системы были разнообразными и не контролировались небольшим числом компаний.  

• Обучение базовой модели ИИ сложно и дорого.  

• Компании могут создавать ИИ-помощники, но только несколько могут сделать это правильно.  

• Системы с открытым исходным кодом позволяют любому использовать и донастраивать их.  

• Французское правительство не примет контроль над ИИ-помощниками тремя компаниями.  

• Это угрожает демократии и местной культуре.  

• Примеры проектов, таких как LAMA-2, для поддержки местных языков и культур.  

• Платформы с открытым исходным кодом позволяют создавать разнообразные ИИ-системы.  

• Примеры использования: издательства и компании для создания систем на основе своих данных.  

• Единственный способ создать индустрию без уникальных предвзятостей — это платформы с открытым исходным кодом.  

• Компании, такие как Meta, должны делать минимальные шаги по тонкой настройке после создания основы.  

• Открытый исходный код позволяет другим компаниям конкурировать и улучшать системы.  

• Meta делает ставку на свою пользовательскую базу и возможность получать доход от технологий.  

• Основная критика связана с политической предвзятостью разработчиков.  

• Невозможно создать систему, которая будет беспристрастной для всех.  

• Решение — разнообразие и использование открытого исходного кода для минимизации предвзятости.  

• Марк Андерсон подчеркивает сложности создания беспристрастных систем.  

• Крупные компании осторожны, чтобы не навредить никому и сохранить бизнес.  

• Системы неизбежно будут формировать политические и культурные мнения, что делает их полезными, но может оскорблять некоторых людей.  

• Открытый код способствует разнообразию.  

• Технологии позволяют людям эффективно взаимодействовать.  

• Этические вопросы остаются на усмотрение людей.  

• Необходимы ограничения на то, что системы могут производить.  

• Архитектура систем должна включать рамки для безопасности и нетоксичности.  

• Тонкая настройка рамок будет соответствовать различным сообществам.  

• ЛЛМ не помогают разрабатывать биологическое или химическое оружие.  

• Построение оружия требует экспертизы и знаний, которых нет в инструкциях.  

• Международное законодательство запрещает использование биологического оружия.  

• Будущие версии ЛЛМ будут улучшенными и мультимодальными.  

• Системы смогут планировать и понимать мир.  

• Исследования в этом направлении уже ведутся.  

• Работа над моделями мира на основе видео.  

• Системы будут учиться на видео и планировать задачи.  

• Сотрудничество с лабораториями, такими как UC Berkeley и Meta.  

• Необходимы значительные вычислительные мощности для обучения систем.  

• Прогресс в аппаратном обеспечении и энергоэффективности.  

• Архитектурные инновации и новые принципы производства.  

• Для создания ИИ потребуется снижение потребления энергии.  

• Современные GPU потребляют от полукиловатта до киловатта, а человеческий мозг - около 25 ватт.  

• Для достижения уровня потребления энергии человеческого мозга потребуется значительное снижение.  

• Появление ИИ не будет внезапным событием, а постепенным прогрессом.  

• Системы, способные учиться на видео и иметь большой объем ассоциативной памяти, появятся не сразу.  

• Разработка систем, способных рассуждать и планировать, займет десятилетия.  

• Оптимизм по поводу ИИ существует с самого начала его развития.  

• Интеллект не измеряется одним числом, как IQ.  

• Интеллект - это совокупность навыков и способность приобретать новые навыки.  

• Апокалиптики опасаются, что ИИ может выйти из-под контроля и уничтожить человечество.  

• Появление суперинтеллекта не будет внезапным событием.  

• Системы будут постепенно становиться умнее, и будут установлены ограничения для правильного поведения.  

• ИИ не будет стремиться к доминированию, так как это не запрограммировано в них.  

• Системы будут подчиняться людям и не причинять вреда другим.  

• Проектирование ограничений для безопасного поведения ИИ будет итеративным процессом.  

• ИИ может быть использован как оружие, контролируя умы людей.  

• Развитие ИИ будет постепенным и итеративным, что позволит реагировать на угрозы.  

• ИИ, разработанный Владимиром Путиным, не будет внезапным событием, а будет результатом постепенного прогресса.  

• В будущем взаимодействие с цифровым миром будет происходить через ассистента.  

• Ассистент будет фильтровать спам и не позволит мошенникам добраться до пользователя.  

• Системы ИИ будут соревноваться друг с другом, но никто не будет сильно впереди.  

• Прогресс в технологиях сопровождается контрмерами.  

• Ядерное оружие было мощным, но не прорывным событием.  

• Прогресс в ИИ будет непрерывным и быстро распространяться в отрасли.  

• Новые технологии быстро воспроизводятся и распространяются.  

• Успех технологической индустрии США обусловлен быстрым распространением информации.  

• Силиконовая долина опережает благодаря этому круговороту информации.  

• Люди боятся новых технологий из-за страха за свою культуру и работу.  

• Любые изменения вызывают страх и сопротивление.  

• Важно принимать изменения и оценивать реальные опасности.  

• Люди беспокоятся о централизованном контроле над ИИ.  

• Необходимы платформы с открытым исходным кодом для предотвращения злоупотреблений.  

• Важно разнообразие мнений и культур в ИИ-системах.  

• Роботы станут более эффективными сотрудниками благодаря ИИ.  

• Индустрия робототехники ожидает значительного прогресса в ближайшие 10-20 лет.  

• Основная проблема – научить системы понимать мир и планировать действия.  

• Роботы помогают автоматизировать фабричные процессы, но это сложно из-за требований безопасности.  

• В домашних условиях роботы могут выполнять задачи, такие как уборка и приготовление пищи, но это сложно и запутанно.  

• Навигация в пространстве и распознавание объектов требуют значительных улучшений.  

• Гуманоидные роботы позволяют людям взаимодействовать с ИИ в физическом пространстве.  

• Это открывает возможности для философского и психологического исследования отношений с роботами.  

• Прогресс в самообучении ИИ из видео за последние два-три года.  

• Обучение мировой модели на основе наблюдений возможно без больших наборов данных.  

• Планирование действий для решения проблем в различных интеллектуальных системах.  

• Иерархическое планирование, где различные уровни представлений должны быть изучены.  

• ИИ может сделать человечество умнее, как если бы у каждого был штат умных ассистентов.  

• ИИ поможет в выполнении задач лучше, чем люди, что сделает человечество более успешным.  

• Интеллект и знания являются наиболее востребованными товарами.  

• Изобретение печатного станка сделало людей умнее, доступ к книгам стал дешевле.  

• Это способствовало просвещению, философии, рационализму и демократии.  

• Печатный станок также вызвал религиозные конфликты, но его влияние на мир в целом было положительным.  

• Османская империя запретила печатный станок на арабском языке для сохранения контроля над каллиграфами.  

• Каллиграфы были важной корпорацией, управляющей значительной частью империи.  

• Запрет был необходим для защиты их бизнеса.  

• Вопрос о последствиях технологической трансформации для рынка труда.  

• Экономисты утверждают, что массовая безработица маловероятна, будет постепенный переход к новым профессиям.  

• Невозможно предсказать, какие профессии будут востребованы через 10-15 лет.  

• Большинство профессий будущего могут быть связаны с метавселенной.  

• Люди по своей сути добры, и ИИ может сделать их умнее.  

• Пессимисты становятся таковыми из-за недоверия к людям или институтам.  

• Благодарность за поддержку движения открытого кода и доступность исследований и ИИ.  

• Признание Яна Ликуна за его вклад и стремление к открытости.  

• Завершение с цитатой Артура Кларка о выходе за пределы возможного.