Распознавание образов против истинного интеллекта - Франсуа Шолле

• Интеллект определяется способностью воспринимать новизну и справляться с неизвестными ситуациями.  

• Фильмы часто не справляются с задачами, которые значительно отличаются от тех, что они видели во время обучения.  

• RKGI можно рассматривать как тест на IQ для людей и ИИ.  

• Каждое задание в RKGI уникально и не может быть решено с помощью запоминания.  

• Самоанализ эффективен для понимания второй системы мышления, но не первой.  

• Первая система работает неосознанно и мгновенно, вторая — медленно и интроспективно.  

• Идея масштабирования в ИИ основана на законах масштабирования в глубоком обучении.  

• Логарифмическое масштабирование производительности LLM предполагает, что увеличение вычислительной мощности может значительно повысить производительность.  

• Производительность измеряется тестами на запоминание, которые можно «взломать» предварительной подготовкой.  

• Для оценки интеллекта нужны тесты, к которым невозможно подготовиться заранее, например, RKGI.  

• Языковые модели LLM работают как интерполяционные базы данных, запоминающие функции и программы.  

• LLM могут комбинировать программы через интерполяцию, создавая бесконечное количество возможных программ.  

• LLM изучают прогностические функции, которые принимают последовательности ввода и выдают выходные данные.  

• Эти функции могут быть скомбинированы для моделирования новых стилей текста, например, стиля Шекспира.  

• Гипотеза калейдоскопа описывает LLM как систему, состоящую из векторных функций, которые можно комбинировать для получения новых функций.  

• Функции можно суммировать и интерполировать для создания новых моделей поведения.  

• Мир подчиняется структуре, которая кажется сложной и новой, но на самом деле состоит из повторения и сочетания нескольких «атомов смысла».  

• Интеллект анализирует восприятие мира, выявляя повторяющиеся фрагменты и извлекая «атомы смысла» — абстракции.  

• Абстракции используются для осмысления новых ситуаций, создавая внутренние банки знаний.  

• Синтез — процесс создания моделей новых ситуаций из существующих абстрактных блоков.  

• Генерация абстракций — обратный процесс, в котором изучается информация о мире и создаются новые абстракции.  

• Эти процессы формируют интеллект в архитектуре AGI.  

• Автор начал говорить о необходимости синтеза программ в середине 2016 года.  

• Работа над автоматизированным улучшением теорем с использованием глубокого обучения стала ключевым событием.  

• Попытки использовать глубокое обучение для синтеза программ часто заканчивались неудачей из-за ограничений моделей.  

• Глубокое обучение не способно обучать обобщаемые дискретные программы.  

• Модели глубокого обучения представляют собой механизмы распознавания образов, а не вторую систему мышления.  

• Для использования второй системы мышления необходим программный синтез.  

• Непрерывные дифференцируемые поверхности в моделях глубокого обучения плохо подходят для дискретных вычислений.  

• Сложно научить глубокие нейронные сети сортировать списки или складывать последовательности цифр.  

• Даже современные модели достигают лишь 70% точности в таких задачах.  

• Параметрические кривые с наземным спуском хорошо подходят для ценностно-ориентированной абстракции, где сравниваются вещи через функцию непрерывного расстояния.  

• Программно-ориентированная абстракция требует пошагового сравнения графиков, а не непрерывного расстояния.  

• Сравнение графиков должно быть точным и пошаговым, а не приблизительным.  

• Глубокое обучение предоставляет направленно точные, но не всегда точные результаты.  

• Для полезного использования результатов глубокого обучения необходима постфакторная проверка.  

• Интуиция и точные проверки помогают избежать ошибок в сравнениях.  

• Дети активно учатся, пробуя новое и извлекая навыки из своих действий.  

• Обучение структурировано в виде циклов обратной связи: ребёнок замечает интересное, ставит цель, действует, получает обратную связь и оценивает результат.  

• Новые навыки используются для достижения новых целей.  

• В раннем возрасте важны сосательный рефлекс и ладонный рефлекс хватания.  

• Контроль над конечностями позволяет ребёнку схватывать предметы и подносить их ко рту.  

• Ползание и другие навыки развиваются на основе уже освоенных действий.  

• Мысли строятся на основе чувственного восприятия окружающего мира.  

• Чем моложе ребёнок, тем более обоснованы его мысли.  

• С возрастом мысли становятся более абстрактными, но остаются основанными на физическом уровне.  

• Дети создают библиотеки повторно используемых фрагментов опыта.  

• Эти библиотеки помогают находить смысл в новых ситуациях.  

• Разные дети следуют разным траекториям развития, но проходят примерно одни и те же этапы.  

• Интеллект отличается от навыков и поведения.  

• Языковые модели LLM имеют почти нулевой интеллект, так как не способны справляться с новизной.  

• Их способность адаптироваться к новым задачам ограничена обучающими данными.  

• LLM демонстрируют слабое обобщение и неэффективное построение моделей.  

• Для получения хорошей модели требуется тщательная выборка данных.  

• Реальный мир постоянно меняется, что делает LLM менее эффективными.  

• В будущем могут появиться системы, способные решать новые проблемы оригинальными способами.  

• Такие системы смогут помогать в разработке новых научных разработок.  

• Текущие LLM не способны направлять к великим открытиям.  

• Креативность и логические рассуждения зависят от человека, а не от моделей.  

• LLM полезны для предложений, но не следует слепо им следовать.  

• Успешные реализации LLM всегда включают человека-супервайзера или внешнего верификатора.  

• Интеллект — это эффективность приобретения навыков.  

• Для измерения интеллекта нужно контролировать доступ системы к данным.  

• Набор данных RCGI используется для оценки эффективности приобретения навыков.  

• Интеллект не поддаётся вычислению из-за невозможности представить все возможные задачи.  

• Формализованная мера интеллекта полезна для осмысления проблемы, но не для практического применения.  

• Интеллект — это мета-навык, который приобретается через опыт.  

• Механизм приобретения навыков включает синтез и абстракцию.  

• Библиотека абстракций улучшается с опытом, повышая эффективность синтеза.  

• Синтез из существующих абстракций сам по себе является навыком, который совершенствуется с опытом.  

• Когнитивное развитие выходит на плато, но качество абстракций и интуиция улучшаются с возрастом.  

• Пик интеллекта приходится на возраст около 20 лет.  

• Нижние слои когнитивных способностей закладываются до 15 лет.  

• Некоторые навыки, такие как игра на музыкальном инструменте или говорение с родным акцентом, лучше осваивать до 15 лет.  

• Знания важны, но слишком много знаний без подвижного интеллекта может быть недостатком.  

• Оптимальный баланс между знаниями и гибким интеллектом важен для эффективного мышления.  

• Шаблоны помогают решать проблемы и улучшать обучение.  

• Изучение математики, физики и программирования даёт метауровневые шаблоны для решения задач.  

• В 20 лет автор был более эффективен в изучении языка благодаря набору инструментов, чем в 12 лет.  

• Самонадеянность мешает искать новую информацию и создавать новое.  

• Сбор и курирование способов решения проблем помогают находить новые идеи.  

• Связывание нового с уже известными идеями приводит к моментам озарения.  

• Абстракции позволяют фокусироваться на общей картине, а не на деталях.  

• Повторное чтение статей помогает лучше понять идеи.  

• Когнитивный путь автора позволяет быстро понимать материал, но может упускать детали.  

• ARC — это набор данных для оценки интеллекта, включающий задачи на логическое мышление.  

• Задачи включают преобразование входных цветовых сеток в выходные.  

• Набор данных разделён на обучающее, проверочное и закрытое подмножества.  

• Базовые знания включают предметность, геометрию, топологию и агентность.  

• Обучающее подмножество демонстрирует базовые знания для машинного обучения.  

• Проверочное подмножество должно быть таким же сложным, как и закрытое тестирование.  

• Закрытое тестирование ARC включает 100 задач, которые решаются без предварительного ознакомления.  

• Современные системы ИИ достигают 46% успеха в решении задач ARC.  

• Объединение заявок конкурса 2020 года может дать результат в 49%.  

• Даже при бесконечных вычислениях остаётся проблема выбора оптимального решения.  

• Эмпирически простое решение может быть хорошей эвристикой, но есть и другие потенциальные недостатки.  

• Понимание человеческого разума не всегда полезно для создания ИИ.  

• Разнообразие задач в ARC важно для обобщения решений.  

• В первоначальном ARC было около 900 задач.  

• Система может быть обучена определять обобщающие программы на основе длины в DSL и других функций.  

• Обобщение — это способность адаптироваться к новым условиям.  

• Важно учитывать точку зрения разработчика или агента.  

• Система разработчика предпочтительнее, чтобы избежать жёсткого кодирования или предварительного обучения.  

• Текущий тест ARC имеет ограничения по разнообразию и новизне задач.  

• Некоторые задачи в ARC близки друг к другу и к задачам из интернета.  

• Мелани Митчелл предлагает использовать движущийся тест.  

• Для измерения интеллекта нужен процесс генерации уникальных задач.  

• Динамическая система генерации задач позволяет тестировать различные подходы.  

• Подгонка кривой с помощью градиентного спуска не работает из-за ограниченного количества примеров.  

• Динамический процесс генерации эталонов позволяет оценивать обобщающую способность систем.  

• Тестируемые получают задачи с increasing сложностью.  

• Оценка начинается с простых примеров и переходит к более сложным.  

• Формализация базовых знаний может привести к потере важной информации.  

• Сложность задач ограничена сложностью основной программы.  

• Ручная генерация задач в ARC позволяет избежать этих проблем.  

• AGI может создавать тесты на интеллект, которые будут богатыми и сложными.  

• Создание такой программы сравнимо с разработкой AGI.  

• AGI должен быть способен быстро и эффективно создавать предсказательные модели.  

• Модели AGI должны быть причинно-следственными и проактивными.  

• Они должны позволять планировать достижение целей.  

• Интерпретируемость модели достигается через показ её в действии.  

• Современные подходы к синтезу программ ориентированы на поиск входных данных.  

• Настоящий AGI создаст модели, объясняющие содержание задачи.  

• Программы AGI будут легко интерпретироваться и создавать новые экземпляры задач.  

• Исследователи ИИ используют самоанализ для решения сложных задач.  

• Они анализируют проблемы, связывая их с цветом и счётом, и пытаются формализовать свои подходы.  

• Самоанализ эффективен для понимания мышления по второй системе, но менее эффективен для первой системы.  

• Первая система работает неосознанно и мгновенно, в то время как вторая система более продумана и медленна.  

• Вторая система позволяет выдвигать гипотезы и проверять их в уме.  

• Когнитивные процессы в человеческом сознании всегда сочетают элементы первой и второй систем.  

• Интуиция позволяет сокращать огромное пространство потенциальных программ до нескольких гипотез.  

• Даже в восприятии присутствуют элементы второй системы, которые включают обобщения и композиции.  

• Взаимосвязь между первой и второй системами напоминает симфонию, где все элементы работают вместе.  

• Программный синтез на компьютере сталкивается с проблемой комбинаторного взрыва из-за огромного количества возможных программ.  

• Программы создаются путём объединения функций, и каждая комбинация проверяется на практике.  

• Узкое место заключается в росте размера программного пространства с увеличением количества строительных блоков.  

• DreamCoder использует глубокое обучение для синтеза программ и создания банка повторно используемых примитивов.  

• Система развивается через цикл бодрствования и сна, переобучая генеративную модель.  

• DreamCoder сочетает синтез программ и генерацию абстракций, что делает его многообещающим направлением.  

• Модель кодера-декодера основана на архитектуре T-5 и проводит предварительную подготовку на большом наборе кода и математических данных.  

• Это помогает в решении задач, что является интересным открытием.  

• Модель настраивается на основе миллионов сгенерированных задач, похожих на дуги.  

• Описание задачи сводится к последовательности символов, которая вводится в LLM.  

• Итоговая таблица декодируется обратно.  

• Во время выполнения каждой новой задачи создаётся точно настроенная версия модели.  

• Применяются рандомизированные преобразования жёсткого кода для создания мини-набора обучающих данных.  

• Модель точно настраивается на основе этого набора данных и применяется к тестовым входным данным.  

• Точная настройка позволяет увеличить производительность модели с нескольких процентов до более чем 40%.  

• Подход сравнивается с поиском в программе, где одна ось — богатство и сложность DSL, а другая — богатство и сложность способов рекомбинации строительных блоков.  

• Поиск по программам обычно выполняется на маленьком DSL-сервере с 100–500 примитивными функциями.  

• Джек Коул превращает LLM в базу данных векторных функций с миллионами примитивов.  

• Во время тестирования используется градиентный спуск для объединения примитивов в новую программу.  

• Рекомбинация является критически важным компонентом интеллекта.  

• Статический вывод без рекомбинации не проявляет большого интеллекта.  

• Градиентный спуск — слабый и неэффективный способ синтеза, результирующие программы имеют малую глубину рекомбинации.  

• Человеческий интеллект находится посередине спектра: богатый набор абстрактных идей и моделей мышления сочетается с способностью к быстрой рекомбинации.  

• Это позволяет решать проблемы с ARC практически за секунды.  

• Тонкая настройка может повредить представления в базовой модели, если скорость обучения не будет достаточно низкой.  

• Джек Коул закодировал тонкую настройку так, чтобы укрепить существующее многообразие модели.  

• Статический логический вывод с LLM мало рекомбинирует, любая рекомбинация проходит через заранее изученные программы.  

• Тонкая настройка времени тестирования позволяет проводить настоящую рекомбинацию, модифицируя программы для соответствия поставленной задаче.  

• Предварительное обучение LLM миллионам сгенерированных задач может быть попыткой взломать тест с помощью запоминания.  

• Извлечение информации из набора данных для оценки и её возврат в модель приводит к переобучению.  

• Частный тестовый набор RKG может стать причиной переобучения из-за ограниченного объёма информации, получаемой участниками.  

• Планируется выпуск второй версии набора данных для решения этой проблемы.  

• Вторая версия набора данных будет включать два закрытых теста: публичный двойной балл и дополнительный закрытый балл.  

• Участники получат оценку только после отправки заявки.  

• Новый набор данных заменит текущий, что позволит моделям лучше обобщаться.  

• Райан Гринблатт из Redwood Research предлагает использовать LLM для генерации программ-кандидатов.  

• Программы-кандидаты проверяются вручную с помощью интерпретатора кода.  

• Сочетание глубокого обучения с дискретным программным поиском считается перспективным направлением исследований.  

• Вместо создания сквозных программ на Python предлагается выполнять двоичную проверку корректности программ.  

• LLM может использоваться для создания модифицируемых графиков на основе DSL.  

• Локальный дискретный поиск по программам-кандидатам помогает уменьшить объём работы.  

• Ручная работа необходима для перехода от программ-кандидатов к фактическому решению.  

• Процесс второго типа помогает в этой работе.  

• Публичный трек позволяет использовать любые наборы RTM.  

• Получастный трек не является полностью приватным, но и не публикуется.  

• Цель — привлечь участников, таких как Райан Гринблатт, для создания сложных цепочек создания произведений искусства.  

• Деньги на кону — сигнал серьёзности подхода, а не основной стимул.  

• Репутационная ценность победы важнее материальных призов.  

• Победа может привести к созданию лаборатории и сбору средств.  

• Модульная архитектура LLM включает нейросимволическую систему для генерации идей и внешний верификатор.  

• Результаты LLM не следует слепо доверять, их нужно проверять вручную.  

• Внешний верификатор помогает решить проблему комбинаторного взрыва и улучшить качество решений.  

• Архитектура двунаправленная, верификаторы могут выдавать ответы «да», «нет», «возможно» или дополнительную информацию.  

• Верификаторы специфичны для предметной области и зависят от конкретных условий.  

• В некоторых случаях, например, при синтезе программ из пар ввода-вывода, внешний верификатор может быть доступен.  

• Агентство определяется как виртуальный раздел системы с самопричинностью и интенциональностью.  

• Интеллект — это инструмент для достижения целей, связанный с сенсорно-моторным пространством и способностью ставить цели.  

• Модель мира и интеллект могут быть разделены.  

• В RTS-играх мини-карта представляет модель мира, а щелчок правой кнопкой мыши — указание цели.  

• Интеллект в этой метафоре — алгоритм поиска пути для достижения цели.  

• Агент включает механизм постановки целей, модель мира и сенсорно-моторное пространство.  

• Агентство и разведка рассматриваются как виртуальные свойства, а не как явные физические свойства.  

• Создание AGI с явным разделением компонентов в программном обеспечении — простой способ достижения целей.  

• Человеческий разум изменяет себя на двух уровнях: долгосрочная шкала связана с разработкой абстракций и формированием памяти, краткосрочная — с нейропластичностью.  

• Нейропластичность позволяет хранить программы для повторного использования.  

• Большая часть познавательной деятельности происходит вне мозга, например, через общение и использование слов и идей.  

• Индивидуумы извлекают многоразовые фрагменты из окружающей среды и делятся ими с другими.  

• Культура и образование позволяют загружать ментальные шаблоны в мозг и повышать эффективность решения проблем.  

• Мозг использует жизненный опыт для извлечения абстракций, которые затем воплощаются с помощью языка.  

• Абстракции могут быть загружены другими мозгами и использованы для создания новых моделей.  

• Рекомбинация абстракций происходит внутри мозга.  

• Наука занимается синтезом, который управляется людьми, но не происходит внутри человеческого мозга.  

• Рекомбинативный поиск в пространствах, которые не могут поместиться внутри человеческого мозга, осуществляется через внешние артефакты.  

• Пример: создание более совершенных компьютеров требует рекомбинативного поиска в пространстве возможных устройств.  

• Человеческая цивилизация реализует высокораспределённую часть процесса синтеза интеллекта.  

• Интеллект внедряется извне во множество различных мозгов, манипулируя внешними символами и артефактами.  

• Системы, которые мы создаём, настолько сложны, что никто не может полностью их понять.  

• Познание является внешним не только в смысле записи и считывания идей, но и управления интеллектом вне мозга.  

• Наука рассматривается как коллективный разум, управляющий языками и языками.  

• Обсуждается возможность мимесиса в открытых физических системах с определёнными паттернами функциональной динамики.  

• Внешние когнитивные процессы менее эффективны, чем внутренние.  

• Интеллект — это процесс поиска в пространстве возможных приспособлений.  

• В исследованиях глубокого обучения часто используется метод перебора.  

• Физическая форма и воплощение важны для развития интеллекта.  

• Роботы, взаимодействующие с реальным миром, строят модели более эффективно.  

• Познание строится слой за слоем, начиная с примитивных сенсомоторных подпрограмм.  

• Даже абстрактная математика использует строительные блоки, которые в конечном итоге превращаются в эти примитивные подпрограммы.  

• Постановка целей — важнейший компонент интеллектуального агента.  

• Дети учатся через постановку целей и их достижение.  

• Язык — это инструмент для мышления, расширяющий возможности разума.  

• Язык позволяет интроспектировать и индексировать мысли, делая их более доступными для анализа.  

• Язык аналогичен операционной системе для компьютера, позволяя создавать более сложное программное обеспечение.  

• Улучшение инструментов не меняет интеллект, а лишь расширяет его возможности.  

• Информационная архитектура состоит из опосредованных абстракций, напоминающих концентрические круги сложности.  

• Язык рассматривается как имитационный эквивалент физического инструмента, например, ножниц.  

• Сознание у детей развивается постепенно, но идея машинного сознания менее интересна автору.  

• Сознание связано с использованием второй системы мышления.  

• Автор не претендует на полное понимание сознания и считает, что машинное сознание возможно, но пока не реализовано.  

• Сознательная система должна быть более сложной, чем модели глубокого обучения.  

• Она должна иметь постоянное состояние, влияющее на будущее, а не быть просто реакцией на внешние стимулы.  

• Сознание требует способности к самоанализу и самосогласованному состоянию.  

• Младенцы в утробе матери в основном спят из-за низкого давления кислорода и анестетиков, вырабатываемых плацентой.  

• Их мозг учится пассивно, подсчитывая статистические данные об окружающей среде.  

• При рождении сознание начинается с нуля, постепенно развиваясь.  

• Младенцы в возрасте около одного месяца находятся в сознании на уровне большинства млекопитающих.  

• Взрослый уровень сознания достигается примерно в возрасте двух-трёх лет.  

• Уровень осознанности достигает пика в возрасте девяти-десяти лет, после чего начинает снижаться.  

• Чем выше уровень сознания, тем медленнее воспринимается время.  

• Сознание можно представить как связующее звено в модели мира, от которого отходят множество связей.  

• Глубина связей и количество заметных вещей влияют на восприятие времени.  

• У годовалых детей восприятие времени быстрое из-за низкого уровня осознанности.  

• С возрастом восприятие времени замедляется, достигая пика в возрасте девяти-десяти лет.  

• После этого восприятие времени снова ускоряется из-за снижения уровня осознанности.  

• Профессор Марк Холмс считает, что сознание связано с ошибками предсказания.  

• Чем больше автоматизируется деятельность, тем меньше становится осознанность.  

• Сознание может быть виртуальным свойством функциональной динамики системы.  

• Теоретически сознание можно реализовать в кремнии через правильную функциональную динамику.  

• Марк Холмс пренебрежительно относится к трудной проблеме сознания.  

• Квалиа существуют, но их сложно объяснить.  

• Субъективный опыт не сводится к научным объяснениям.  

• Животные обладают сознанием, но в меньшей степени, чем люди.  

• Неживым системам не хватает базовых предпосылок для сознания.  

• Коллектив американцев не обладает необходимыми качествами для сознания.  

• Система обладает сознанием, если выражает утверждения о своём внутреннем состоянии.  

• Важно, чтобы заявления системы не были результатом повторения прошлого опыта.  

• Ребёнок выражает свои чувства, которые не могли быть почерпнуты из прошлого опыта.  

• Это правдоподобно указывает на осознание психических состояний.  

• Крайние взгляды на будущее мотивированы хорошими историями и желанием найти смысл в жизни.  

• Создание AGI рассматривается как научная проблема, а не как религиозный поиск.  

• AGI будет ценным инструментом для научных исследований, но не сделает человека бессмертным.  

• Эффективные способы превращения информации в модели могут стать «узким местом».  

• Современные учёные уже слишком умны, их теории превосходят экспериментальные данные.  

• Прикладной интеллект основан на экспериментальных данных, которые могут стать узким местом при чрезмерном интеллекте.  

• Отсутствие агентских систем устраняет многие проблемы, связанные с целями и конвергенцией.  

• Обсуждение рисков зависит от воли и восприятия агентских систем.  

• Интеллект отделен от постановки целей.  

• AGI может преобразовывать информацию в практические модели, но не способен ставить собственные цели.  

• Объединение AGI с автономной системой настройки вызовов и системой ценностей может создать опасного агента.  

• AGI станет мощной технологией, но её использование сопряжено с рисками.  

• Контроль над AGI возможен, так как он не может ставить цели самостоятельно.  

• Опасность связана с постановкой целей и пространством для действий.  

• Для создания опасного агента не нужен высокий интеллект, достаточно примитивных техник.  

• Обсуждение экзистенциального риска искусственного интеллекта и других рисков.  

• Сомнения в рациональности некоторых подходов к регулированию.  

• После достижения точки G можно будет обсуждать связанные с AGI риски.  

• AGI — это часть программного обеспечения, а не самосознающая система.  

• Безопасность и управление остаются ключевыми вопросами.  

• Современные технологии ИИ могут нанести вред, поэтому регулирование необходимо.  

• Текущие предложения по регулированию могут навредить инновациям.  

• Введение нового регулирования для ИИ — сложная задача.  

• Благодарность за приглашение.