Распознавание образов против истинного интеллекта - Франсуа Шолле

• Интеллект определяется способностью воспринимать новизну и справляться с ситуациями, с которыми ранее не сталкивались.  

• В фильмах редко показывают, как герои справляются с задачами, отличающимися от их обучения.  

• ARC GIS можно рассматривать как тест на IQ для людей и агентов ИИ.  

• Каждое задание в ARC GIS уникально и не может быть решено с помощью запоминания.  

• Самоанализ помогает понять, как разум справляется с мышлением, но не эффективен для первой системы.  

• Первая система работает неосознанно и мгновенно, в то время как вторая система медленная и интроспективная.  

• Масштабирование не является единственным фактором для достижения высокого уровня интеллекта.  

• Тесты на запоминание могут быть взломаны, что делает их неэффективными для оценки интеллекта.  

• Языковые модели LLM можно рассматривать как системы приблизительного поиска.  

• LLM запоминают не только контент, но и функции и программы, что позволяет им обобщать.  

• LLM обучаются предсказывать следующий токен, используя векторные функции.  

• Моделирование стиля текста, например, Шекспира, возможно благодаря изучению множества функций.  

• LLM можно рассматривать как калейдоскоп, где функции можно комбинировать для создания новых.  

• Это позволяет LLM выполнять интерполяцию и суммирование функций для получения новых результатов.  

• Мир подчиняется структуре, которая кажется сложной и новой, но на самом деле состоит из повторяющихся атомов смысла.  

• Интеллект анализирует восприятие мира, выявляя повторяющиеся фрагменты и извлекая уникальные атомы смысла.  

• Эти абстракции используются для осмысления новых ситуаций, что является основой интеллекта.  

• Интеллект создает модели новых ситуаций, комбинируя существующие строительные блоки.  

• Синтез объединяет строительные блоки для формирования программной модели.  

• Генерация абстракций изучает информацию о мире и создает многоразовые абстракции для последующего использования.  

• Глубокое обучение может сделать систему первой системы эффективной, но не второй.  

• Важным событием стала работа над автоматизированным улучшением теорем с использованием глубокого обучения.  

• Попытки использовать глубокое обучение для синтеза программ не увенчались успехом из-за ограничений распознавания образов.  

• Глубокое обучение не может выполнять обобщаемые дискретные программы.  

• Модели глубокого обучения ограничены распознаванием образов и не подходят для второй системы мышления.  

• Необходим программный синтез для выполнения сложных задач.  

• Архитектура AGI была разработана в 2010 году для создания интеллекта.  

• Глубокое обучение проецирует данные в евклидово пространство, что приводит к ложным корреляциям.  

• Кривые в моделях глубокого обучения плохо подходят для дискретных вычислений.  

• Нейронные сети подходят для ценностно-ориентированной абстракции, но не для программно-ориентированной.  

• Программно-ориентированная абстракция требует точного пошагового сравнения, что сложно реализовать с помощью кривых.  

• Глубокое обучение и LMMS могут быть полезны, но требуют постфакторной проверки для точности.  

• Дети активно учатся, пробуя новое и извлекая навыки из своих действий.  

• Обучение структурировано в виде циклов обратной связи, где дети ставят цели, достигают их и оценивают результаты.  

• Цели детей основаны на их текущем уровне знаний и опыта.  

• Важные сенсомоторные навыки, такие как сосательный рефлекс, формируются с рождения.  

• Дети учатся хвататься за предметы и использовать их для достижения целей.  

• Постепенное развитие навыков, таких как ползание, основано на интересе к новым объектам.  

• Мысли строятся на основе чувственного восприятия и опыта.  

• Чем моложе ребенок, тем более связаны его мысли с реальностью.  

• По мере взросления мысли становятся более абстрактными, но все еще основаны на физическом уровне.  

• Дети создают библиотеки повторно используемых фрагментов для принятия решений.  

• Разные дети могут создавать разные модели, но все они основаны на одних и тех же процессах.  

• Все дети проходят схожие этапы развития, хотя и с разной скоростью.  

• Интеллект отличается от навыков и поведения.  

• Языковые модели LLMs обладают почти нулевым интеллектом, но могут адаптироваться к новым задачам.  

• LLMs могут рекомбинировать знания, но их способность к обобщению и адаптации ограничена.  

• LLMs не могут решать новые проблемы, которые не встречались в их обучающих данных.  

• В будущем могут появиться системы, способные решать новые задачи оригинальными способами.  

• Современные LLMs не могут направлять на путь к новым научным открытиям.  

• Креативность и логические рассуждения исходят от человека.  

• LLM могут быть полезны для исследования известных данных, но не создают ничего нового.  

• Важно проверять и корректировать предложения LLM, особенно в коде.  

• Интеллект определяется как эффективность приобретения навыков.  

• Важно контролировать доступ системы к данным и опыту.  

• Измерение интеллекта требует контроля над предыдущими достижениями и опытом.  

• Интеллект не поддается вычислению, так как невозможно представить все возможные задачи.  

• Формализация меры интеллекта полезна для осмысления проблемы, но не для практического использования.  

• Интеллект - это мета-навык, который приобретается через опыт.  

• Механизм приобретения навыков включает синтез и абстракцию.  

• Интеллект развивается и оттачивается на протяжении всей жизни.  

• Библиотека абстракций должна быть сбалансирована между сложностью и эффективностью.  

• Пик когнитивного развития наступает в возрасте около 20 лет.  

• Качество абстракций и интуиция улучшаются с возрастом.  

• Знания важны, но не менее важен подвижный интеллект.  

• Слишком много знаний без подвижного интеллекта может быть недостатком.  

• Существует оптимальный баланс между знаниями и подвижным интеллектом.  

• Успех в обучении зависит от наличия шаблонов и инструментов.  

• Образование помогает развивать метауровневые шаблоны для решения проблем.  

• В 20 лет автор был более эффективен в изучении языка благодаря набору инструментов.  

• Уверенность в наличии ответов на все вопросы мешает искать новую информацию.  

• Важно собирать и курировать способы решения проблем.  

• Связывание новых идей с уже известными помогает в обучении.  

• Абстрагирование помогает лучше понимать сложные идеи.  

• Повторное чтение и анализ статей могут привести к новым открытиям.  

• Система абстракций и рассуждений ARC Challenge фиксирует показатели интеллекта.  

• ARC Challenge включает задачи на логическое мышление.  

• Задачи состоят из пар входных и выходных изображений.  

• Цель - понять программу, преобразующую входные данные в выходные.  

• Обучающее подмножество предназначено для демонстрации базовых знаний.  

• Подмножество проверки должно быть сложным, как закрытый набор тестов.  

• Закрытый набор тестов оценивается двумя людьми, что делает его сложным для ИИ.  

• Люди решают 97-98% задач без предварительного ознакомления.  

• Задачи ARC Challenge сложны для систем ИИ.  

• В 2019 году достигнут уровень 46%, а в 2020 году - 49%.  

• Даже при бесконечном количестве вычислений остается проблема выбора.  

• Выбор программы с наименьшей сложностью может быть хорошей эвристикой.  

• Понимание психологии человеческого разума может помочь в создании ИИ.  

• В ARC Challenge около 900 задач, что требует разнообразия.  

• Обобщение задач ориентировано на разработчиков.  

• Обобщение означает способность адаптироваться к новым ситуациям.  

• Важно учитывать точку зрения разработчика системы, а не агента.  

• Разработчик должен встраивать правильные модели и данные для демонстрации обобщений.  

• ARC - первая попытка оценить уровень интеллекта.  

• Задачи в первой версии ARC могут быть избыточными и похожими на существующие в Интернете.  

• Для измерения интеллекта нужен процесс генерации уникальных задач.  

• Динамическая система генерации задач позволяет тестировать подходы с низким уровнем интеллекта.  

• Подгонка кривой с помощью градиентного спуска не работает из-за ограниченного количества примеров.  

• С динамической системой можно оценивать эффективность различных методов и моделей.  

• ARC станет эталоном генеративности, как и Вселенная.  

• Важно избегать формализации базовых знаний, чтобы не потерять важные аспекты.  

• Сложность задач должна быть ограничена сложностью основной программы.  

• AGI должен быть способен создавать модели для новых предметных областей.  

• Модель должна быть предсказательной и причинно-следственной.  

• Программы, созданные AGI, должны быть легко интерпретируемыми и объяснять содержание задачи.  

• Самоанализ помогает понять, как разум справляется с задачами.  

• Вторая система мышления работает медленно и продуманно.  

• Первая система работает неосознанно и мгновенно.  

• Вторая система использует интуицию и модели познания.  

• Программный синтез в мозге работает через интуицию и проверку гипотез.  

• Когнитивные процессы включают элементы как первой, так и второй системы.  

• Первая и вторая системы тесно связаны.  

• Программный синтез руководствуется интуицией и проверкой.  

• Важно понимать, как эти системы работают вместе.  

• Программный синтез сталкивается с проблемой комбинаторного взрыва.  

• Люди используют интуицию для сокращения пространства возможных программ.  

• Программы должны быть проверены на правильность.  

• Dreamcoder использует глубокое обучение и генеративные модели.  

• Dreamcoder развивает банк повторно используемых примитивов.  

• Модель глубокого обучения тренируется в режиме бодрствования и сна.  

• Модель кодера-декодера основана на архитектуре T-Five.  

• Предварительная подготовка на большом наборе данных помогает в решении задач.  

• Это интересное открытие в области искусственного интеллекта.  

• Модель используется для решения миллионов сгенерированных задач.  

• Описание задачи преобразуется в последовательность символов и вводится в LLM.  

• Модель декодирует результаты и применяет их к тестовым данным.  

• Модель работает плохо, но точная настройка во время тестирования улучшает результаты.  

• Создаются варианты задачи с рандомизированными преобразованиями.  

• Модель точно настраивается на основе мини-набора обучающих данных.  

• Модель с точной настройкой достигает 40% точности.  

• Спектр программ включает богатство и сложность DSL и рекомбинацию строительных блоков.  

• Джек Коул использует LLM как базу данных векторных функций.  

• Рекомбинация является ключевым компонентом интеллекта.  

• Статический вывод не проявляет значительного интеллекта.  

• Градиентный спуск неэффективен для синтеза программ.  

• Человеческий интеллект находится посередине спектра программ.  

• Доступ к богатому набору идей и способность к их рекомбинации.  

• Решение проблем с ARC за считанные секунды.  

• Тонкая настройка может повредить представления в модели.  

• Джек Коул использует тонкую настройку для укрепления модели.  

• Вывод во время тестирования отличается от статического логического вывода.  

• Контекстное обучение использует жестко запрограммированный алгоритм.  

• Тонкая настройка времени тестирования улучшает рекомбинацию.  

• Проблема в том, что это не соответствует духу оценки интеллекта.  

• Подход Джека Коула может быть использован для взлома теста.  

• Важно, чтобы тестовый набор был устойчивым к запоминанию.  

• Лучшие LLM показывают высокую точность на новых данных.  

• Утечка информации между наборами данных может быть непреднамеренной.  

• Тестирование на частной площадке может дать информацию о содержимом тестового набора.  

• Переобучение возможно не только на данных обучения, но и на других данных.  

• Процесс извлечения информации из данных и её отбрасывание обратно в модель приводит к переобучению.  

• Это особенно актуально для частных тестовых наборов, таких как RKG.  

• Планируется выпустить вторую версию набора данных для решения этой проблемы.  

• В новой версии набора данных будут два закрытых теста: публичный и закрытый.  

• Публичный тест будет оцениваться сразу, а закрытый - только в конце.  

• Это позволит участникам получить сигнал обратной связи и улучшить свои модели.  

• Райан Гринблатт предложил использовать LLM для генерации программ-кандидатов.  

• Этот подход аналогичен методу грубой силы и интуитивного поиска.  

• Глубокое обучение и дискретный программный поиск могут быть объединены для улучшения результатов.  

• Использование LLM для создания модифицируемых графиков и выполнения локального дискретного поиска.  

• Программы-кандидаты могут служить отправными точками для поиска.  

• Ручная работа необходима для перехода от программ-кандидатов к фактическому решению.  

• Введен полу-частный трек для тестирования сложных решений.  

• Публичный трек позволяет использовать любые наборы данных и API.  

• Организаторы стремятся к открытости и честности в оценке решений.  

• Большие деньги на кону стимулируют участников.  

• Репутационная ценность решения важнее финансовой награды.  

• Решение проблемы ARC может привести к созданию лаборатории и сбору средств.  

• Использование LLM как механизма интуитивного внушения.  

• Не следует слепо доверять результатам LLM, а проверять их с помощью внешних верификаторов.  

• Это позволяет избежать комбинаторного взрыва и улучшить результаты.  

• Архитектура может быть двунаправленной, что упрощает задачу.  

• Верификаторы специфичны для предметной области и могут выдавать "да", "нет" или дополнительную информацию.  

• В некоторых случаях, например, в синтезе программ, верификаторы могут быть внешними.  

• Агентство определяется как виртуальный раздел системы с самопричинностью и интенциональностью.  

• Интеллект - это инструмент для достижения целей, связанный с сенсорно-моторным пространством и моделью мира.  

• В RTS-играх интеллект можно представить как алгоритм поиска пути в пространстве будущих ситуаций.  

• Интеллект помогает ориентироваться в пространстве будущих ситуаций и планировать действия.  

• Агент состоит из множества элементов, включая механизм постановки целей и сенсорно-моторное пространство.  

• Интеллект преобразует информацию о мире в модель для планирования.  

• Агентство и разведка могут быть виртуальными свойствами, а не явными физическими свойствами.  

• В AGI компоненты будут явно разделены в программном обеспечении для упрощения.  

• Архитектура будет четкой и структурированной.  

• Разум изменяет себя на двух шкалах: долгосрочной и краткосрочной.  

• Нейропластичность позволяет изменять связи в мозге для хранения программ.  

• Большая часть познания происходит вне мозга, через общение и использование культурных артефактов.  

• Люди могут извлекать и делиться многократно используемыми абстракциями через культуру.  

• Образование позволяет загружать и рекомбинировать ментальные шаблоны, делая людей более сообразительными.  

• Культура и образование создают банк абстракций, которые можно использовать повторно.  

• Люди являются источником абстракций, которые воплощаются через язык и культуру.  

• Генерация и рекомбинация абстракций происходят внутри мозга.  

• В контексте AGI, процесс рекомбинации и абстрагирования должен быть закодирован в программной форме.  

• Наука занимается синтезом, который управляется людьми, но не происходит внутри человеческого мозга.  

• Рекомбинативный поиск в пространствах, которые не могут поместиться в человеческом мозге, осуществляется через внешние артефакты.  

• Создание более совершенных устройств требует рекомбинативного поиска в пространстве возможных  

• Человеческая цивилизация реализует синтез интеллекта через внешние символы и артефакты.  

• Системы, созданные людьми, настолько сложны, что их невозможно полностью понять.  

• Познание становится внешним, управляемым вне мозга.  

• Интеллект проявляется коллективно и внешне.  

• Наука и языки управляют нами, но мимесис происходит и в физических системах.  

• Вопрос в том, откуда берутся абстракции при внешнем познании.  

• Внешнее познание менее эффективно, чем внутреннее.  

• Технологии и наука реализуют поиск методом перебора.  

• Люди могли бы быть более эффективными, моделируя вещи в своем мозге.  

• Физическое воплощение важно для взаимодействия с реальным миром.  

• Роботы взаимодействуют с миром, что помогает строить модели.  

• Интеллект строится на существующих компонентах и подпрограммах.  

• Познание строится слой за слоем, начиная с примитивных сенсомоторных навыков.  

• Воплощение важно для подключения и взаимодействия с миром.  

• Постановка целей важна для интеллектуального агента.  

• Язык расширяет возможности разума, как операционная система для компьютера.  

• Язык помогает интроспектировать и индексировать мысли.  

• Язык позволяет извлекать воспоминания и сложные мысли.  

• Язык аналогичен операционной системе для программирования.  

• Без языка сложность мыслей ограничена.  

• Язык улучшает способность к программированию, как инструменты для программиста.  

• Информационная архитектура состоит из опосредованных абстракций, как концентрические круги сложности.  

• Язык и ножницы как физические и имитационные инструменты.  

• Сознание у детей развивается постепенно, что связано с интеллектом.  

• Сознание связано с интеллектом, но природа этих отношений неясна.  

• Машинное сознание возможно, но сегодня нет ничего, что напоминало бы его.  

• Для сознательности система должна быть более сложной, чем модели глубокого обучения.  

• Сознание требует способности к самоанализу и самосогласованному состоянию.  

• Сегодня нет систем, которые выглядят как сознательные.  

• Младенцы в утробе матери не обладают сознанием, так как они в основном спят.  

• Младенцы в утробе матери спят из-за низкого давления кислорода и анестетиков.  

• Их мозг учится пассивно, но не обладает сознанием.  

• После рождения сознание развивается постепенно, начиная с нуля.  

• Сознание развивается постепенно, начиная с нулевого уровня.  

• Младенцы не могут видеть и не имеют модели мира и себя.  

• Сознание взрослого человека достигается в возрасте двух-трех лет.  

• Сознание влияет на восприятие времени, делая его медленнее.  

• Чем выше уровень сознания, тем медленнее воспринимается время.  

• Дети воспринимают время медленнее, но это зависит от возраста и уровня сознания.  

• Сознание связано с ошибками предсказания.  

• Чем больше автоматизируется процесс, тем менее сознательным мы становимся.  

• Сознание можно рассматривать как виртуальное свойство функциональной динамики системы.  

• Сознание не привязано к субстрату и может быть реализовано в кремнии.  

• Проблема сознания заключается в том, что мы не можем объяснить, что такое сознание.  

• Квалиа существуют, но их невозможно описать.  

• Животные обладают сознанием, но в меньшей степени, чем люди.  

• Неживые системы, такие как Земля, не обладают базовыми предпосылками для сознания.  

• Коллектив всех американцев не обладает сознанием из-за отсутствия базовых предпосылок.  

• Доказательство существования сознания всегда является предположением.  

• Система обладает сознанием, если она способна выражать утверждения о своем внутреннем состоянии.  

• Пример с ребенком, который выражает свои чувства, показывает, что система может осознавать свои психические состояния.  

• Сингуляризм и думеризм популярны из-за их привлекательности как мемов.  

• Эти идеи часто встречаются в художественной литературе и религии.  

• Создание AGI рассматривается как научная проблема, а не религиозный поиск.  

• AGI станет ценным инструментом для научных исследований и долголетия.  

• AGI не делает человека бессмертным, так как не обладает всемогуществом.  

• Современные ученые уже очень хороши в синтезе новых теорий, что может стать узким местом в будущем.  

• AGI не является агентским, что устраняет многие проблемы.  

• Обсуждение рисков зависит от воли и целей.  

• Если бы AGI был агентским, могли бы возникнуть проблемы, но этого нет.  

• Интеллект отделен от постановки целей.  

• Интеллект может преобразовывать информацию в практические модели, но не ставит свои собственные цели.  

• Объединение AGI с автономной системой настройки вызовов и системой ценностей может создать опасного агента.  

• AGI станет мощной технологией, но также будет рискованной.  

• Контроль над AGI важен, так как он не может ставить цели без внешнего механизма.  

• Опасность заключается в постановке целей и пространстве для действий.  

• Экзистенциальный риск важен, особенно в контексте ядерного риска.  

• Некоторые люди вкладывают деньги в исследования AGI из-за власти и контроля.  

• Вера в AGI может быть связана с желанием верить, что не является рациональным.  

• AGI - это часть программного обеспечения, которая может преобразовывать данные в модели.  

• Важно управлять и контролировать использование AGI.  

• Регулирование может быть полезным для защиты общества от вреда, но не должно вредить инновациям.  

• Регулирование AGI - сложная задача.  

• Лучше полагаться на существующее регулирование, не связанное с AGI.  

• Введение нового регулирования для AGI маловероятно.