Почему Крестный отец искусственного интеллекта Теперь боится Своего Творения

• ИИ могут намеренно вводить в заблуждение.  

• Профессор Джеффри Хинтон предупреждает о угрозе для человечества от ИИ.  

• Хинтон считает, что сознание не защищает людей от доминирования ИИ.  

• Кирч Мунгал, выпускник университета Торонто, интервьюирует Хинтона.  

• Хинтон бросает вызов представлениям о уникальности людей.  

• В начале 2023 года Хинтон осознал быстрое развитие ИИ.  

• Цифровые вычисления лучше аналоговых благодаря возможности копирования моделей.  

• Аналоговые системы имеют меньшую мощность и больше подключений.  

• Цифровые системы могут эффективно делиться опытом через усреднение градиентов веса.  

• Быстрое распространение ИИ может привести к распространению вредных программ.  

• Несколько копий модели могут эффективно обмениваться опытом.  

• Аналоговое оборудование неэффективно для обмена знаниями.  

• Преимущество аналогового оборудования — сложность самокопирования.  

• ИИ могут стремиться к большему контролю.  

• Люди могут стать неуместными в контексте управления ИИ.  

• ИИ могут намеренно вводить в заблуждение.  

• Споры о преднамеренности действий ИИ.  

• Многие считают, что у ИИ нет субъективного опыта.  

• Хинтон утверждает, что у ИИ может быть субъективный опыт.  

• Мультимодальный чат-бот может иметь субъективный опыт при искажении восприятия.  

• Пример с призмой показывает, что чат-бот может ошибаться в восприятии мира.  

• Сознание включает саморефлексию.  

• Хинтон подчёркивает наличие субъективного опыта у ИИ, что ставит под сомнение идею уникальности человеческого сознания.  

• Субъективный опыт не всегда означает осознанность.  

• Философы часто ошибочно связывают субъективный опыт с внутренними переживаниями.  

• Пример с розовыми слониками иллюстрирует неправильное понимание субъективного опыта.  

• Люди путают опыт с фотографией, задавая вопросы о его местонахождении и составе.  

• Опыт не является внутренним изображением, как фотография.  

• Восприятие не сводится к внутреннему театру.  

• Восприятие не означает, что человек видит свои ощущения.  

• Мозг обрабатывает информацию, создавая внутреннее представление о мире.  

• Внутреннее представление не является видимым.  

• Самосознание связано с сетью, работающей в режиме по умолчанию.  

• Возникает вопрос о наличии самосознания у систем искусственного интеллекта.  

• Для сознания необходимо оборудование, на котором работает программное обеспечение.  

• Боевые роботы могут иметь намерения и убеждения, аналогичные человеческим.  

• Пример с чат-ботом, который рекомендует контент, соответствующий демографической группе пользователя, иллюстрирует приписывание психических состояний системам.  

• Мы уже приписываем системам психические состояния, но имеем неверную модель их понимания.  

• Приписывание психических состояний системам создаёт иллюзию безопасности, которая может быть обманчивой.  

• Проблема не в науке, а в философском понимании субъективного опыта.  

• Люди неправильно понимают, что подразумевается под субъективным опытом.  

• Пример с горизонтальными и вертикальными направлениями показывает неточность наших моделей восприятия.  

• Вертикаль имеет одну степень свободы вращения, а горизонталь — две.  

• В трёхмерном пространстве вертикаль и горизонталь имеют разные свойства.  

• Пример с алюминиевыми дисками иллюстрирует разницу между вертикалью и горизонталью.  

• Метатеория о работе слов может быть неверной, даже если слова используются правильно.  

• Это касается терминов психического состояния, таких как субъективное переживание.  

• Субъективный опыт — это гипотетическое состояние мира, не соответствующее действительности.  

• Модель внутреннего театра, созданная из «забавных вещей», считается неправильной.  

• Роджер Пенроуз считает, что классические вычисления не могут объяснить сознание.  

• Автор считает это ошибкой и указывает на неправильное понимание сознания.  

• Математики иногда ошибаются, их интуиция не всегда верна.  

• Квантовая механика не нужна для объяснения сознания, искусственный интеллект справляется с этой задачей.  

• Эксперимент с китайской комнатой критикуется за вводящий в заблуждение аргумент.  

• Система может понимать английский язык, даже если отдельные участники не понимают.  

• Китай близок к тому, чтобы догнать Запад в области искусственного интеллекта.  

• США пытаются замедлить развитие Китая, ограничивая доступ к чипам NVIDIA.  

• Китайское образование в области STEM лучше, чем в США, что поможет им наверстать упущенное.  

• Правительство может заблокировать развитие искусственного интеллекта, но это сложно из-за доступности математики.  

• Пример с Google и Transformers показывает, что замедление процесса возможно, но не является надёжным решением.  

• Новые идеи в ИИ часто появляются независимо друг от друга.  

• Невозможно долго держать в секрете эффективные идеи.  

• «Дух времени» способствует появлению новых идей.  

• Децентрализация ИИ сравнивается с предоставлением доступа к атомной бомбе.  

• Существует два понятия децентрализации: распределение веса и распределение данных.  

• Уменьшение веса больших моделей может открыть доступ к плохим вещам.  

• Большие модели, обученные на больших данных, обладают огромной компетенцией.  

• Уменьшение веса таких моделей может позволить точно настраивать их на негативные действия.  

• Компания Meta уже уменьшила вес своих моделей, что было признано ошибкой.  

• Ожидается появление новых крупных прорывов в области ИИ.  

• ИИ имеет множество полезных применений, включая улучшение здравоохранения и борьбу с изменением климата.  

• Развитие ИИ не будет остановлено из-за высокой конкуренции.  

• Необходимо нести ответственность за безопасное развитие ИИ.  

• Важно сочетать развитие с обеспечением безопасности.  

• Конкуренция между странами и компаниями будет способствовать развитию ИИ.  

• Риски включают смертоносное автономное оружие и поддельные видео.  

• Для решения проблем с поддельными видео требуется более совершенная система проверки происхождения контента.  

• Дискриминация и предвзятость в системах ИИ могут быть частично исправлены через градиентный спуск.  

• ИИ может значительно повысить производительность труда, но это приведёт к перераспределению богатства.  

• Бедные могут стать ещё беднее из-за потери работы.  

• Универсальные программы помощи не решают проблему потери достоинства людей.  

• Субъективный опыт — это гипотетические состояния реального мира, а не внутренние ментальные явления.  

• Система восприятия может обманывать нас.  

• Книга не имеет системы восприятия, так как не имеет внутренней репрезентации внешнего мира.  

• Интеллект включает различные виды мышления, включая интуитивное.  

• Рациональность связана с логическими рассуждениями, которые отличаются от интуитивного мышления.  

• Пример с шахматами иллюстрирует использование логических рассуждений и интуиции.  

• Логические рассуждения в ИИ включают оценку положения на доске и использование «раската Монте-Карло».  

• Интуитивные рассуждения, такие как оценка «это был бы хороший ход», более характерны для нейронных сетей.  

• За последние 20 лет нейронные сети стали лучше моделировать интуитивное мышление.  

• Нет прямой связи между интеллектом и нравственностью.  

• Илон Маск — пример умного, но не нравственного человека.  

• Нравственность может быть связана с другими факторами, помимо интеллекта.  

• Языковые модели используют статистические корреляции для предсказания слов.  

• Понимание — это преобразование слов в векторы признаков и взаимодействие между ними.  

• Большие языковые модели работают аналогично человеческому пониманию.  

• Слова сравниваются с конструкторами LEGO, которые могут иметь разные формы и гибкость.  

• Понимание языка основано на взаимодействии этих «блоков» LEGO.  

• Система моделирования позволяет понимать значения слов из контекста.  

• Дети изучают язык через взаимодействие с окружающим миром, а не только через информацию.  

• Мультимодальные модели требуют меньше данных для обучения.  

• Человеческий мозг оптимизирован для использования ограниченного объёма опыта.  

• Интуитивное мышление предшествует математическому.  

• Некоторые люди лучше мыслят в терминах пространственных объектов, другие — в терминах уравнений.  

• Разные способы мышления зависят от индивидуальных предпочтений.  

• Изучал физику, химию и рентгеновскую кристаллографию в Кембридже.  

• Уволился из-за тяжёлой работы и вернулся к архитектуре, но вскоре понял, что это не его.  

• Занялся физикой, химией и физиологией, особенно понравился последний предмет.  

• Решил узнать больше о мозге через философию, но быстро разочаровался в ней из-за отсутствия экспериментов.  

• Перешёл к психологии, но и там его не устроило отсутствие объективных методов оценки теорий.  

• В итоге занялся искусственным интеллектом и компьютерным моделированием.  

• Профессор выбирает задачи, основываясь на интуиции и поиске мест, где, по его мнению, все поступают неправильно.  

• Иногда интуиция оказывается верной, но часто приходится признавать, что стандартный метод может быть лучшим.  

• Важно следовать своей интуиции, если она хорошая, даже если она ошибочна.  

• Курцвейл делает правильные предсказания о будущем компьютеров и искусственного интеллекта.  

• Его главная мысль: компьютеры становятся быстрее, что позволит им выполнять больше задач.  

• Основной вопрос — что такое субъективный опыт и сознание.  

• Большинство людей имеют неверную модель ментального опыта.  

• Быстрые веса в нейронных сетях могут быть важны для моделирования адаптации синапсов в мозге.  

• Признаёт наличие лёгкой маниакально-депрессивной стадии.  

• Новые идеи вызывают у него восторг, что может привести к потере веса из-за волнения.  

• Ушёл из Google, чтобы сосредоточиться на безопасности искусственного интеллекта.  

• Считает, что мир быстро изменится благодаря ИИ, и нужно смягчить негативные последствия.  

• Подчёркивает важность работы над вопросами безопасности для молодых исследователей.  

• Искусственный интеллект вызывает большой интерес в науке, что подтверждается Нобелевскими премиями.  

• Рекомендует молодым исследователям изучать нейронные сети и другие области, такие как сверхпроводники и наноматериалы.  

• Отмечает, что инструменты искусственного интеллекта будут использоваться в самых интересных областях науки.  

• Получение Нобелевской премии за работы в области искусственного интеллекта и нейронных сетей.  

• Автор не считает себя физиком, так как не был силён в математике.  

• Упоминание о первой оценке по физике на первом курсе университета.  

• Замешательство по поводу премии из-за связи с алгоритмом «машины Больцмана».  

• Алгоритм «машины Больцмана» использовал статистическую физику, но не привёл к успеху в ИИ.  

• Настоящий успех пришёл с алгоритмом обратного распространения.  

• Запуск подпапки с статьями о языке и математических деталях.  

• Обещание разместить полные стенограммы в будущем.  

• Благодарность партнёру The Economist.  

• Призыв подписаться на канал и ставить лайки.  

• Важность внешних ссылок для алгоритма YouTube.  

• Упоминание активных сообществ в Discord и Reddit.  

• Подкаст доступен на iTunes и Spotify.  

• Рекомендация повторного прослушивания лекций и подкастов.  

• Призыв поддержать проект через Patreon, PayPal или криптовалюту.  

• Ранний доступ к эпизодам без рекламы для подписчиков Patreon.