Виталий Ванчурин: Нейросеть Вселенной, Hidden Space, фазовые переходы | Подкаст «Ноосфера» #063

• Большой взрыв и нейроны, случайно связанные, формируют трехмерное пространство.  

• Не все нейроны сразу подключаются, некоторые остаются "спейсами".  

• Сознание в терминах теории обучения: все учится и познает вселенную.  

• Эмерджентные феномены возникают на более высоком уровне.  

• Обсуждение алгоритмов и процессов во вселенной, сознания и нейроморфных компьютеров.  

• Приветствие и благодарность гостю Виталию Иванчурину.  

• Обсуждение первого выпуска подкаста и его значимости.  

• Виталий делится своими ролями в подкасте: философские и профессиональные вопросы.  

• Обсуждение теории сознания Константина Анохина.  

• Виталий рассказывает о своей группе и сотрудничестве с разными людьми.  

• Проблемы и преимущества работы с людьми с разной подготовкой.  

• Работа над теорией машинного обучения и трансформерами.  

• Моделирование агентов для беспилотных автомобилей и использование симметрии.  

• Исследование роли частиц в теории обучения и нейросетях.  

• Цель создания нейрокомпьютера для лучшего понимания работы машинного обучения.  

• Преподавание курса по теории машинного обучения для стажеров.  

• Программа по научно-популярной деятельности и встречам с людьми разного склада.  

• Автор создал институт перспективных исследований, который отличается от традиционных исследовательских институтов.  

• Институт позиционируется как отдельная организация и компания.  

• Автор объясняет, что это было спланированной акцией, а не экспромтом.  

• Автор пришел из академической среды и понял, что университетская атмосфера ему не подходит.  

• Ограничения, накладываемые на работников, мешают творческому процессу.  

• Создание института на базе компании оказалось более подходящим форматом.  

• Институт пока небольшой и работает только с сотрудниками компании.  

• Цель - создать глобальную онлайн-структуру для исследователей.  

• Институт должен обеспечить интеллектуальное общение и доступ к исследованиям.  

• Автор обсуждает теорию, что вселенная - это нейросеть.  

• Теория строится на фундаментальном нейроне, который оперирует на очень маленьких масштабах.  

• Все элементы вселенной, от частиц до макрообъектов, рассматриваются как результаты обучения нейронов.  

• Нейросети имеют математическое определение динамики, но важно учитывать динамику обучения.  

• Обучение нейросети включает оптимизацию функции потерь.  

• Обучение нейросети отличается от существующих физических теорий и требует нового подхода.  

• Обучение нейросети происходит в реальном времени, изменяя её параметры.  

• Некоторые феномены не воспринимаются как результат обучения, а как его проявление.  

• Обучение нейросети может приводить к нетривиальным феноменам, которые сложно моделировать.  

• В физике часто используется принцип наименьшего действия для оптимизации.  

• В новой теории параметры модели могут меняться, что приводит к новым феноменам.  

• Классическая физика описывает систему после завершения обучения, а новая теория позволяет дообучать систему.  

• Гравитация изменяет связи в системе, что приводит к переобучению.  

• В гравитационной физике динамика отличается от стандартной физики.  

• Новая теория описывает динамику, которая не всегда соответствует общей теории относительности.  

• Мозг человека перестраивается в процессе обучения, создавая уникальную архитектуру связей.  

• Вселенная также может рассматриваться как глобальная нейросеть, обучающаяся на протяжении всей истории.  

• Динамика обучения в биологической и фундаментальной нейросетях одинакова.  

• Знания о биологических нейросетях можно перенести на изучение фундаментальной нейросети.  

• Вселенная на малых масштабах уже достигла равновесия, в то время как на больших масштабах обучение продолжается.  

• Нейроны описываются состоянием, которое может быть обучаемым или необучаемым.  

• Взаимодействие нейронов также обучаемо и подстраивается под оптимальное состояние.  

• Связь между нейронами может быть мгновенной и распространяться на большие расстояния.  

• Каждый нейрон может быть связан с каждым другим, что делает сеть хаотичной.  

• Для обучения выгодно перейти от бесконечномерного пространства к маломерному.  

• Формирование локальности в нейросетях является результатом фазового перехода.  

• Время в нейросетях постулируется и не возникает из ничего.  

• В квантовой механике время используется для изменения состояния системы.  

• В общей теории относительности время локально и не является фундаментальным.  

• Вычисления вне времени возможны, но не в фундаментальном смысле.  

• В релятивистской системе можно вычислить состояние системы вне времени.  

• Это позволяет ускорить вычисления и избежать изменения состояния системы.  

• В мозге существуют аналоги кротовых нор, где группы нейронов мгновенно взаимодействуют.  

• Мгновенное взаимодействие в мозге не может быть измерено, так как сигнал проходит со скоростью света.  

• В будущем планируется отдельный подкаст о таких эффектах в мозге.  

• Хиден спейс необходим для возникновения квантовости.  

• Возможно, хиден спейс присутствует на других уровнях, включая психологические.  

• Нейроны могут взаимодействовать через хиден спейс, что объясняет мгновенную связь между ними.  

• Нелокальность важна для теории, но хиден спейс пока не доказан.  

• Хиден спейс помогает объяснить связь между далеко расположенными объектами.  

• Нелокальность может быть связана с энтементом и квантовыми частицами.  

• Для квантовости необходимы ресурсы, которые могут существовать в хиден спейсе.  

• Нейроны могут быть подключены к хиден спейсу по необходимости.  

• Хиден спейс может быть связан с дополнительными измерениями.  

• Время на разных уровнях может быть связано с термодинамикой.  

• Фундаментальное время определяет динамическую систему.  

• Разные масштабы времени связаны с многоуровневым обучением.  

• Стрела времени может идти в разные стороны для разных систем.  

• Локальное время может отличаться от фундаментального времени.  

• Вычисления могут зависеть от направления стрелы времени.  

• Введение слоев "андропаут" для предотвращения переобучения.  

• Удаление и добавление нейронов может способствовать квантовости.  

• Важно наличие доступа к нейронам, которые приходят и уходят.  

• Химический потенциал добавления и удаления нейронов должен быть определенной формы.  

• В пределе бесконечного количества нейронов возникает точная квантовость.  

• Дропаут обычно касается связей, а не нейронов.  

• Алгоритм реплик удаляет бесполезные нейроны и реплицирует полезные.  

• Количество нейронов не остается постоянным, что полезно для обучения.  

• Для возникновения квантовости необходимо правильное изменение функции потерь.  

• Нейросети в голове работают по похожим принципам, но с другими функциями активации.  

• Процесс обучения и изменения числа нейронов аналогичен.  

• В свете теории, квантовое сознание может иметь смысл при рассмотрении динамических систем.  

• Обсуждение возможности существования квантового сознания.  

• Сравнение с тонкими и твердыми льдами.  

• Возможность использования квантовых алгоритмов в биологических нейросетях.  

• Возможность наличия мерджин кванта в биологических нейросетях.  

• Необходимость правильного подбора параметров и доступа к ресурсам нейронов.  

• Экспоненциальный рост вычислений и возможные ограничения.  

• Необходимость измерения и моделирования химических потенциалов нейронов.  

• Возможность существования квантовости в мозге.  

• Объяснение студентам феномена кванта через противоречивые мысли.  

• Ограничения на перенос квантовых постулатов в макромир.  

• Различие между квантостью на фундаментальном уровне и в мозге.  

• Математическое описание эволюции частиц и мозга.  

• Влияние наблюдателя на поведение частиц.  

• Возможность существования дискретных переменных в квантовом мире.  

• Ограничения на квантовость мозга и типы гамильтонианов.  

• Утверждение Пенроуза о квантовых феноменах в мозге.  

• Отсутствие экспериментальных подтверждений.  

• Различие между квантостью в микромире и макромире.  

• Непонятность квантовой механики и мозга.  

• Направление исследований для создания модели мозга.  

• Совпадение уравнений между аналоговой нейронной сетью и квантовой механикой.  

• Сознание можно приравнять к эффективности обучения нейросети.  

• Эффективность обучения можно измерить и сравнить.  

• Любая система, включая человеческий мозг, может иметь свою эффективность обучения.  

• Возможность моделирования любой системы через нейросеть.  

• Необходимость эксперимента для подтверждения концепции.  

• Работа над теорией обучения и физикой.  

• Теория интегрированной информации математически сформулирована.  

• Сознание параметризировано и может быть измерено.  

• Проблемы с точностью и интерпретацией результатов.  

• Необходимость моделирования и эксперимента для понимания сознания.  

• Проект нейропритной игры для изучения поведения человека.  

• Вопросы о свободе воли и моделировании поведения.  

• Сознание связано с обучением и познанием вселенной.  

• Переживания и феномены полезны для эволюции.  

• Математическое моделирование феноменов для прогресса в науке.  

• Переход от физики и химии к биологии как качественный скачок.  

• Появление сознания как фазовый переход.  

• Сознание как непрерывная величина, изменяющаяся при каждом качественном скачке.  

• Переход от рождения до взросления как качественный скачок.  

• Моделирование вселенной и себя в ней.  

• Важность моделирования для предсказания вселенной.  

• Многоклеточные существа могут моделировать себя.  

• Фазовые переходы происходят на разных временных масштабах.  

• Появление самосознания и субъектности.  

• Первый подход: важность биологического субстрата для сознания.  

• Второй подход: важность вычислений для возникновения сознания.  

• Субстрат не важен, важен алгоритм поведения.  

• Алгоритм поведения важнее субстрата.  

• Пример с искусственными машинами, которые понимают свой размер.  

• Оптимизация функции потери как результат обучения.  

• Нейроморфные компьютеры могут моделировать динамику обучения.  

• Обычные цифровые компьютеры не предназначены для этого.  

• Важность аналоговости для обучения и непрерывности перемен.  

• Градиентный спуск как аналог изменения свободной энергии.  

• Обсуждение новых алгоритмов обучения, таких как форвард-форвард.  

• Локальность изменений в обучении и её преимущества.  

• Локальная функция потерь как основа обучения.  

• Переход от локальной к глобальной функции потерь при усреднении.  

• Сравнение биологических алгоритмов с современными методами обучения.  

• Динамические системы могут иметь фиксированные точки, но не все.  

• Активационные функции влияют на поведение системы.  

• Примеры функций: гиперболический тангенс и ReLU.  

• Быстрое достижение фиксированных точек может быть проблемой.  

• Важно, чтобы система не только стремилась к одной точке, но и исследовала пространство решений.  

• Баланс между скоростью и глубиной обучения важен для эффективности.  

• Вопрос о том, как заставить "глупые" объекты учиться.  

• Примеры: камни на Марсе и грибы.  

• Важность создания устройств для измерения обучения.  

• Обсуждение будущих фазовых переходов в науке.  

• Создание интеллектуальной системы на Земле.  

• Гибридная система, объединяющая биологические и искусственные нейронные сети.  

• Необходимость изменений в научном сообществе.  

• Подавление больших научных идей.  

• Важность больших пертурбаций в науке.  

• Призыв к созданию супер интеллекта.  

• Надежда на будущие изменения в науке.  

• Благодарность за участие и прощание.