КАН: Сети Колмогорова-Арнольда

• Приветствие и представление докладчика Zm.  

• Zm учится на 4 курсе PhD в MIT и работает над искусственным интеллектом и физикой.  

• Тема доклада: работа над сетями commograph unknode.  

• Рассмотрение теоремы Декарта и её применения к искусственному интеллекту.  

• Теорема Декарта утверждает, что многомерная функция может быть представлена как композиция одномерных функций и бинарных операций.  

• Проблема: теорема не применима к обучению нейронных сетей.  

• Теорема не верна для гладких функций, что делает её неприменимой на практике.  

• Оптимизм: возможно, достаточно приблизительных представлений.  

• Глубокие сети могут быть более выразительными и допускать плавные представления.  

• Обзор статьи о сетях commograph unknode CAN.  

• Введение в математические основы и алгоритмическую реализацию.  

• Обсуждение свойств CAN и их применимости.  

• Пример реализации CAN и её эквивалентность нейронной сети.  

• Описание структуры сети: входные узлы, функции активации, операции суммирования.  

• Возможность создания более глубоких сетей из слоев CAN.  

• Аргумент против теоремы Декарта: внутренние функции могут быть патологичными.  

• Пример с экспоненциальной функцией и функцией в квадрате.  

• Рекомендация разреженных сетей для улучшения интерпретируемости.  

• Сравнение MLP и CAN: MLP основаны на универсальной теореме аппроксимации, CAN - на теореме Декарта.  

• MLP имеют обучаемые линейные весовые матрицы и фиксированные функции активации, CAN - наоборот.  

• CAN могут комбинировать линейные и нелинейные преобразования внутри одного слоя.  

• Обучаемые одномерные активации по краям параметризуются с помощью сплайнов.  

• Гибкость сплайнов позволяет легко переключаться между мелкозернистым и крупнозернистым режимами.  

• Использование функции остаточной активации для улучшения распространения градиентов.  

• Важность инициализации и обновления сплайновых сеток для поддержки обучаемых входных данных.  

• CANs могут быть очень точными благодаря сплайнам.  

• Потеря масштабирования связана с количеством параметров модели и показателем масштабирования альфа.  

• CANs позволяют избежать проклятия размерности, что улучшает производительность при увеличении масштаба модели.  

• Примеры показывают, что CANs работают лучше, чем MLP, особенно для задач с высокой размерностью.  

• Важно правильно выбирать глубину CAN для достижения оптимальной производительности.  

• Использование специальных функций для решения уравнений в частных производных.  

• CANs позволяют строить решения и получать точные формулы, что невозможно с MLP.  

• CANs сохраняют старые данные при постоянном обучении, в отличие от MLP.  

• CANs помогают ученым делать научные открытия, например, в контролируемых учебных заданиях.  

• CAN использует два скрытых узла для умножения: x + y в квадрате и x в квадрате + y в квадрате.  

• Деление реализуется через логарифм x минус логарифм y и экспоненту.  

• CAN позволяет интерпретировать результаты через функции, что делает его полезным для научных задач.  

• CAN позволяет общаться с пользователем через символические формулы.  

• Обучение CAN включает разрежение и сокращение сети для максимальной эффективности.  

• CAN помогает понять задачи и данные, что делает его интерпретируемым.  

• CAN позволяет извлекать значимые результаты, в отличие от MLP, которые остаются сложными и запутанными.  

• CAN может достигать точности, сравнимой с большими MLP, с меньшими затратами.  

• CAN помогает ученым находить важные переменные и символические формулы.  

• Пример из статьи Google Deepmind показывает, как CAN помогает в научных исследованиях.  

• CAN обнаруживает значимые взаимосвязи между переменными, что помогает ученым делать открытия.  

• CAN с одним скрытым слоем может достигать точности, сравнимой с большими моделями.  

• CAN помогает находить значимые взаимосвязи между переменными без присмотра.  

• Результаты CAN подтверждаются экспертами, что подтверждает их значимость.  

• CAN может быть улучшен для открытия новых и значимых математических формул.  

• Пример использования в физике для вычисления символических формул границ фазовых переходов.  

• Вода может существовать в разных фазах: вода, лед, газ.  

• Банки могут работать в автоматическом и ручном режиме, позволяя взаимодействовать с моделью.  

• Возможность ручного настройки функций активации для более тесного взаимодействия с моделью.  

• Модель действует как коллаборационист, с которым можно сотрудничать и приходить к общим выводам.  

• Обсуждение границ применения банков и их преимуществ в науке.  

• Банки имеют лучшие индуктивные предубеждения для научных задач.  

• Вопрос о роли банков в машинном обучении остается открытым.  

• Банки сравниваются с часами, где детали имеют четкое назначение и могут быть легко разобраны.  

• MLP сравниваются с кирпичным домом, где детали стандартизированы и трудно разбираются.  

• Банки соответствуют принципам редукционизма, а MLP - холизма.  

• Вопрос о физических аналогах банков и их сравнение с диаграммами Фейнмана.  

• Биологические аналоги банков в сетчатке глаза, где каждая клетка применяет нелинейное преобразование.  

• Банки применяются в графике, обучении с подкреплением, уравнениях в частных производных и других областях.  

• Повышение эффективности и попытки заменить MLP на банки в языковых моделях.  

• Обсуждение работы сети и ограничений на тренировках.  

• Объяснение простого суммирования на узлах и обучения активации на ребрах.  

• Благодарность за вопросы и завершение обсуждения.