Новый способ обучения нейросетей — manifold Muon

• Обсуждение возможности создания более стабильного ИИ через геометрию.  

• План: проблема обучения нейросетей, геометрическое решение, практика и будущее.  

• Необходимость поддержания параметров нейросетей в здоровом диапазоне.  

• Риски при слишком больших или маленьких весах: взрывы значений или затухание обучения.  

• Стандартное решение — нормализация, но оно может быть сложным и ограничивать возможности модели.  

• Идея заставить веса модели существовать на специальной математической поверхности.  

• Понятие касательного пространства и его применение в оптимизации.  

• Универсальный рецепт из трёх шагов: нахождение лучшего направления, шаг в этом направлении, ретракция.  

• Градиентный спуск как частный случай в плоском евклидовом пространстве.  

• Оптимизатор Manifold Moon работает на многообразии Штифеля.  

• Многообразие Штифеля как гиперсфера для матриц, предотвращающая раздувание или сжатие данных.  

• Цель: найти шаг, который максимально уменьшит ошибку модели.  

• Ограничение размера шага спектральной нормой.  

• Важное условие: шаг должен лежать в касательном пространстве.  

• Четырёхшаговый алгоритм: вспомогательная задача, вычисление оптимального шага, применение к весам, ретракция.  

• Эксперименты показывают эффективность метода на задаче классификации изображения.  

• Теория модульных многообразий для сборки слоёв в единую сеть.  

• Три правила: выполнение функций слоёв по цепочке, объединение многообразий в декартово произведение, взвешенный максимум норм частей.  

• Автоматическое распределение бюджета скорости обучения по всей архитектуре.  

• Возможные направления исследований: выбор многообразий для разных частей сети, упрощение обучения моделей с низкой точностью вычислений, разработка быстрых алгоритмов.  

• Исследование экзотических геометрий, например, неримановых.  

• Перспектива совместного проектирования архитектуры и оптимизации как следующего шага в развитии ИИ.