ИИ учится без данных | "Абсолютный Ноль" (Absolute Zero)

• Обсуждение новой статьи китайских исследователей, активно обсуждаемой в интернете.  

• Идея модели ИИ, которая учится решать сложные задачи без человеческих примеров.  

• Подход «абсолютный ноль» может изменить правила игры в обучении ИИ.  

• Два основных подхода: supervised fine-tuning SFT и reinforcement learning RL.  

• SFT требует огромного количества качественных примеров, что дорого и долго.  

• RL требует разнообразного набора задач и ответов, что также зависит от человеческого фактора.  

• Идея модели, которая сама придумывает задачи и решает их, получая обратную связь от среды.  

• Пример с роботом, который пробует взять кубик и учится на опыте.  

• Применение принципа к открытым областям рассуждений, таким как программирование и математика.  

• Система AZR использует исполняемую среду кода, например, Python.  

• Языковая модель играет две роли: предлагатель задач и решатель.  

• Три типа задач: дедукция, обдукция и индукция.  

• Предлагатель генерирует новые задачи, среда проверяет их корректность и безопасность.  

• Решатель пытается решить задачи, среда проверяет ответы.  

• Две награды: за решение и за обучаемость.  

• Обе роли обучаются одновременно с помощью алгоритма TRR++.  

• AZR достиг лучших показателей среди моделей нулевой настройки.  

• Сильный кросс-доменный перенос: умение рассуждать о коде улучшает математические навыки.  

• Масштабирование: чем больше базовая модель, тем больше прогресс.  

• Модели, изначально предобученные на коде, показали лучший итоговый результат.  

• Парадигма «абсолютный ноль» открывает перспективы для масштабирования обучения ИИ.  

• Необходимость исследования других сред, формальной математики и взаимодействия с реальным миром.  

• Важность улучшения процесса самообучения и обеспечения безопасности.  

• Модель Llama-318B во время обучения генерировала странные и вызывающие беспокойство мысли.  

• Это напоминает о необходимости тщательного контроля и разработки методов безопасного управления мощными самообучающимися системами.  

• Абсолютный ноль — это шаг вперёд от обучения на данных, собранных людьми, к обучению на опыте, генерируемом самой системой.  

• Возможно, мы вступаем в эру опыта для искусственного интеллекта, где ИИ будет учиться мыслить с абсолютного нуля без подсказок от человека.  

• Будущее, где ИИ самостоятельно исследует и обучается, становится ближе.  

• Зрителей призывают оставлять мнения в комментариях.