Новая модель искусственного интеллекта с открытым исходным кодом Уничтожает Llama 4 и DeepSeek R1 практически в каждой задаче

• Nvidia выпустила модель Nematron Ultra, которая превосходит DeepSee R1 в большинстве задач.  

• Модель работает на одной установке из восьми графических процессоров H100 и имеет открытый исходный код.  

• Она использует технику поиска нейронной архитектуры NAS для оптимизации использования памяти.  

• Модель может работать на одном узле с восьмикратной производительностью H100.  

• Встроенный режим включения и выключения рассуждений позволяет переключаться между сложными и простыми задачами.  

• Тестирование показало значительное улучшение в различных задачах, таких как математика и генерация кода.  

• Nematron Ultra превосходит DeepSee R1 в задачах контроля качества и выполнения инструкций.  

• В сложных математических тестах DeepSee R1 остается лидером.  

• Модель имеет открытый исходный код и коммерческое лицензирование.  

• Nvidia использовала многоэтапный процесс постобучения, включая контролируемую тонкую настройку и обучение с подкреплением.  

• Модель обучалась на 65 миллиардах токенов и 88 миллиардах токенов.  

• Использовались синтетические данные для обучения модели режимам включения и выключения рассуждений.  

• Модель поддерживает длинные последовательности до 128 токенов.  

• Это полезно для чат-ботов и анализа больших объемов данных.  

• Подключение к модели простое через Face Transformer и управление режимами рассуждений.  

• Модель тестировалась на восьми чипах с точностью BF16 и четырех чипах B100.  

• Она использует меньше памяти благодаря пропуску блоков внимания и сжатию сетей обратной связи.  

• Модель поддерживает несколько языков и рекомендуется для систем искусственного интеллекта и чат-ботов.  

• Модель доступна с открытым исходным кодом и коммерческим лицензированием.  

• Nvidia подчеркивает важность ответственного подхода к разработке и безопасности.  

• Пользователи могут сообщать о потенциальных уязвимостях и проблемах с искусственным интеллектом.  

• Компания стремится к прозрачности, но также хочет предотвратить злоупотребление технологией.  

• Nematron Ultra является частью коллекции Llama Nematron, включая более мелкие модели, такие как Nematron Nano Eight BV One и Nematron Super 49 BV One.  

• Версия 253 B - это Ultra, сочетающая мощность и экономичность.  

• Упоминаются научные работы, такие как метод дистилляции на основе головоломок и оптимизация предпочтений с учетом вознаграждения.  

• Это не просто маркетинговая шумиха, а результат технической глубины.  

• Nvidia Llama 3.1 Nematron Ultra 253 BV One доказывает, что для максимальной производительности не требуется триллион параметров.  

• Он превосходит DeepSeq R1 по большинству задач, работает более плавно и требует меньших затрат на развертывание.  

• Модель доступна для скачивания на Hugging Face с открытым исходным кодом и обрабатывает сверхдлинные входные данные.