ONNX - ONNX Runtime, простой пример.

• ONNX - это открытый формат для сохранения и использования моделей машинного обучения.  

• Основан на протоколе буфера Google и является бинарным аналогом XML.  

• Оптимизирует работу моделей машинного обучения, делая их меньше и быстрее.  

• Нейронные сети представляются в виде вычислительного графа.  

• Убирает ненужные параметры состояния, что уменьшает размер модели.  

• Поддерживает функциональную совместимость между различными фреймворками.  

• Оптимизация работы с оборудованием, включая мобильные устройства и графические видеокарты.  

• Использование квантизации и обрезки для уменьшения размера модели.  

• Поддержка различных фреймворков для сохранения и использования моделей.  

• Библиотека для кросс-платформенного ускорения обучения и инференса.  

• Встроенная возможность конвертации моделей в ONNX в PyTorch.  

• Использование объектов конфигурации для сохранения моделей в ONNX.  

• Создание модели любым удобным способом и сохранение в ONNX.  

• Использование модели на менее производительных серверах.  

• Пример использования модели для определения настроения новостей.  

• Загрузка модели в ONNX и сравнение скорости работы с PyTorch.  

• Модель в ONNX работает в 1.28 раз быстрее, чем PyTorch.  

• Точность выполнения моделей совпадает до пятого знака после запятой.  

• Проблемы с установкой PyTorch на сервере и на Windows.  

• Необходимость использования Docker для развертывания моделей.  

• Преобразование данных между 32-битной и 64-битной плавающей точкой.  

• На Windows все работает нормально, но на Linux возникают проблемы с Python.  

• При повторном запуске скрипта Python вылетает из-за переполнения оперативной памяти.  

• Реализация Softmax вручную может привести к проблемам с большими и маленькими числами.  

• Разработчики библиотек учитывают все возможные проблемы, такие как работа с большими и маленькими числами.  

• Рекомендуется использовать реализацию в SciPy, так как она подходит для работы с тензорами.  

• Разработка под Mac практически не отличается от Linux, кроме случаев с процессорами ARM.  

• Некоторые библиотеки могут не устанавливаться на Mac, что создает проблемы.  

• Время выполнения кода может сильно варьироваться из-за множества факторов, таких как фоновые программы и браузеры.  

• Рекомендуется запускать код многократно и брать среднее время для более точных измерений.  

• Вопросы и комментарии по разработке на Mac.  

• Благодарности за интересные комментарии и советы.