ЛУЧШИЙ формат запроса: Markdown, XML или Raw? ПОДТВЕРЖДЕНО на Llama 3.1 и Promptfoo

• На MacBook Pro M2 работает LLaMA 3.18 B с оценкой 72,8 балла по шкале MBPP Eval Plus Zero Shot.  

• Представлены новые технологии и модели, включая LLaMA 3.1 с 405 миллиардами параметров и Mistral Nemo от MREAL AI.  

• Видео посвящено сравнению различных форматов подсказок для LLaMA и других моделей.  

• Вопрос: какой формат подсказок лучше всего подходит для LLaMA?  

• Рассматриваются форматы Markdown, XML и необработанные подсказки.  

• Планируется провести тесты с использованием различных моделей и форматов.  

• Запуск тестов с использованием восьми форматов подсказок.  

• Использование двух локальных моделей и новых LLaMA 3.1 и Mistral Nemo.  

• Результаты: 100% успех для всех форматов, кроме JSON.  

• Использование формата Markdown для создания краткого содержания глав видео на YouTube.  

• Результаты: высокая производительность для LLaMA 3.1 и Mistral Nemo, но проблемы с форматированием текста.  

• XML показал лучшие результаты, JSON - худшие.  

• Использование формата Markdown для выбора команд ИИ.  

• Результаты: 11 успехов и 9 неудач.  

• XML и JSON показали хорошие результаты, но LLaMA 3.1 и Mistral Nemo столкнулись с проблемами.  

• Тестирование подсказок и форматов - мощный инструмент для разработки рабочих процессов агентов.  

• Планируется продолжить тестирование и создание компонентов для улучшения результатов.  

• Запуск BF4 для создания компонентов.  

• Подсказка включает создание системы радиоуправления с определенным количеством кнопок и диаметром.  

• Пример структуры компонентов и правила для подсказок.  

• Все форматы подсказок успешны.  

• Одно падение на Lama 3.18b, остальные прошли успешно.  

• Формат не имеет значения для простых и средних запросов.  

• Запрос markdown для отладки кода.  

• Результат должен быть в формате JSON.  

• Пример использования для создания редактора кода с ИИ.  

• Три неудачи и 17 успехов.  

• XML показывает лучшие результаты.  

• Использование тегов XML улучшает производительность.  

• Запрос на обновление конфигурационного файла.  

• Использование markdown для удобочитаемости.  

• XML показал лучшие результаты.  

• Запрос на удаление развертывания.  

• Использование токенов для получения ответов.  

• XML показал сбои при выполнении тестовых утверждений.  

• Запрос на ключевые идеи и цитаты.  

• Использование markdown для удобочитаемости.  

• XML показал лучшие результаты для моделей.  

• XML рекомендуется для максимальной оперативности.  

• Markdown рекомендуется для удобства чтения.  

• JSON подходит для создания вложений, но не для изменений содержимого.  

• XML-подсказки обеспечивают максимальную производительность в больших масштабах.  

• XML позволяет создавать согласованные ссылки на ключевые слова, что устраняет путаницу для LLM.  

• Другие форматы, такие как raw dog, также могут работать, но XML превосходит их по мощности.  

• Для лучшего формата подсказок рекомендуется использовать XML-теги.  

• Для удобочитаемости подсказок лучше использовать Markdown.  

• Использование XML придает LLM ясность, точность, гибкость и разборчивость.  

• Автор продолжит использовать Markdown для удобочитаемости, но для кода будет использовать XML.  

• Ожидается, что тенденция сохранится при увеличении размера тестов и добавлении дополнительных вставок.  

• Благодарность за просмотр и обещание новых видео.