ЛУЧШИЙ формат запроса: Markdown, XML или Raw? ПОДТВЕРЖДЕНО на Llama 3.1 и Promptfoo

• На MacBook Pro M2 работает Llama 3.18 B, набравшая 72,8 балла по шкале MBPP Eval Plus Zero Shot.  

• Zuck и The Bros выпустили Llama 3.1 с 405 миллиардами параметров.  

• Планируется сравнение Llama 3.18 B с новой моделью и Mistral Nemo от Mreal AI.  

• Вопрос видео: какой формат подсказок лучше всего подходит для LLM?  

• Рассматриваются форматы: Markdown, XML, необработанная подсказка и новый формат JSON.  

• Тестирование восьми тестов в четырёх форматах с использованием локальных моделей и Llama 3.1 405 B.  

• В качестве контрольной группы тестируются Clawed 3.5 Sonnet и GBD 40 Mini.  

• Все форматы показали 100% успех, кроме JSON, который получил отрицательный балл.  

• XML и Markdown показали хорошие результаты.  

• Подсказка в формате Markdown для генерации краткого содержания глав видео на YouTube.  

• Результаты: 15 неудачных попыток и 5 успешных.  

• XML показал лучшие результаты, JSON — худшие.  

• Подсказка в формате Markdown для выбора команд ИИ.  

• Результаты: 11 успехов и 9 неудач.  

• XML и JSON показали хорошие результаты, Markdown — средние.  

• Быстрое тестирование подсказок помогает улучшить рабочие процессы агентов ИИ.  

• Сравнение форматов подсказок — мощный инструмент для разработки.  

• Запуск BF4 для создания компонентов в режиме NUX3.  

• Генерация системы радиоуправления с определённым количеством кнопок и диаметром.  

• Примеры структур компонентов: React, Svelte.  

• Все форматы подсказок были успешными, кроме одного случая на Llama 3.18b.  

• Новый экспериментальный формат JSON также показал хорошие результаты.  

• Для простых и средних запросов формат не имеет значения.  

• Создание редактора кода с ИИ, который возвращает список проблемных кодов, объяснение проблемы и действие по её устранению.  

• Использование переменных шаблонов для указания кода для просмотра.  

• XML показывает лучшие результаты, особенно для Cloud 3.5 Sonnet.  

• Структурированные подсказки улучшают производительность.  

• Проблемы с делением на ноль и индексом за пределами диапазона.  

• Запрос на обновление конфигурационного файла JSON, XML, YAML или TOML.  

• Модель возвращает изменённый файл с выполненными изменениями.  

• XML обеспечивает отличную производительность, меньше проблем по сравнению с Markdown и форматом по умолчанию.  

• Вопрос от пользователя о проблеме с развёртыванием службы.  

• Запрос на получение 10 тысяч токенов.  

• Шесть успешных попыток, сбой XML при выполнении тестового утверждения.  

• Запрос на ключевые идеи, названия и цитаты из сценария.  

• Формат Markdown превосходит другие модели по удобочитаемости.  

• XML — лучший формат для максимальной оперативности и точности запросов.  

• Markdown рекомендуется для удобства чтения, но с потерей производительности.  

• JSON имеет ограничения при вложении других форматов контента.  

• XML предоставляет все необходимые структуры и теги для структурирования контента.  

• XML-подсказки обеспечивают максимальную производительность благодаря согласованным ссылкам.  

• Тег «скрипт» чётко указывает LLM на нужную информацию, предотвращая путаницу.  

• Другие форматы подсказок менее эффективны по сравнению с XML.  

• Для лучшего формата подсказок используйте теги XML.  

• Для удобочитаемых подсказок рекомендуйте Markdown.  

• Использование XML придаёт LLM ясность, точность, гибкость и разборчивость.  

• Автор планирует продолжать использовать Markdown для удобочитаемости, но для кода будет использовать XML из-за его преимуществ.  

• Ожидается, что тенденция использования XML сохранится при увеличении размера тестов и добавлении дополнительных вставок.  

• Благодарность за просмотр и прощание до следующего видео.