Экономика LLM: что надо и сколько стоит использование больших языковых моделей

• Внедрение больших языковых моделей LM требует значительных ресурсов.  

• Основное ограничение - объем оперативной памяти видеокарты.  

• Модели LM часто запускаются на видеокартах, реже на процессорах.  

• Модели LM требуют много оперативной памяти видеокарты.  

• Для модели на 7 миллиардов параметров требуется 28 ГБ видеопамяти.  

• Чаще всего модели запускаются с половиной точности, что требует 14 ГБ видеопамяти.  

• Квантизация модели уменьшает объем памяти, но снижает качество.  

• Для моделей на 7 миллиардов параметров достаточно 12 ГБ видеопамяти.  

• Для тяжелых моделей, таких как LLaMA, требуется 70 ГБ видеопамяти.  

• Для тяжелых моделей рекомендуется использовать видеокарты с 24 ГБ памяти.  

• Важно учитывать пропускную способность шины и процессор.  

• Аренда видеокарт может быть более выгодной, чем покупка.  

• Производительность видеокарты влияет на скорость генерации ответов.  

• Объем входящего контекста практически не влияет на скорость генерации.  

• Важно учитывать количество токенов, генерируемых моделью.  

• Объем памяти видеокарты важнее, чем производительность тензорных ядер.  

• Рекомендуется проводить нагрузочное тестирование для определения оптимальной конфигурации.  

• Важно понимать, сколько ответов модель может генерировать за раз и в час.  

• Модели могут работать 24/7, но чаще всего используются 8-12 часов в день.  

• В месяц можно сгенерировать 86 миллионов токенов.  

• Стоимость генерации одного миллиона токенов варьируется от 27,5 до 75 долларов.  

• Использование API увеличивает стоимость, включая входящие токены.  

• Топовые модели, такие как GigaLight, могут быть конкурентоспособными по цене.  

• Важно учитывать задачи и задачи для расчета стоимости.  

• Для чат-ботов типичные запросы составляют 50-100 токенов.  

• Для адекватного ответа требуется вся история диалога.  

• Стоимость обслуживания клиентов зависит от модели и количества туров диалога.  

• Автоагенты могут быть очень прожорливыми, до 68 долларов за задачу.  

• Использование автоагентов экономически неэффективно для недорогих задач.  

• Аренда сервера может быть выгодной для экспериментов и масштабирования.  

• Гибридные решения могут быть оптимальными для различных задач.  

• Собственные серверы позволяют дообучать модели и использовать их для сложных задач.  

• Внешние API могут быть полезны для простых задач и дообучения моделей.