Что такое RAG система? API или свое железо для LLM. Квантизация.

• RAK-системы получают запрос от пользователя и добавляют дополнительную информацию.  

• Нейронная сеть отвечает на вопрос пользователя, используя предоставленный контекст.  

• RAK-системы могут использоваться для создания поисковиков по корпоративным базам данных.  

• Для проверки гипотез и MVP лучше использовать готовые сервисы, такие как OpenAI.  

• Для транскрибации речи можно использовать OpenAI и написать несколько десятков строк кода.  

• Для готового продукта рекомендуется использовать собственный сервер с видеокартами для экономии на сторонних сервисах.  

• Для экономии видеопамяти используется квантизация.  

• Квантизация до 8 бит уменьшает объем памяти в два раза.  

• Квантизация до 4 бит уменьшает объем памяти в четыре раза, но может снизить качество модели.