Развертывание LLMS Локально На Процессоре С Помощью LM Studio

• LLM Studio - мощное настольное приложение для развертывания LLM без использования графических процессоров.  

• Приложение предоставляет широкий спектр функций и настроек, постоянно обновляется.  

• Основные особенности: система поиска моделей и возможность развертывания локальных серверов.  

• LLM Studio использует Llama C++ для оптимизации реализации и логического вывода LLM.  

• Основан на тензорной библиотеке GGML и формате GGUF.  

• Для использования LLM Studio необходимо загрузить настольное приложение и убедиться в поддержке AVX2.  

• После загрузки приложения можно перейти в раздел поиска моделей Hugging Face.  

• Можно сортировать результаты по алфавиту, лайкам или загрузкам.  

• LLM Studio оценивает объем оперативной памяти и фильтрует модели, которые не соответствуют ограничениям.  

• После выбора модели можно загрузить файлы с различными уровнями квантования.  

• Рекомендуется использовать восьмибитную версию для оптимальной точности и памяти.  

• После загрузки модели можно настроить параметры, такие как количество потоков процессора и уровень графического процессора.  

• После настройки модели можно взаимодействовать с ней через чат, как с ChatGPT.  

• Модель генерирует ответы, ускоренные для видео, но с разумной скоростью на процессоре.  

• Можно рассчитывать на получение 6-8 токенов за 2-й токен при отсутствии других сложных задач.  

• Раздел "Локальный сервер" позволяет развернуть модель как локальный сервер логического вывода.  

• Можно запустить локальный сервер и взаимодействовать с его конечными точками через curl или Python.  

• После перезагрузки модели локальный сервер обновляется.  

• Для взаимодействия с локальным сервером через Lanchain необходимо установить пакет lanchain-openai.  

• Создается объект ChatGPT и инициализируется с базовым URL LLM Studio.  

• Создается цепочка ответов на вопросы и запускается функция для потоковой передачи ответов.  

• Все материалы для дальнейшего чтения доступны по ссылкам в описании.  

• Учебная тетрадь будет доступна на странице на GitHub.  

• Призыв подписаться на канал и поставить лайк.