LM Studio | Запускаем Open Source LLM как локальный сервер! Нам больше не нужен openai.api_key!

• Запускаем LM Studio в режиме сервера локально.  

• Используем модель Сайга Мистраль Симби от Ильи Гусева.  

• Сервер будет отвечать на заданный адрес.  

• Используем готовый код из видео на GitHub.  

• Импортируем OpenAI и добавляем ссылку на локальный сервер.  

• Вводим вопрос в роль пользователя и запускаем код.  

• Проверяем, что происходит в бэкенде.  

• Модель начинает генерировать ответ.  

• Ответ идентичен структуре, привычной для работы с OpenAI G5.  

• Модель работает локально, можно переносить наработки по созданию нейропомощников.  

• Призываем делиться успехами и вопросами на канале.  

• Надеемся, что видео было интересным.