LM Studio | Запускаем Open Source LLM как локальный сервер! Нам больше не нужен openai.api_key!

• Запускаем LM Studio в режиме сервера локально.  

• Используем модель Сайга Мистраль Симби от Ильи Гусева.  

• Сервер будет отвечать на заданный адрес.  

• Используем готовый код из видео на GitHub.  

• Импортируем OpenAI и добавляем ссылку на локальный сервер.  

• Вводим вопрос в роль пользователя и запускаем код.  

• Проверяем, что происходит в бэкенде.  

• Модель начинает генерировать ответ.  

• Ответ идентичен структуре, привычной для работы с OpenAI.  

• Модель использует GPT-4, но это не должно пугать.  

• Возможность переноса наработок по созданию нейропомощников локально.  

• Призыв делиться успехами и вопросами на канале.