YandexGPT в Home Assistant — продолжаем писать интеграцию на Python

• Автор продолжает работу над интеграцией Яндекс G5 в Home Assistant.  

• На прошлом стриме удалось настроить графический интерфейс и нейронку для ответов в ассистенте.  

• Однако, нейронка не может управлять умным домом и получать информацию с датчиков.  

• Цель на сегодня - реализовать возможность получения информации с датчиков через Яндекс G5.  

• Автор демонстрирует текущую настройку и ответы нейронки.  

• Нейронка не имеет доступа к датчикам умного дома и не может определить температуру в помещении.  

• Автор ищет информацию о работе других ассистентов, таких как Lama и Char-Assistant.  

• В Lama системный промт генерируется шаблоном и включает информацию о доме и устройствах.  

• В Home Assistant системный промт также генерируется шаблоном, но пока это просто текст.  

• Автор планирует реализовать возможность настройки системного промта для Яндекс G5.  

• В идеале, нейронка должна отвечать на запросы, например, о температуре в помещении.  

• Автор будет копировать код из других интеграций, таких как Google Assistant и Anthropic.  

• Автор начинает анализировать код других интеграций, чтобы понять, как работает метод asProcess.  

• В методе создается LLM контекст, который пока не ясен автору.  

• Автор планирует копировать код из интеграции с Anthropic для упрощения работы.  

• Автор изучает код интеграции с Anthropic и замечает использование LLM контекста.  

• Контекст создается для работы с большими языковыми моделями и параметрами.  

• Автор планирует разобраться, зачем нужен LLM контекст и как он используется.  

• Автор проверяет наличие конверсии и пользовательского ввода.  

• В коде создается идентификатор диалога и история переписки.  

• Автор пытается понять, как контекст и история используются в интеграции.  

• В интеграции с нейронными сетями, такими как GPT-5, сохраняется контекст диалога.  

• В интеграции с Home Assistant контекст диалога не сохраняется, что вызывает вопросы.  

• Конверсейшн может быть необходим для сохранения контекста.  

• ID пользователя берется из входных параметров или создается.  

• Имя пользователя используется для передачи в системный промт.  

• Рендеринг системного промта включает использование базового промта и шаблонов.  

• К системному промту добавляются дополнительные элементы, взятые из неизвестных источников.  

• Хост добавляет что-то к промту, что пока не понятно.  

• Копирование кода из интеграции с Antropik.  

• Импорт кода и его адаптация для Home Assistant.  

• Вопросы о необходимости некоторых частей кода.  

• Тулсы используются для работы с нейронными сетями.  

• В разных интеграциях используются разные типы тулсов.  

• Тулсы пока игнорируются, но могут быть полезны в будущем.  

• Конверсейшн создается, если его нет в выходных параметрах.  

• История сообщений используется для работы с чатами.  

• Импорт типов данных из разных интеграций для работы с контекстом.  

• Проблемы с камерой на стриме.  

• Новости о сотрудничестве МТС и Фиксиков в области умного дома.  

• Поиск консоли Яндекс Облако для работы с инфраструктурой.  

• В Яндекс есть функция генерации изображений, помимо текста.  

• Возможность использования нейронной сети для распознавания изображений.  

• Примеры использования: генерация видов Нью-Йорка в зависимости от погоды.  

• Возможность работы с нейронной сетью через консоль в режиме промт.  

• В режиме чата контекст не сохраняется, ответы меняются при каждом запросе.  

• В режиме эксперимента контекст сохраняется, что позволяет модели лучше понимать запросы.  

• В режиме чата контекст не сохраняется, что вызывает вопросы.  

• В режиме эксперимента контекст сохраняется, что позволяет модели давать более точные ответы.  

• В библиотеке для работы с нейронками в Home Assistant контекст сохраняется, но в Яндекс G5 это не так.  

• В Home Assistant интеграция с нейронками происходит с учетом контекста.  

• В библиотеке для работы с Яндекс G5 нет поддержки сохранения контекста.  

• Необходимо разобраться, как интегрировать сохранение контекста в Home Assistant.  

• В библиотеке нет поддержки сохранения контекста, что вызывает сложности.  

• Необходимо найти способ сохранить историю сообщений для работы с нейронкой.  

• В документации Home Assistant есть примеры использования нейронных сетей, но они не всегда работают корректно.  

• Необходимо разобраться с сохранением контекста и использованием библиотеки.  

• В случае успеха можно будет интегрировать сохранение контекста в Home Assistant.  

• Автор не берет частные заказы на разработку навыков для Алисы, но готов рассмотреть конкретные задачи.  

• Если конверсейш найди отсутствует, его создают.  

• Если в истории был диалог, достают сообщения из истории.  

• Если конверсейш найди есть, но в истории ничего нет, конвертируют.  

• Получают имя пользователя для системного промта.  

• Если в контексте есть пользователь, имя пользователя присваивается переменной.  

• Начинается генерация шаблона системного промта.  

• Импортируют необходимые модули для генерации промта.  

• Настраивают промт в конфиг флоу.  

• Проверяют, как промт используется в других интеграциях.  

• Настраивают рекомендации и опции для интеграции.  

• Проверяют, как это сделано в других интеграциях.  

• Создают метод для возврата схемы с опциями.  

• Обсуждают взаимодействие с ассистентом через нейронку.  

• Планируют добавить возможность спрашивать температуру дома.  

• Рассматривают использование автоматизации для генерации текста.  

• Обсуждают использование радио-пейджера для управления умным домом.  

• Рассматривают возможность отправки текстовых сообщений через пейджер.  

• Планируют эксперименты и баловство с ассистентом.  

• Продолжают писать конфиг флоу для настройки промта.  

• Убирают ненужные элементы и оставляют необходимые.  

• Объявляют переменную для настройки.  

• Возможность настройки управления умным домом через Telegram.  

• Боты в Telegram могут выводить кнопки для управления.  

• Яндекс G5 может разнообразить пользовательский опыт и упростить управление.  

• Необходимость передачи информации об умном доме нейронной сети.  

• Отсутствие информации о том, как настраивается управление через Яндекс G5.  

• Объявление рекомендаций и их использование.  

• Удобство удаленного доступа через приложение.  

• Возможность настройки доступа через роутер и провайдеров.  

• Проблемы с безопасностью при управлении умным домом через Telegram.  

• Возможность взлома Telegram и получения доступа к умному дому.  

• Удобство и безопасность как ключевые факторы.  

• Настройка параметров для управления температурой и макс токин.  

• Проблемы с выбором модели для отдельных запросов.  

• Необходимость доработки библиотеки для работы с Яндекс G5.  

• Автор копирует и вставляет код для интеграции.  

• Импортирует необходимые библиотеки и настраивает метод для возврата схемы с настройками.  

• Использует класс Anthropic для настройки интеграции.  

• Объясняет шаги настройки интеграции в Home Assistant.  

• Копирует и адаптирует код для настройки системного промта.  

• Удаляет ненужные элементы и настраивает метод для рендеринга шаблона.  

• Проверяет, как настроить промт в Home Assistant.  

• Настраивает системный промт и температуру.  

• Копирует текст для ответа пользователя и адаптирует его.  

• Обсуждает платные и бесплатные модели Яндекс G5.  

• Делится опытом использования Яндекс G5 для экспериментов.  

• Упоминает о грантах от Яндекса и их доступности.  

• Публикует код на GitHub.  

• Предупреждает о нестабильности и отсутствии документации.  

• Рекомендует использовать на свой страх и риск.  

• Обсуждение непонятного кода и необходимости использования LM5.  

• Решение пока обойтись без LM5, так как текущий код работает без него.  

• Благодарность за ссылку и подписка на стрим.  

• Вставка кода и создание массива сообщений.  

• Определение типа сообщений как массива строк.  

• Проблемы с адаптацией библиотеки для работы с GPT.  

• Импорт необходимых модулей и исправление ошибок.  

• Отладка и вывод отрендеренного промта.  

• Проблемы с импортом и их решение.  

• Получение клиента и взаимодействие с нейронной сетью.  

• Анализ взаимодействия с нейронной сетью в других интеграциях.  

• Решение использовать синхронный режим для получения ответа.  

• Ограничение максимального количества итераций.  

• Адаптация кода для упрощения интеграции.  

• Использование вспомогательного хелпера для параллельного выполнения методов.  

• Определение системного и пользовательского промта.  

• Импорт констант и максимальное количество токенов.  

• Настройка системного и пользовательского промта для работы с нейронной сетью.  

• Обсуждение необходимости документации по Яндекс G5.  

• Массив сообщений и его хранение.  

• Примеры использования массивов для передачи системного и пользовательского промтов.  

• Примеры использования классификаторов и пошаговых инструкций.  

• Отправка серии запросов в режиме чата.  

• Массив сообщений как контекст для модели.  

• Модели Яндекс G5 не хранят контекст предшествующих сообщений.  

• Необходимость сохранения истории сообщений на стороне клиента.  

• Понимание необходимости трансформации массива сообщений.  

• Проблемы с написанием циклов в Python.  

• Определение типа данных для массива сообщений.  

• Использование функции map для трансформации массива.  

• Проверка наличия кастомных исключений в библиотеке.  

• Использование общих исключений Python.  

• Обработка ошибок при попытке связаться с Яндекс G5.  

• Сравнение кода интеграции с Антропиком.  

• Отлавливание ошибок и рендеринг шаблона промта.  

• Упоминание о возможном использовании тул для управления умным домом.  

• Обсуждение работы с кодом и необходимость доработки.  

• Упоминание о цикле выполнения кода.  

• Планы по копированию и вставке кода для отладки.  

• Обсуждение функции message-converter и её специфики для Antropic.  

• Упоминание о необходимости разобраться с тулом, который всплывает в ассистенте.  

• Планы по копированию и вставке кода для интеграции с Antropic.  

• Запись сообщений от нейронки в историю переписки.  

• Понимание, что происходит с респонс контентом и set speech.  

• Сравнение с интеграцией с Olaama и обнаружение повторяющегося кода.  

• Пай чарм перегревается и выдает ошибки.  

• Попытки понять, почему пай чарм ругается на код.  

• Внесение исправлений и тестирование работы кода.  

• Перезапуск хума и тестирование работы ассистента.  

• Обнаружение проблемы с конвертацией массива в массив.  

• Решение проблемы с помощью метода list для конвертации в массив.  

• Перезагрузка страницы и ошибка "месседжс не ожидал".  

• Понимание необходимости использования оберток для синхронных методов.  

• Проблемы с именованными аргументами и поиск примеров в коде.  

• Поиск примеров использования оберток в коде.  

• Проблемы с именованными аргументами и попытки их решения.  

• Решение использовать неименованные аргументы и исправление кода.  

• Настройка системного промта и проверка работы.  

• Ошибка 429 "слишком много запросов".  

• Логирование ответов от нейросети и поиск ошибок в коде.  

• Анализ цикла и его влияния на запросы.  

• Понимание необходимости использования параметра "стрим" для получения ответов по частям.  

• Решение добавить брейк для остановки цикла после первого ответа.  

• Перезапуск хомосси и проверка работы после исправлений.  

• Возможность изменения системного промта и его использование.  

• Проверка работы с новыми настройками и исправление ошибок.  

• В старой версии системы перечислялись все сенсоры и устройства.  

• В новой версии это перечисление не требуется.  

• Автор планирует изучить настройки системы через чужие видео.  

• В системе можно добавлять интеграции, такие как Яндекс G5.  

• Выбор модели устройства не всегда работает корректно.  

• Автор хочет понять, как работает системный промт и как он изменился.  

• В старых версиях системный промт перечислял все устройства.  

• В новых версиях это перечисление отсутствует, но есть другой способ получения информации.  

• Автор планирует закомментировать старый код и продолжить работу.  

• Автор планирует интегрировать Яндекс G5 и добавить информацию о датчиках.  

• После перерыва он продолжит работу и добавит информацию о датчиках в системный промт.  

• Автор находит базовый промт, который включает текущее время и дату.  

• Базовый промт используется для отправки информации в Яндекс G5.  

• Автор планирует русифицировать константы для лучшего взаимодействия с Яндекс G5.  

• Добавление кода для интеграции с Яндекс G5.  

• Проверка наличия переменных LLM и PI.  

• Добавление кода в массив для передачи информации об умном доме.  

• Ошибка при попытке вставить код.  

• Проверка правильности вставки кода.  

• Логгирование ошибок для диагностики.  

• Перезапуск хо ассистента.  

• Ошибки при распознавании интента.  

• Локализация ошибок и их исправление.  

• Проверка настроек и копирование кода из разных интеграций.  

• Исправление ошибок при копировании кода.  

• Логгирование и анализ ошибок.  

• Проблемы с камерой, которая умирает.  

• Починка камеры и перезапуск хо ассистента.  

• Проверка генерации кода и ошибок.  

• Проверка наличия переменной LLM.  

• Логгирование содержимого переменной.  

• Обнаружение, что переменная не содержит данных.  

• Идея интеграции режима голода в холодильник.  

• Обсуждение возможности заработка на этой идее.  

• Возвращение к проблеме с переменной LLM и интеграцией.  

• Выбор "но-контрол" отключает доступ к умному дому для нейронной сети.  

• Переключение на "васист" позволяет управлять умным домом через нейронную сеть.  

• Необходимо вернуть флаг для управления умным домом.  

• Интеграция режима "голый ве" требует настройки для доступа к умному дому.  

• Устранение проблемы с падением логов.  

• Необходимость изменения настроек для получения доступа к умному дому.  

• Возвращение флажка "ноу контрол" в настройках.  

• Копирование кода из другой интеграции для добавления переключателя доступа.  

• Исправление ошибок в коде и перезапуск хо ассистента.  

• Проверка наличия переключателя в настройках хо ассистента.  

• Получение доступа к устройствам умного дома через Яндекс G5.  

• Проверка работы нейронной сети и получение информации о состоянии устройств.  

• Тестирование работы нейронной сети и получение информации о погоде и состоянии устройств.  

• Исправление ошибок в распознавании команд и состояний устройств.  

• Проверка корректности работы нейронной сети и умного дома.  

• Настройка алиасов для текстовых голосовых ассистентов.  

• Пример: светильник за монитором.  

• Проблема с пониманием имени устройства.  

• Вопросы о погоде и времени.  

• Пример: "Сколько сейчас времени?"  

• Вопросы о наличии устройств, таких как увлажнитель.  

• Проблемы с пониманием увлажнителя.  

• Использование простой модели Яндекс G5.  

• Вопросы о состоянии дверей и других устройств.  

• Проблемы с моделью Яндекс G5.  

• Попытки настроить модель для лучшего понимания.  

• Вопросы о температуре и состоянии дверей.  

• Проблемы с пониманием тестовых устройств.  

• Вопросы о медиаплеере и музыке.  

• Настройка алиасов для устройств.  

• Возможность управления умным домом через чат.  

• Настройка удаленного доступа через интернет.  

• Пример использования радиомодема для управления устройствами.  

• Добавление второй камеры для демонстрации.  

• Настройка радиомодема для отправки сообщений.  

• Подключение второго модема к локальной сети и серверу.  

• Обсуждение возможности получения текста сообщения через радиомодем.  

• Настройка автоматизации для передачи вопроса в Яндекс G5.  

• Демонстрация работы радиомодема и чатика.  

• Эксперимент с отправкой сообщения и получением ответа.  

• Перезапуск шлюза для проверки работы.  

• Проблемы с получением ответа от второго модема.  

• Демонстрация автоматизации, которая отвечает "понг" на любое сообщение.  

• Определение модема по ID для корректной работы.  

• Возможность использования сервиса "диалог обработать" для работы с Яндекс G5.  

• Настройка параметров для получения ответа от Яндекс G5.  

• Проблемы с передачей текста и ответа в автоматизации.  

• Восстановление удаленных строк кода для корректной работы.  

• Перезапуск хоум ассистента и тестирование автоматизации.  

• Исправление ошибок в конфиге и документации.  

• Успешное тестирование работы с Яндекс G5 из автоматизации.  

• Проверка работы радио-модема и отправки сообщений.  

• Сообщение должно отправляться на второй радио-модем, затем в Home Assistant и Яндекс G5.  

• Обнаружена ошибка в автоматизации, возможно, из-за неправильного написания кода.  

• Исправление ошибок в коде автоматизации.  

• Проверка документации и поиск примеров в интернете.  

• Попытки найти правильные примеры для написания кода.  

• Проблемы с кодировкой и русским языком при отправке сообщений.  

• Успешное получение ответа от Яндекс G5.  

• Возможность управления умным домом через радио-чат.  

• Управление умным домом через радио-чат с использованием Яндекс G5.  

• Сомнительность использования Яндекс G5 для управления через чат.  

• Организация радио-чата как более простая альтернатива интернет-управлению.  

• Показ карты участников межсети в Санкт-Петербурге и Ленинградской области.  

• Возможность связи с нодами в разных частях города и области.  

• Управление умным домом удаленно через радио-чат.  

• В Москве сеть Лора развита, но в других городах ситуация хуже.  

• За пределами России есть большие сети на основе Лоры.  

• В чате "Мечтасти Краша" можно узнать о наличии сетей в своем городе.  

• Видео о дистанционном управлении умным домом через Яндекс G5.  

• Возможность использования обычного человеческого языка для управления.  

• Отправка сообщений по радио через Яндекс G5.  

• Радиостанция с технологией PIR может отправлять текстовые сообщения.  

• Для использования PIR требуется радиолюбительская лицензия.  

• Мештастик не требует лицензии, но имеет ограничения по мощности.  

• Яндекс G5 может отвечать на вопросы, но управление устройствами пока не работает.  

• Проблемы с настройкой и парсингом команд.  

• Текущая реализация позволяет только спрашивать о влажности.  

• Планируется доработать управление устройствами на следующем стриме.  

• Расписание стримов: вторник-четверг в 18:30 по Москве.  

• Благодарность зрителям и прощание до следующего стрима.