Сверхбыстрый Журнал Регистрации 1C с помощью Yandex Clickhouse

• Автор приветствует зрителей и сообщает о возвращении к выпуску новых роликов.  

• Журнал регистрации в 1С медленный и неудобный для больших баз данных.  

• Появляются служебные регистры для логирования данных в базу данных.  

• Идея выгрузки журнала регистрации в быстрое внешнее хранилище не нова.  

• Ранее активно продвигался Elasticsearch, теперь популярен ClickHouse.  

• В крупных компаниях журналы регистрации 1С отправляют в ClickHouse или Elasticsearch для быстрого поиска данных.  

• 1С не предлагает инструментов для экспорта журнала в внешние индексы.  

• Формат журнала регистрации закрытый, приходится использовать реверс-инжиниринг.  

• Автор планирует выгрузить журнал регистрации в ClickHouse с помощью утилиты от Евгения Акпаева.  

• ClickHouse можно развернуть в Docker для изолированной среды.  

• Автор подготовил компост-файл для установки ClickHouse и веб-интерфейса.  

• Подключение к ClickHouse и использование веб-интерфейса для анализа данных.  

• Экспортер журнала хорошо документирован, но не разделен на режимы запуска.  

• Автор объясняет, как настроить экспортер для работы с одной базой данных.  

• Настройка экспортера включает указание пути к журналу регистрации и других параметров.  

• Автор скачал и настроил экспортер из GitHub.  

• Использовал Docker для запуска экспортера и настройки его параметров.  

• Система готова к использованию и потребляет журнал регистрации 1С.  

• Приложение-коллектор работает на Linux и использует локальную папку для базы данных.  

• Локальная папка примонтирована в контейнер по пути var/lock/data.  

• Экспортер потребляет данные из этой папки и передает их в базу данных Яндекс Клик Хауса.  

• Экспортер начинает записывать данные в базу данных Клик Хауса.  

• Экспортер работает как фоновая служба, обновляя записи при действиях с базой данных.  

• В Клик Хаусе появляется новая база данных с таблицей event_log_items.  

• В таблице event_log_items содержится 40,712 записей.  

• Записи разделены на категории: информация, предупреждение, ошибка.  

• Анализ ошибок показывает, что большинство из них связаны с тестированием системы.  

• Создается обработка для размножения данных, которая генерирует ошибки при нехватке товаров.  

• Фоновые задания продолжают обновлять логи, несмотря на остановку стека сбора данных.  

• Конфликты блокировок в транзакциях могут возникать при генерации данных.  

• Экспортер догоняет отставание и добавляет 64,000 записей.  

• Анализ данных показывает, что большинство ошибок связаны с конфликтами блокировок и обсуждением в системе.  

• Яндекс Клик Хаус имеет ODS интерфейс, что позволяет подключать его к различным потребителям данных.  

• Скачайте и установите официальный драйвер для Яндекс Клик Хаус с GitHub.  

• Драйвер можно найти в источниках данных ОС Windows.  

• Создайте строку подключения для подключения к Клик Хаус в 1С:Предприятие.  

• После установки драйвера появятся источники данных в 1С.  

• Создайте внешний источник данных для журнала регистрации.  

• Настройте таблицу с нужными полями: позиция в файле, имя файла, дата, статус транзакции, пользователь, компьютер, приложение.  

• Создайте отчет в 1С:Предприятие, используя внешний источник данных.  

• Отчеты можно фильтровать, группировать и визуализировать с помощью диаграмм.  

• Анализируйте ошибки по пользователям и метаданным.  

• На GitHub доступно множество инструментов для 1С:Предприятие.  

• Инструменты помогают решать задачи, которые не могут быть реализованы в рамках стандартного набора инструментов 1С.  

• Используйте инструменты для улучшения производительности и анализа журналов регистрации.  

• Скачайте скрипты с GitHub для самостоятельной работы.  

• Яндекс Клик Хаус обеспечивает высокую производительность при работе с большими объемами данных.  

• Анализируйте журналы регистрации с помощью аналитических инструментов 1С:Предприятие для получения полезной статистики и аналитики.