Вебинар «Экстрактор 1С и автоматизация выгрузки данных. 5 типичных ошибок в настройке проекта»

• Тема вебинара: экстрактор данных из 1С и автоматизация безопасной выгрузки данных.  

• Пять типичных ошибок при настройке проекта.  

• Практическая демонстрация ошибок.  

• Компания Денви на рынке 15 лет.  

• Внедрение и автоматизация 1С, разработка продуктов.  

• Продукты: экстрактор данных и коннектор из 1С в ClickHouse.  

• Экстрактор данных из 1С: универсальное решение для любых конфигураций 8.2, 8.3, 8.5.  

• Удобный мастер настройки для неподготовленных пользователей.  

• Поддержка высоконагруженных баз данных и работа с различными назначениями.  

• Установка как расширение в 1С.  

• Работа с объектной моделью данных, запросами и Excel.  

• Создание структуры в базе данных и отслеживание изменений.  

• Центр управления для оркестрации проектов.  

• Безопасное решение с защищенными протоколами и ролевой моделью.  

• Поддержка закрытого контура и работа с метаданными.  

• Универсальное решение для различных отраслей.  

• Примеры использования: производственные компании, сельхозпредприятия, учебные заведения.  

• Пять ошибок при настройке выгрузки данных.  

• Неверный размер сегмента и его влияние на производительность.  

• Нюансы работы с запросами и обработчиками.  

• Создание проекта в простом режиме.  

• Ошибки при настройке параметров отбора.  

• Влияние дробления данных на производительность.  

• Увеличение гранулярности сегмента до месяца.  

• Пересоздание таблицы и очистка очереди.  

• Влияние правильного подбора размера сегмента на производительность.  

• В очереди четыре года: 2021, 2022, 2023 и 2024.  

• Проект выполняется многопоточно, данные выгружаются за 11 секунд.  

• Экстрактор следит за изменениями и перегружает данные за целый год при фиксации изменений.  

• Избыточные данные за год могут накапливаться и перегружать систему.  

• Переход к выгрузке по запросу позволяет гибко работать с данными.  

• Интерфейс экстрактора удобен для пользователей.  

• В режиме работы объект обработчики настроены автоматически.  

• Для работы с запросом обработчики нужно настраивать вручную.  

• Пример настройки обработчика для сегментации по периоду.  

• Вопросы о схлопывании данных и оптимальной гранулярности.  

• Рекомендации по выбору гранулярности для оперативной выгрузки данных.  

• Проблемы при изменении сегментации данных.  

• Количество записей в сегменте отображается в истории выполнения проекта.  

• Период подходит лучше для равномерного распределения данных.  

• Аномалии в распределении данных могут привести к избыточной нагрузке.  

• Создание нового источника и выбор параметров для запроса.  

• Параметры начала и конца периода должны быть заполнены вручную или из очереди.  

• Пример заполнения параметров вручную и проверка выгрузки данных.  

• Снятие галочки для инициализации параметров из очереди.  

• Использование готового запроса для выгрузки данных.  

• Отключение сегментации данных для получения параметров вручную.  

• Способ обновления данных "сегмента" ожидает параметры из очереди.  

• Для получения параметров вручную нужно отключить сегментацию данных.  

• Параметры источника инициализируются из очереди для старых релизов.  

• Передача параметров из очереди для имкрементной загрузки данных.  

• Использование обработчиков инициализации и регистрации изменений.  

• Проблемы с передачей двух параметров в запрос.  

• Изменение параметров в запросе для передачи одного параметра.  

• Использование функции для преобразования начала и конца периода.  

• Пример использования функции для получения данных за интервал.  

• Удаление ненужных полей из таблицы.  

• Создание индексируемого поля для отслеживания изменений.  

• Проверка работы обработчика и наполнение очереди данными.  

• Призыв к обратной связи для проверки понимания материала.  

• Успешное выполнение проекта и выгрузка данных с помощью запроса.  

• Возможность использования готовых отчетов и настройка параметров для выгрузки данных.  

• Добавление параметров в обработчик.  

• Пример кода для двух параметров со складами.  

• Настройка изменений в регистре.  

• Триггер при изменении регистра.  

• Настройка обработчиков для множества объектов.  

• Возможность передачи данных в запрос.  

• Обновление сегмента: удаление и вставка новых данных.  

• Добавление: сохранение всех версий измененных объектов.  

• Полное обновление: очистка таблицы перед записью новых данных.  

• Сравнение производительности выгрузки блоками и через файл.  

• Упаковка данных в файл для структурирования.  

• Преимущества выгрузки через файл для больших объемов данных.  

• Ошибки формата столбцов с датой.  

• Запрос на разработку универсального решения.  

• Рекомендация обратиться в техподдержку для решения проблемы.  

• При изменении остатка в 2022 году, обновляются остатки за все последующие годы.  

• Для регистра по остаткам есть специальный обработчик, который обновляет все даты до текущей.  

• Для остатков на каждый день используется обработчик инициализации.  

• Для сегментации по периоду и реквизиту используется основной обработчик и его копия.  

• Создается новый обработчик с дополнительными строками для импорта данных.  

• Способ выгрузки можно менять на лету, это влияет только на формирование данных.  

• Для выгрузки через файл в ClickHouse и PostgreSQL требуется каталог обмена.  

• Для ведения истории изменений проектов используется шаблонизация и гидропозиторий.  

• Шаблоны проектов сохраняются в файловую директорию и периодически обновляются.  

• Выгрузка файлов Excel происходит с сервера, файл должен быть в области видимости агента.  

• Можно расшарить папку в сеть или хранить файлы на сервере.  

• Важно правильно определить тип значения для поля с датой.  

• Выгрузка Excel происходит в режиме полного обновления данных.  

• Файлики должны быть в простой структуре, без иерархии.  

• При выгрузке важно правильно определить строку, с которой начинаются данные.  

• Основная проблема при работе с Excel-файлами - попытка выгрузить их с клиента, а не с сервера.  

• Рекомендуется выгружать файлы с сетевого диска или сетевой папки сервера.  

• Пять распространенных ошибок при работе с экстрактором.  

• Превышение лимита времени на вебинаре.  

• Вопрос о предустановленных шаблонных выгрузках: их нет, но есть желание обмениваться готовыми выгрузками.  

• Пример кейса: выгрузка номенклатуры с нормализованной иерархией.  

• Вопрос о правильном формате даты для выгрузки из Excel в PostgreSQL.  

• Поля типа даты корректно реализуются в PostgreSQL без дополнительных манипуляций.  

• Если нужно передать вычисляемое поле, формат нужно уточнить у разработчиков.  

• В экстракторе есть ролевая модель доступа к сущностям.  

• Доступ на уровне строк не поддерживается, только доступ к объектам.  

• Пользователи могут редактировать проекты друг друга.  

• Благодарность за участие и регистрацию.  

• Материалы вебинара будут сброшены на почту.  

• Возможность задавать вопросы через тех поддержку и руб канал.  

• Призыв к обратной связи и поддержка экстрактора.