Чем заменить logstash? Vector доставит #NotOps

• Автор предлагает сделать видео более неформальным, как на лекциях.  

• В прошлом ролике обсуждался ClickHouse, в этом - транспорт логов.  

• Логи нужно транспортировать от приложения в базу данных, возможно, с трансформацией.  

• Рассматривается транспорт Vector, который заменяет Logstash.  

• Vector поддерживает множество источников данных, трансформацию логов и метрик, и имеет множество способов подключения к хранилищам данных.  

• Vector позволяет писать собственные скрипты на Lua для фильтрации данных.  

• Проект активно разрабатывается, но еще много недоработок.  

• Автор держит три ишу на GitHub по поводу компонентов Vector.  

• Vector можно установить через bash-скрипт или готовый пакет.  

• Настройка конфига состоит из трех блоков: source, transform и sink.  

• Конфиг доступен в трех форматах: TOM, YAML и JSON.  

• Конфиг включает ключи source, transform и sink.  

• Можно использовать несколько источников данных и записывать их в разные базы данных.  

• Автор использует плейбук для настройки и запуска Vector.  

• Автор добавляет роль Vector в плейбук, созданный на предыдущем ролике.  

• Создается отдельная группа хостов для Vector и добавляется хост.  

• Заполнение данных и продолжение настройки.  

• Скачиваем и устанавливаем необходимые роли.  

• Заходим в раздел "Конфиг" и заполняем его данными.  

• Описываем типы данных: сурс, транс, форс и сс.  

• Сурс: откуда скачивать данные, метрики, логи, файлы.  

• Транс: обработка данных, фильтрация, распознавание.  

• Форс: куда складывать данные, клик хаус.  

• Сурс отвечает за файл, трансформ пока не нужен.  

• Записываем сурс в файл, указываем тип файла и игнорируем старые файлы.  

• Форс отвечает за клик хаус, указываем имя и тип.  

• Указываем требования к версиям и разделы.  

• Заполняем разделы энд пойнс, дата бейс, тейбл, скип, но филдс тру, компрессия.  

• Добавляем раздел ауф для авторизации.  

• Создаем новую таблицу с полями файл, хост, месседж, тайм стемп.  

• Заполняем базу данных и таблицу.  

• Проверяем наличие данных в таблице.  

• Используем роль для создания пользователя.  

• Указываем имя пользователя, пароль, сети подключения.  

• Добавляем пользователя в энд пойнт и псворт.  

• Проверяем запуск сервиса и наличие ошибок.  

• Создаем директорию и файл для логов.  

• Проверяем наличие данных в базе данных клик хаус.  

• Вектор умеет забирать данные из логов и переносить их в клик хаус.  

• Не хватает только интерфейсика для удобного просмотра данных.  

• ClickHouse Clind можно использовать в командной строке, но это не обеспечивает необходимый уровень абстракции для получения графиков.  

• Ссылки на итоговую роль и плейбук будут в описании, где их можно изучить и использовать.  

• Автор благодарит зрителей за просмотр и прощается.