Graylog: Ваше полное руководство по началу работы с журналами с открытым исходным кодом

• Greylog - бесплатная платформа с открытым исходным кодом для централизованного ведения журнала.  

• Позволяет консолидировать данные, создавать корреляции, запросы и оповещения.  

• Видео охватывает развертывание с нуля, настройку экстракторов, управление потоками и построение индексов.  

• Видео не спонсируется Greylog, но автор получил футболку от Greylog.  

• Для поддержки канала можно использовать партнерские ссылки или нанять автора.  

• Установка Greylog будет показана на примере Ubuntu 22.04 с использованием Docker.  

• Установка Docker на Ubuntu 22.04 требует правильного часового пояса UTC.  

• Важно, чтобы все данные на сервере регистрации находились в одном часовом поясе.  

• Установка Docker и настройка прав доступа для локального пользователя.  

• Клонирование Docker Compose с GitHub и генерация нового пароля.  

• Определение сетевого трей и настройка объемов для данных приложения и томов.  

• Настройка данных журнала и базы данных mongo.  

• Настройка OpenSearch для хранения данных журнала.  

• Изменение пароля администратора и настройка портов.  

• Настройка часовых поясов и почтового транспорта Greylog.  

• Настройка SMTP-протокола и URL интерфейса для почтового транспорта.  

• Определение портов для различных служб и запуск служб в правильном порядке.  

• Завершение настройки и запуск служб Greylog.  

• Все данные Truenas будут поступать на определенный порт.  

• Инструменты и настройки привязаны к этому порту.  

• После настройки все данные будут отправляться на один порт.  

• Docker Compose позволяет получить последние версии образов Docker.  

• Запуск Docker Compose занимает пару минут.  

• После запуска можно войти в систему с правами администратора.  

• Docker Compose можно перевести в фоновый режим с помощью команды -d.  

• Это позволяет запускать Docker Compose автоматически при перезагрузке системы.  

• Для удаления Docker Compose используется команда -d.  

• Команда docker compose down-v удаляет все данные и тома.  

• Это позволяет начать с чистого листа при необходимости.  

• Для создания новых данных используется команда docker compose up-d.  

• Данные поступают на указанный порт и обрабатываются экстракторами.  

• Структурированные данные попадают в поля, неструктурированные сохраняются в виде длинных строк.  

• Данные обрабатываются по правилам потока и попадают в определенные индексы.  

• Включение ведения журнала в PFSense на порт 1514.  

• Отправка данных на сервер ведения журнала.  

• Использование формата сообщений по умолчанию bsd rfc 3164.  

• Создание нового пользователя и настройка его параметров.  

• Создание ввода syslog-udp для PFSense.  

• Привязка адреса и запуск ввода.  

• Создание и управление средствами извлечения.  

• Импорт существующих файлов JSON для средств извлечения.  

• Сравнение извлеченных данных до и после использования экстрактора.  

• Данные разбиты на специфические поля, что позволяет выполнять сложные запросы.  

• Можно создавать новые индексы для конкретных устройств, таких как pfSense.  

• Управление параметрами индексов, включая ротацию и размер.  

• Рекомендации по ротации индексов: раз в месяц или каждые два-три месяца.  

• Возможность указания размера индекса и количества сообщений.  

• Настройка индексов для управления журналами и предотвращения переполнения.  

• Создание потока для передачи данных в определенный индекс.  

• Настройка правил потока для фильтрации данных по источнику и идентификатору.  

• Проверка и настройка правил потока для корректной передачи данных.  

• Настройка уведомлений для различных событий, таких как вход в систему и VPN.  

• Определение событий и настройка уведомлений по электронной почте, Slack и другим каналам.  

• Возможность создания простых и настраиваемых уведомлений.  

• Фильтрация данных для определения событий, таких как неверный сертификат TLS.  

• Создание определений событий на основе фильтров и агрегации данных.  

• Настройка уведомлений на основе найденных событий и условий.  

• Система подтверждает настройку оповещений.  

• Можно создать определение события, которое выполняет действия и задачи.  

• Это позволяет начать работу с Greylog, извлекать данные и раскладывать их по полям.  

• Можно использовать внешние источники данных для объединения логов всех сервисов.  

• Создаются различные экстракторы для разных целей.  

• Автор будет обновлять экстракторы и добавлять новые в будущем.  

• Призывы оставлять комментарии и отзывы о Greylog.  

• Просьба ставить лайки и подписываться на канал.  

• Рекомендация посещать форумы для обсуждения тем канала.