Сборочная линия с нуля. Jenkins, GitLab, SonarQube и EDT за один вечер.

• Приветствие зрителей и проверка связи.  

• Обсуждение технических проблем с началом стрима.  

• Извинения за технические неполадки и планы на будущее.  

• Приветствие участников: Андрей, Олег, Валера.  

• План стрима: настройка и запуск различных инструментов, таких как Sonar, Gitlab, Jenkins, Docker и другие.  

• Использование Docker для упрощения процесса настройки.  

• Объяснение, что такое Docker и его особенности.  

• Установка Docker на Ubuntu 20.04 LTS.  

• Настройка XRDP для работы с Docker на Ubuntu.  

• Установка Mono и других пакетов для работы с Mono.  

• Использование Hyper-V для запуска Docker без лишних прослоек виртуализации.  

• Установка служебных пакетов для работы с экосистемой скриптов.  

• Установка Jenkins версии 8.3.18.  

• Создание базы данных и настройка окружения.  

• Обсуждение установки и настройки различных инструментов, таких как Gitlab, Sonar и других.  

• Проблемы с лицензией Docker.  

• Попытка решить проблему через ребут системы.  

• Обсуждение использования EDS и других инструментов.  

• Обсуждение использования ClickHouse и других инструментов.  

• Проблемы с внешними источниками данных и их обработкой.  

• Успешное решение проблемы с лицензией и продолжение работы.  

• Создание конфигурации из трех справочников.  

• Быстрое создание хранилища для конфигурации.  

• Использование БСП для быстрого создания администратора без пароля.  

• Объяснение работы Docker Swarm.  

• Преимущества использования Docker Swarm для небольших сборок.  

• Простота настройки и конфигурации Docker Swarm.  

• Создание сертификатов для Docker Swarm.  

• Настройка докера для работы с сертификатами.  

• Редактирование конфига докера для работы с сертификатами.  

• Установка и настройка Protonier.  

• Управление Docker образами и сетями через Protonier.  

• Создание сетей для связи контейнеров в едином адресном пространстве.  

• Развертывание приложений через Protonier.  

• Создание сетей для связи контейнеров.  

• Возможность установки приложений одной командой через Protonier.  

• Создание Gitlab для хранения исходников.  

• Использование Docker Compose для запуска контейнеров.  

• Настройка параметров для безопасности и конфигурации.  

• Создание нового каталога и файла Docker Compose.  

• Запуск PostgreSQL и Redis для базы данных и кэша.  

• Настройка портов и переменных среды для Gitlab.  

• Рекомендация использовать сложные пароли для безопасности.  

• Настройка тайм-зоны и параметров шифрования.  

• Рекомендации по настройке параметров для продакшна.  

• Скачивание и запуск образов Docker Compose.  

• Преимущества использования проверенного образа.  

• Обсуждение сложностей с конфигурацией и поддержкой.  

• Опыт использования Gitlab и Gitlab Enterprise.  

• Преимущества и недостатки Gitlab по сравнению с другими системами.  

• Рекомендации по переходу на Gitlab для серьезных проектов.  

• Проблемы с запуском Gitlab и их решение.  

• Настройка порта и логирование для мониторинга.  

• Управление контейнерами через Docker Desktop.  

• Завершение установки Gitlab и проверка логов.  

• Проблемы с запуском и их решение.  

• Развертывание Jenkins для параллельной работы.  

• Обсуждение репозитория Docker от Антона Джугасу.  

• Проект поддерживается многими участниками, включая Диму Абрамова.  

• В репозитории есть множество Docker-файлов для различных сервисов.  

• В репозитории есть Docker-файл для сборки образов для Jenkins.  

• Скрипты сборки позволяют создавать Docker-образы для Jenkins.  

• Настройка переменных среды для сборки образов.  

• Docker Hub не подходит для публичного размещения образов из-за лицензионных ограничений.  

• Использование Docker Compose для создания и запуска Docker-контейнеров.  

• Настройка Docker Compose для хранения образов.  

• Создание Docker Compose-контейнера для хранения образов.  

• Настройка параметров контейнера и публикация его на порту 5000.  

• Использование переменных среды для сборки образов.  

• Установка Jenkins из Docker Hub.  

• Настройка портов и каталогов для Jenkins.  

• Подключение Jenkins к сети Docker Compose.  

• Завершение установки Jenkins и настройка сети.  

• Подключение Jenkins к сети Docker Compose.  

• Ожидание завершения установки Jenkins.  

• Обсуждение идеи создания официальных зеркал для хап-пакетов.  

• Хранение разрешенных серверов на GitHub и синхронизация с ними.  

• Проблема начального посева всех пакетов и необходимость использования дейли бэкапов.  

• Обсуждение проблем с зеркалами на разных платформах.  

• Необходимость синхронизации обновлений и использование Kafka.  

• Вопросы о первичном посеве пакетов и использовании Kafka для синхронизации.  

• Создание пустого репозитория и настройка каталога с файлами.  

• Проблемы с автоматизацией и необходимость ручного управления.  

• Обсуждение сложностей с синхронизацией пользователей и конфигураций.  

• Настройка Gitik и использование плагинов для синхронизации.  

• Плагины как дополнительная логика для синхронизации.  

• Включение и использование различных плагинов для настройки поведения синхронизации.  

• Настройка выгрузки файлов в репозиторий.  

• Авторизация под пользователем, не подключенным к хранилищу.  

• Проверка работы выгрузки и добавление кода в репозиторий.  

• Проверка работы Git и добавление тегов.  

• Проблемы с рекламой и увеличением онлайн-пользователей.  

• Необходимость обновления страницы для корректной работы счетчика.  

• Обсуждение логики расположения аргументов в команде.  

• Попытка сделать пуш образа.  

• Проблемы с безопасностью и конфигурацией.  

• Поиск конфигурационных файлов Docker.  

• Обсуждение необходимости использования Docker Desktop.  

• Настройка безопасности Docker и Jenkins.  

• Запуск Jenkins и ввод пароля администратора.  

• Установка необходимых плагинов, таких как Board в Пуст и тайм-ауты.  

• Настройка конфиг провайдера и использование Gitlab.  

• Сравнение Jenkins и Gitlab в плане визуализации результатов.  

• Преимущества Jenkins в плане публикации результатов и использования Groovy.  

• Удобство работы с Jenkins в режиме мыши и клика.  

• Улучшение интерфейса Jenkins после обновления.  

• Возможность подключения тем и улучшения внешнего вида.  

• Благодарность за донаты и возможность писать оскорбления.  

• Установка пайплайна и сканера в Docker.  

• Настройка блокировки конкурентных сборок.  

• Установка плагина Docker Swarm.  

• Настройка Docker Swarm в Jenkins.  

• Создание сертификатов и настройка авторизации.  

• Проверка и исправление ошибок при подключении.  

• Запуск Jenkins и проверка сертификатов.  

• Настройка Docker Swarm для Jenkins.  

• Проверка работы Docker Swarm и агентов.  

• Проверка ресурсов виртуальной машины.  

• Настройка агентов и запуск тестовой задачи.  

• Проверка работы Docker Swarm и агентов.  

• Настройка Docker Swarm для Jenkins.  

• Добавление нового Docker агента.  

• Проверка работы Docker Swarm и агентов.  

• Важно ограничивать память в виртуальной машине, чтобы избежать её переполнения.  

• Обновление страницы и настройка звука.  

• Команда для запуска образов в Docker зависит от типа образа.  

• Для работы с Jenkins Agent и VNC нужно переопределить entrypoint.  

• Выполнение команды `binbash` для запуска VNC сессии.  

• VNC помогает расследовать проблемы в Docker-контейнерах.  

• Для нативного Jenkins агента VNC не требуется, но для Docker-агента это необходимо.  

• VNC позволяет заглянуть внутрь контейнера для диагностики.  

• Поднятие Jenkins и GitLab в Docker.  

• Проверка запуска контейнеров и среды.  

• Обсуждение памяти на машине и её использования.  

• Установка и настройка Jenkins.  

• Использование библиотеки для автоматизации конвейера сборки.  

• Подключение библиотеки в настройках Jenkins.  

• Создание файла `job-configuration` в репозитории.  

• Указание параметров для запуска сборочной линии.  

• Создание Jenkins-файла с командой `pipeline`.  

• Создание мультибрач пайплайна в Jenkins.  

• Клонирование исходников и запуск пайплайна.  

• Проверка выполнения шагов пайплайна и ожидание необходимых агентов.  

• Узел готовится к выполнению.  

• Выполняется шаг инициализации.  

• Проблемы с последней версией библиотеки.  

• Библиотека не может работать с последней версией.  

• Использование Java и Lambdas.  

• Необходимость написания тестов.  

• Тесты есть, но покрытие маленькое.  

• Попытка исправить ситуацию.  

• Вопросы о версии Java и Docker.  

• Библиотека содержит нелегальные аннотации.  

• Необходимость правильного импорта.  

• Проблемы с подключением библиотеки.  

• Библиотека подключена как Git-репозиторий.  

• Проблемы с коммитом и хэшем.  

• Вопросы о шрифтах для терминала.  

• Настройка Sonar в репозитории.  

• Параметры для Sonar.  

• Проблемы с логином и паролем.  

• Запуск четвертой сборки.  

• Проблемы с Docker и Sonar.  

• Использование готовых Docker-образов.  

• Проблемы с Docker-образом.  

• Настройка базы данных и плагина.  

• Проблемы с перезагрузкой и памятью.  

• Выполнение команды на хосте.  

• Проблемы с плагинами и перезагрузкой.  

• Успешный запуск и настройка.  

• Обсуждение переноса строки и пайплайна.  

• Дженкинс ждет доступный агент для выполнения задач.  

• Использование образа Docker для запуска сканера Sonar.  

• Создание нового Docker-агента на основе образа Sonar.  

• Настройка рабочей директории и команды по умолчанию.  

• Проблемы с запуском агента и возможные решения.  

• Создание проекта с ключом СССР для использования плагина с русскими символами.  

• Настройка доступа администратора к Sonar через Jenkins.  

• Прописывание токена доступа в настройках Jenkins.  

• Описание конфигурации и запуска пайплайна.  

• Использование стандартных значений по умолчанию для шагов.  

• Включение шагов инициализации и тестирования.  

• Запуск анализа кода с помощью Sonar.  

• Обнаружение дефектов кода и их исправление.  

• Проблемы с инициализацией базы данных и необходимость их решения.  

• Описание EDT-агента и его установки.  

• Сбор образа EDT-агента с помощью Docker.  

• Преимущества использования EDT-агента для тестирования.  

• Обсуждение проблем с версиями 2021.1.5 и 2021.1.3.  

• Проблемы с трансформацией базы данных в версии 2021.1.5.  

• Текущая разработка ведется на версии 2021.1.3.  

• Проблемы с обновлением базы данных при использовании внешнего источника.  

• Необходимость полной перезаливки базы данных для обновления.  

• Ожидание версии 2022.0.  

• Замечена небольшая деградация производительности на версии 2021.1.5.  

• Обсуждение различных процессоров и их производительности.  

• Сравнение цен на процессоры и их доступность.  

• Настройка Jenkins для работы с Git.  

• Использование переменных среды для управления логированием.  

• Включение необходимых плагинов для проекта.  

• Создание нового агента Jenkins.  

• Настройка агента для работы с Git.  

• Копирование образа агента и запуск команды.  

• Включение EDI в проекте через стейджх.  

• Настройка свойств резал трансформ для удаления файлов на замке.  

• Уровни поддержки: ноль для файлов на замке, один для файлов на замке и без замка, два для всех файлов.  

• Удаление файлов на замке по умолчанию.  

• Использование библиотеки стейби для обработки файлов EDI.  

• Трансформация исходников в формат EDI и запуск EDI-контроля.  

• Запуск сканирования изменений в мастер ветке.  

• Трансформация исходников в формат EDI и EDI-контроль.  

• Обработка результатов EDI-контроля и добавление их как дополнительный источник данных для саркуба.  

• Проблемы с отображением логов в интерфейсе.  

• Трансформация формата EDI и импорт исходников.  

• Проблемы с зависимостями и плагинами, которые выкачиваются при запуске.  

• Запуск EDI-контроля и валидации проекта.  

• Трансформация результатов и использование библиотеки стейби.  

• Возможность написания модульных тестов в EDI и их описание.  

• Установка Mono происходит быстро, если не ставить MonoCompliсt.  

• Для работы с SSH-ключами с паролем рекомендуется использовать SSH-агенты.  

• SSH-агенты, такие как SSH-Agent, помогают управлять паролями для SSH-ключей.  

• SSH-агенты запускаются в трее и проверяют доступ к SSH-ключам.  

• Можно настроить SSH-агенты для автоматического ввода пароля при выполнении команд.  

• SSH-агенты требуют ввода пароля при входе в систему или периодически.  

• Git и GitFS используются для управления репозиториями и конфигурациями.  

• GitFS ускоряет клонирование репозиториев и улучшает производительность.  

• GitFS легко настраивается на Windows и Linux.  

• Проблемы с использованием SSH-ключей на Windows и Linux.  

• SSH-агенты могут помочь в управлении паролями для SSH-ключей.  

• Для настройки агентов требуется знание Docker и Dockerfile.  

• Проблемы с отображением ссылок в чате YouTube.  

• Обсуждение необходимости использования других мессенджеров для коммуникации.  

• Проблемы с сборкой Docker-образов и настройкой агентов.  

• Библиотека требует конфигурации через JSON-файлы.  

• Дополнительные параметры можно передавать через командную строку.  

• Использование сборки Vanessa от первого бита для работы библиотеки.  

• Обсуждение необходимости наличия файла pkg в корне репозитория.  

• Пример использования файла pkg для установки зависимостей.  

• Планы по улучшению механизма выбора зависимостей.  

• Запуск сборки и конвертация результатов ETL в JSON.  

• Запуск Sonar Scanner для анализа кода.  

• Проблемы с гибдд отчетами и необходимость их исправления.  

• Описание артефактов сборки, включая базу данных и результаты тестов.  

• Возможность перехода к различным инструментам для анализа кода.  

• Восхищение качеством и функциональностью библиотеки.  

• Подведение итогов и благодарность зрителям за участие.  

• Описание библиотеки как готовой инфраструктуры для конвейера сборки.  

• Планы на новый релиз книги и благодарность за донаты.  

• Планы по добавлению новых шагов, таких как TDD и сбор покрытия кода.  

• Завершение видео и пожелания спокойной ночи.