Микросервисы Spring Boot Kafka - Руководство по реальному проекту Spring Boot Kafka

• Проект "Реальный мир" использует Springboot и Apache Kafka.  

• Цель проекта - считывать потоковые данные из Википедии и записывать их в базу данных.  

• Архитектура включает Kafka Producer для чтения данных и Kafka Consumer для записи в базу данных.  

• Kafka Producer считывает данные из Википедии и записывает их в Kafka Broker.  

• Kafka Consumer получает данные из Kafka Broker и записывает их в базу данных.  

• Примеры использования включают пользовательские интерфейсы и диаграммы для отображения данных в реальном времени.  

• Создание двух проектов: Kafka Producer Wikimedia и Kafka Consumer Database.  

• Использование Apache Kafka для обмена сообщениями между микросервисами.  

• Загрузка и извлечение последней версии Kafka.  

• Запуск Zookeeper для управления состоянием брокеров Kafka.  

• Запуск Zookeeper с помощью команды `zookeeper-server-start.sh`.  

• Внутри папки Kafka есть папка bin с файлами sh.  

• Для запуска Zookeeper используется файл sh с настройками.  

• После запуска Zookeeper можно запустить брокерскую службу Kafka.  

• Для запуска Kafka Broker используется файл sh kafka-server-start.sh.  

• В Windows используется командная строка, а не bat-файл.  

• Команда запускает брокерскую службу Kafka на порту 9092.  

• После запуска Zookeeper и Kafka Broker можно использовать среду Kafka.  

• В следующей лекции будет создан проект Spring Boot для пользователей Википедии.  

• Используется Spring Initializer для создания проекта Spring Boot.  

• Проект будет многомодульным с дополнительным модулем для Kafka.  

• Заполняются метаданные проекта и добавляются зависимости.  

• Проект Spring Boot импортируется в IntelliJ IDEA.  

• Проект становится многомодульным с родительским проектом и дочерними модулями.  

• Создается модуль для Kafka Producer Wikimedia.  

• Модуль Kafka Producer Wikimedia настраивается как проект Spring Boot.  

• Создается файл свойств application.properties для настройки пользователя.  

• В файле свойств указываются свойства для запуска Kafka Producer.  

• Настройка свойства для подключения к брокеру Kafka на порту 9092.  

• Настройка сериализатора ключей и значений для Kafka Producer.  

• Создание темы Kafka для хранения данных.  

• Создание класса конфигурации темы Kafka.  

• Использование аннотации @Configuration для создания класса.  

• Создание метода для создания объекта темы Kafka.  

• Создание класса Kafka Producer.  

• Использование аннотации @Service для создания Spring Bean.  

• Создание экземпляра регистратора и внедрение шаблона Kafka.  

• Создание метода для чтения данных из Википедии в реальном времени.  

• Использование EventSource для чтения событий из Википедии.  

• Добавление зависимостей для работы с JSON и EventSource.  

• Создание класса обработчика изменений Википедии.  

• Реализация интерфейса обработчика событий.  

• Создание параметризованного конструктора и метода onMessage для обработки событий.  

• Запустите logger и передайте обработчику изменений classname wikimedia.  

• Добавьте инструкцию logger для регистрации сообщений.  

• Используйте шаблон Kafka для отправки событий в тему.  

• Создайте обработчик событий, который будет срабатывать при новых событиях в Википедии.  

• Внедрите метод onMessage для отправки сообщений в тему.  

• Вернитесь к классу producer и создайте объект обработчика событий.  

• Определите URL-адрес REST API для потоковых данных Википедии.  

• Скопируйте URL-адрес и передайте его источнику событий.  

• Создайте источник событий, который будет считывать данные из источника Википедии.  

• Используйте конструктор источников событий для создания объекта источника.  

• Запустите источник событий в отдельном потоке.  

• Реализуйте интерфейс запуска командной строки в основном классе точки входа.  

• Добавьте метод отправки сообщения в класс производителя.  

• Запустите приложение Spring Boot и проверьте работу производителя.  

• Запустите службы Zookeeper и Kafka на локальном компьютере.  

• Проверьте, что брокер Kafka запущен на порту 9092.  

• Исправьте конфигурацию Kafka, если возникнут ошибки.  

• Проверьте, что данные о событиях извлекаются из источника.  

• Убедитесь, что данные отправляются в раздел Kafka.  

• Проверьте данные в теме Kafka с помощью командной строки.  

• Пользователь читает данные из темы Kafka в режиме реального времени.  

• Запускаем проект Spring Boot для проверки работы Kafka Producer.  

• Потребитель читает данные из темы Kafka и печатает их в терминале.  

• Kafka Producer считывает данные из Википедии и записывает их в Kafka.  

• Потребитель читает данные из Kafka и записывает их в базу данных MySQL.  

• Создаем проект Spring Boot для Kafka Consumer.  

• Создаем модуль "база данных потребителей Kafka" в родительском проекте.  

• Добавляем тип упаковки в виде jar и создаем основной класс точки входа.  

• Настраиваем проект для работы с Spring Boot.  

• Создаем файл свойств application.properties для настройки Kafka Consumer.  

• Настраиваем URL-адрес брокера Kafka и группу потребителей.  

• Указываем классы сериализатора для ключа и значения.  

• Создаем класс Kafka Database Consumer и добавляем аннотацию @Service.  

• Создаем метод consume с аннотацией @KafkaListener.  

• Указываем тему и идентификатор группы в аннотации.  

• Регистрируем сообщение о событии с помощью метода logger.  

• Внедрили Kafka Consumer для использования данных из темы Kafka.  

• Запустили проект Springboot для проверки работы Kafka Consumer.  

• В консоли увидели полученное сообщение о событии.  

• Запустили Kafka Producer для считывания данных из Википедии.  

• Запустили Kafka Consumer для параллельного чтения данных.  

• В консоли видны логи событий для обоих приложений.  

• Настроили базу данных MySQL в проекте Springboot.  

• Создали базу данных в MySQL Workbench.  

• Добавили зависимости Spring Data JPA и драйвер MySQL JDBC.  

• Настроили URL-адрес источника данных и имя пользователя с паролем.  

• Настроили режим гибернации с расширением и автоматическое создание таблицы.  

• Проверили успешность подключения к базе данных.  

• Создали объект JPA для сохранения данных в таблице базы данных.  

• Добавили аннотации для создания методов get и set.  

• Использовали библиотеку Lombok для автоматического создания методов.  

• Создаем пакет "репозиторий" и интерфейс "хранилище данных викимедиа".  

• Расширяем интерфейс с помощью интерфейса хранилища JPA.  

• Передаем аргументы post и long.  

• Вводим репозиторий JPA в класс Kafka Consumer.  

• Используем внедрение зависимостей на основе конструктора.  

• Вызываем метод сохранения для сохранения данных о событиях.  

• Создаем объект данных викимедиа и вызываем метод сохранения.  

• Запускаем проект Spring Boot Consumer для проверки работы Kafka Consumer.  

• Запускаем проект Kafka Producer для извлечения потоковых данных из викимедиа.  

• Проверяем логи в консоли и события в пользовательском приложении Springboard.  

• Убеждаемся, что данные успешно сохраняются в базе данных MySQL.  

• Обновляем схемы и проверяем таблицы в MySQL Workbench.  

• Создали проект multimodule mine с двумя проектами Kafka Producer и Kafka Consumer.  

• Проект Kafka Producer читает потоковые данные из викимедиа и записывает их в тему Kafka.  

• Проект Kafka Consumer использует потоковые данные из темы Kafka и записывает их в базу данных MySQL.