Полный курс Spring Boot Kafka за 3 часа🔥🔥🔥

• Курс бесплатный и практический, без глубокого теоретического погружения.  

• Освещаются основные понятия и терминология Apache Kafka.  

• Курс полезен для использования Apache Kafka в микросервисной архитектуре.  

• Microservices генерируют и отправляют сообщения на Kafka Broker.  

• Kafka Producer создает и отправляет сообщения, Kafka Consumer получает сообщения.  

• Kafka Broker управляет состоянием кластера.  

• Apache Kafka - распределенная платформа для потоковой передачи событий.  

• Используется для высокопроизводительных конвейеров данных и критически важных приложений.  

• Создана LinkedIn, управляется Apache Foundation.  

• Кластер Kafka состоит из одного или нескольких брокеров.  

• Производитель генерирует и отправляет сообщения, потребитель получает сообщения.  

• Zookeeper управляет состоянием брокеров и конфигурацией тем.  

• Kafka отказоустойчива, данные распределяются между брокерами.  

• Данные могут храниться в Kafka Broker для использования в будущем.  

• Исторические данные доступны для анализа.  

• Обмен сообщениями, метрики, агрегирование журналов, потоковая обработка.  

• Kafka заменяет традиционные системы обмена сообщениями.  

• Введение в Apache Kafka и его использование в Spring Boot.  

• В следующей лекции будут рассмотрены ключевые технологии и концепции Apache Kafka.  

• Курс поможет понять, как использовать Kafka в приложении Spring Boot.  

• Kafka - это распределенная система, работающая как кластер.  

• Кластер Kafka состоит из одного или нескольких брокеров.  

• Рекомендуется использовать минимум три брокера в кластере.  

• Брокер Kafka - это сервер Kafka, который действует как посредник между производителем и потребителем.  

• Производитель отправляет сообщения брокеру, а потребитель считывает их с сервера.  

• Производитель - это приложение, которое генерирует и отправляет сообщения брокеру.  

• Потребитель - это приложение, которое считывает сообщения с сервера Kafka.  

• Тема Kafka - это категория, в которой хранятся сообщения.  

• Каждая тема имеет уникальное имя для идентификации.  

• Темы могут быть разделены на разделы для распределения данных.  

• Темы делятся на разделы для распределения данных между несколькими брокерами.  

• Разделы содержат записи в неизменяемой последовательности.  

• Смещение - это последовательность идентификаторов, присваиваемых сообщениям в разделе.  

• Смещение уникально для каждого сообщения и не изменяется.  

• Потребительская группа состоит из одного или нескольких потребителей, которые совместно обрабатывают сообщения.  

• Кластер Kafka состоит из одного или нескольких брокеров, которые действуют как посредники между производителем и потребителем.  

• Тема Kafka классифицирует сообщения и имеет уникальное имя.  

• Темы делятся на разделы, а смещение - это последовательность идентификаторов для сообщений.  

• Потребительские группы совместно обрабатывают сообщения.  

• Скачайте последнюю версию Kafka с официального сайта.  

• Извлеките загруженный файл и переименуйте его в "kafka".  

• Убедитесь, что на вашем компьютере установлена Java 8.  

• Запустите Zookeeper, чтобы управлять состоянием брокеров Kafka.  

• Используйте команду "zookeeper-server-start.sh" из папки bin.  

• Убедитесь, что Zookeeper запущен перед запуском Kafka.  

• Запустите Kafka Broker, используя команду "kafka-server-start.sh".  

• Убедитесь, что Kafka Broker запущен на порту 9092.  

• Используйте порт 9092 в приложении Spring Boot для взаимодействия с Kafka.  

• Используйте Spring Initializer для создания проекта Spring Boot.  

• Заполните информацию о проекте, включая тип проекта и язык.  

• Добавьте зависимости, включая "spring-kafka" для поддержки Kafka в Spring Boot.  

• Сгенерируйте проект Spring Boot в виде zip-файла.  

• Распакуйте zip-файл и откройте его в папке для работы.  

• Распакуйте zip-папку и откройте IntelliJ IDEA.  

• Выберите "Открыть" и перейдите в папку с загруженным приложением Spring Boot.  

• Импортируйте приложение и запустите его, чтобы убедиться в правильной работе.  

• Приложение Spring Boot запущено на встроенном сервере Tomcat через порт 8080.  

• Spring Boot упрощает настройку Kafka Producer и Consumer.  

• Spring Boot предоставляет конфигурацию для настройки Kafka без необходимости писать код конфигурации Java.  

• Обратитесь к официальной документации Spring Boot Kafka.  

• Без Spring Boot требуется много кода конфигурации для настройки Kafka.  

• Spring Boot упрощает настройку, предоставляя внешние свойства для конфигурации.  

• Перейдите в раздел ресурсов и откройте файл свойств application.properties.  

• Настройте адрес сервера Kafka Broker и группу потребителей.  

• Укажите идентификатор группы потребителей и смещение для потребителя.  

• Используйте свойства, предоставленные Spring Boot, для настройки Kafka Producer.  

• Настройте сервер Kafka Broker и класс сериализатора для ключа и значения.  

• Повторите процесс для настройки Kafka Producer с использованием тех же свойств.  

• Использование класса StringSerializer для сериализации ключа и значения в сообщении.  

• Настройка serializer для сериализации ключа и значения.  

• Spring Boot автоматически настраивает Kafka Producer и Consumer через внешние свойства.  

• Spring Boot предоставляет множество функций автоматической настройки.  

• Использование внешних свойств для настройки Kafka Producer и Consumer.  

• Запуск приложения Spring Boot и проверка работы конфигурации.  

• Создание темы в кластере Kafka для отправки сообщений.  

• Возможность создания любого количества тем в кластере Kafka.  

• Использование разделов по умолчанию в приложении Spring Boot.  

• Создание нового пакета и класса для конфигурации темы Kafka.  

• Добавление аннотации @Configuration для класса конфигурации.  

• Создание метода для создания темы с использованием класса TopicBuilder.  

• Создание пользователя Kafka для написания сообщений в тему.  

• Создание нового пакета и класса для производителя Kafka.  

• Написание кода для создания производителя Kafka, который пишет сообщения в тему.  

• Использование аннотации @Service для сервиса "производитель".  

• Применение шаблона Kafka из Spring Framework.  

• Внедрение шаблона Kafka через конструктор.  

• Создание метода sendMessage с аргументом типа String.  

• Использование метода send из шаблона Kafka.  

• Указание темы и сообщения в методе.  

• Использование логгера из библиотеки log4j.  

• Создание экземпляра логгера и регистрация сообщения.  

• Использование метода info для логирования.  

• Запуск приложения Spring Boot на сервере Tomcat.  

• Проверка свойств и значений по умолчанию Kafka.  

• Создание плагина Kafka для отправки сообщений.  

• Создание пакета controller и класса messageController.  

• Аннотирование класса с помощью @RestController и @RequestMapping.  

• Внедрение Kafka Producer через конструктор.  

• Создание метода publish с типом ответа String.  

• Использование аннотации @GetMapping и @RequestParam для получения параметров запроса.  

• Вызов метода sendMessage Kafka Producer и возврат ответа.  

• Создана простая конечная точка REST для публикации сообщений в тему Kafka.  

• Приложение Spring Boot запущено и работает на встроенном сервере шаблонов.  

• Проверка работы REST API через браузер и IDEA.  

• Переход на страницу быстрого запуска Kafka и создание темы.  

• Запись нескольких событий в тему с помощью Kafka Producer и REST API.  

• Использование команды для проверки наличия сообщений в теме Kafka.  

• Выполнение команды для чтения сообщений из темы Kafka.  

• Изменение названия темы для корректного отображения сообщений.  

• Чтение сообщений из темы Kafka с помощью командной строки.  

• Создание потребителя Kafka для получения сообщений из темы.  

• Использование аннотации @KafkaListener для подписки на тему.  

• Указание темы и идентификатора группы потребителей.  

• Установка регистратора для регистрации сообщений.  

• Запуск приложения Spring Boot и проверка работы потребителя Kafka.  

• Отправка сообщений в тему Kafka с помощью REST API и проверка их получения потребителем.  

• Kafka позволяет отправлять и получать сообщения в формате JSON.  

• В предыдущих лекциях использовались строковые сообщения.  

• В этой лекции будет настроена сериализация и десериализация JSON для Kafka.  

• Kafka хранит и передает данные в виде массива байтов.  

• Spring Kafka предоставляет JSON-сериализатор и JSON-десериализатор.  

• Эти классы позволяют преобразовывать объекты Java в JSON и обратно.  

• Для отправки объектов Java в Kafka используется JSON-сериализатор.  

• Для получения и преобразования JSON в объекты Java используется JSON-десериализатор.  

• В файле свойств application.properties настраиваются сериализаторы и десериализаторы для Kafka.  

• Используется JSON-десериализатор из библиотеки Spring Kafka.  

• Это позволяет потребителю Kafka преобразовывать JSON в объекты Java.  

• Используется JSON-сериализатор для преобразования объектов Java в JSON.  

• Это позволяет производителю Kafka записывать JSON в тему Kafka.  

• Настраивается свойство для десериализации всех классов из определенного пакета.  

• Это позволяет потребителю Kafka десериализовать все классы из указанного пакета.  

• Создается класс User для отправки и получения данных в Kafka.  

• Используются JSON-сериализатор и JSON-десериализатор для преобразования JSON в объекты Java и обратно.  

• В пакете payload создается класс User с переменными экземпляра.  

• Создаем приватные переменные и методы getter/setter.  

• Добавляем метод tostring для сериализации.  

• Создаем Kafka Producer для создания JSON-сообщений.  

• Добавляем аннотацию @Service для компонента Spring.  

• Настраиваем регистратор и шаблон Kafka.  

• Используем внедрение зависимостей на основе конструктора.  

• Создаем метод sendMessage для отправки JSON-сообщения.  

• Используем метод build для создания объекта Message.  

• Регистрируем пользовательский объект.  

• Запускаем приложение Spring Boot и проверяем работу Kafka Producer.  

• Создаем REST API для отправки JSON-объекта.  

• Используем аннотации для обработки HTTP POST-запросов.  

• Проверяем работу API с помощью Postman.  

• Создаем новую тему Kafka для JSON-сообщений.  

• Изменяем название темы в Kafka Producer.  

• Запускаем приложение Spring Boot для проверки работы новой темы.  

• Приложение Spring Boot запущено, встроенный сервер Tomcat подключен к порту 8080.  

• Отправка JSON-файла через REST API.  

• Создание темы Kafka для хранения сообщений в формате JSON.  

• Создание программы-потребителя Kafka для обработки JSON.  

• Использование аннотации @Service и создание метода consume.  

• Привязка метода consume к теме Kafka и регистрация пользовательского объекта.  

• Запуск приложения Spring Boot и проверка работы Kafka Consumer.  

• Отправка JSON-сообщений в тему Kafka и проверка их получения.  

• Использование классов сериализатора и десериализатора JSON из Spring Kafka.  

• Разработка проекта для демонстрации использования Spring Boot и Apache Kafka.  

• Считывание потоковых данных из Википедии и запись их в базу данных.  

• Архитектура проекта: Kafka Producer для чтения данных и Kafka Consumer для записи в базу данных.  

• Просмотр потоковых данных Википедии в режиме реального времени.  

• Использование REST API для извлечения последних изменений в Википедии.  

• Демонстрация пользовательского интерфейса, использующего потоковые данные Википедии.  

• Демонстрация отображения данных в реальном времени.  

• Пример использования HTML и JavaScript для создания пользовательского интерфейса.  

• Использование Apache Kafka для чтения и записи данных в базу данных.  

• Создание проекта Kafka Producer для чтения данных из Википедии.  

• Создание проекта Kafka Consumer для записи данных в базу данных.  

• Использование Kafka как системы обмена сообщениями между микросервисами.  

• Использование Spring Initializer для создания проекта Spring Boot.  

• Импорт проекта в IntelliJ IDEA.  

• Создание многомодульного проекта с использованием Maven.  

• Создание модуля Kafka Producer в рамках родительского проекта.  

• Преобразование модуля в проект Spring Boot.  

• Настройка свойств приложения для работы с Kafka.  

• Создание файла свойств приложения для настройки Kafka Producer.  

• Настройка сериализаторов ключей и значений для Kafka Producer.  

• Создание темы Kafka для хранения данных.  

• Добавление аннотации конфигурации для создания класса конфигурации Java.  

• Использование конструктора тем из пакета spring для создания объекта темы.  

• Настройка имени темы и разделов по умолчанию.  

• Создание файла application.properties и настройка классов key serializer и value serializer.  

• Упоминание URL-адреса брокера Kafka.  

• Создание темы Kafka под названием "недавние изменения в викимедиа".  

• Переход к следующей лекции для внедрения wikimedia kafka producer.  

• Переход в основной пакет и создание класса производителя.  

• Добавление аннотации "добавить сервис" для создания класса как корзины Spring.  

• Создание экземпляра регистратора и внедрение шаблона kafka.  

• Объявление шаблона kafka и использование внедрения зависимостей на основе конструктора.  

• Создание метода для считывания данных потока викимедиа в реальном времени.  

• Добавление зависимости для создания источника событий для чтения данных в режиме реального времени.  

• Добавление зависимостей для работы с JSON, включая jackson core и jackson data binding.  

• Решение проблемы с транзитивной зависимостью для http event source.  

• Добавление всех необходимых зависимостей в pom.xml.  

• Создание класса обработчика изменений викимедиа для обработки событий.  

• Реализация интерфейса обработчика событий и переопределение метода onmessage.  

• Создание параметризованного конструктора для класса обработчика и объявление шаблона kafka.  

• Запустите logger и передайте обработчику изменений classname wikimedia.  

• Добавьте инструкцию logger для регистрации сообщений.  

• Используйте шаблон Kafka для отправки событий в тему.  

• Создайте обработчик событий, который будет срабатывать при новых событиях в Википедии.  

• Внедрите метод onMessage для отправки сообщений в тему.  

• Вернитесь к классу producer и создайте объект обработчика событий.  

• Определите URL-адрес REST API для получения потоковых данных Википедии.  

• Создайте источник событий, который будет подключаться к источнику Википедии.  

• Запустите источник событий в отдельном потоке.  

• Обновите основной класс точки входа Spring Boot для запуска метода отправки сообщения.  

• Запустите приложение Spring Boot и проверьте работу производителя.  

• Убедитесь, что Kafka Broker и Zookeeper запущены на локальном компьютере.  

• Запустите приложение Spring Boot снова и проверьте работу производителя.  

• Проверьте журнал на наличие ошибок и исправьте конфигурацию Kafka.  

• Убедитесь, что данные о событиях извлекаются и отправляются в тему Kafka.  

• Проверьте, отправляет ли производитель потоковые данные в раздел Kafka.  

• Используйте командную строку для проверки данных в теме Kafka.  

• В следующей лекции будет создан пользователь Kafka для чтения данных в реальном времени.  

• Пользователь читает данные в реальном времени из темы Kafka.  

• Запускаем проект Spring Boot для проверки работы Kafka Producer.  

• Kafka Producer считывает данные из Википедии и записывает их в тему Kafka.  

• Kafka Consumer читает данные из темы Kafka и записывает их в базу данных MySQL.  

• Создаем новый модуль в проекте Spring Boot для Kafka Consumer.  

• Настраиваем модуль для работы с Kafka и MySQL.  

• Создаем файл свойств application.properties для настройки Kafka Consumer.  

• Указываем URL-адрес брокера Kafka и группу потребителей.  

• Настраиваем классы сериализатора для ключа и значения.  

• Создаем класс Kafka Consumer в проекте базы данных Kafka.  

• Добавляем аннотации для создания компонента Spring и создания экземпляра регистратора.  

• Реализуем метод consume с аннотацией @KafkaListener и указываем тему и идентификатор группы.  

• Регистрируем полученное сообщение с помощью экземпляра регистратора.  

• Внедрили Kafka Consumer для использования данных из темы Kafka.  

• Запустили проект Springboot для проверки работы Kafka Consumer.  

• В консоли увидели полученное сообщение о событии.  

• Запустили Kafka Producer для считывания данных из Википедии.  

• Параллельно запустили Kafka Consumer для получения данных.  

• В консоли видны логи событий для обоих приложений.  

• Настроили базу данных MySQL в проекте Springboot.  

• Создали базу данных MySQL с именем "викимедиа".  

• Добавили зависимости Spring Data JPA и драйвер MySQL JDBC.  

• Настроили URL-адрес источника данных JDBC.  

• Установили имя пользователя и пароль для базы данных.  

• Настроили режим гибернации с расширением MySQL8.  

• Настроили свойства для отображения сгенерированных SQL-инструкций.  

• Запустили приложение Springboot для проверки подключения к базе данных.  

• Успешное подключение к базе данных подтверждено.  

• На следующей лекции сохраним данные из Kafka в базу данных MySQL.  

• Создадим объект JPA для сохранения записей в таблице базы данных.  

• Перейдем к проекту базы данных Kafka Consumer и создадим пакет для сущностей.  

• Создаем класс с именем "вики-данные викимедиа".  

• Добавляем поля private long id и private string wiki event data.  

• Добавляем аннотации сущности и таблицы для JPA.  

• Даем название таблице "wikime_recent_changes".  

• Используем аннотацию add id для первичного ключа.  

• Применяем аннотацию @Lombok для создания методов getter и setter.  

• Создаем пакет "репозиторий" и интерфейс "репозиторий данных викимедиа".  

• Расширяем интерфейс от JPA и передаем тип сущности.  

• Создаем репозиторий Spring Data JPA для выполнения операций с базой данных.  

• Вводим JPA-репозиторий в класс Kafka Consumer.  

• Используем внедрение зависимостей на основе конструктора.  

• Вызываем метод сохранения для сохранения данных о событиях.  

• Запускаем проект Spring Boot Consumer для проверки работы Kafka Consumer.  

• Запускаем проект Kafka Producer для извлечения потоковых данных из викимедиа.  

• Проверяем логи и инструкции insert в базе данных MySQL.  

• Создали проект multimodule mine с двумя проектами Kafka Producer и Kafka Consumer.  

• Проект Kafka Producer читает потоковые данные из викимедиа и записывает их в тему Kafka.  

• Проект Kafka Consumer использует данные из темы Kafka и записывает их в базу данных MySQL.