Kafka

1. Kafka & redis

KAFKA
&
REDIS
Основы функционала

2. Сейчас объясню, что такое Kafka, простым языком

■ Представьте себе, что у вас есть несколько источников информации
— например, веб-сайт, мобильное приложение, датчики
температуры — и все они производят данные. Эти данные нужно
где-то собирать и передавать другим приложениям, чтобы они
могли их обрабатывать.
■ Вот тут и приходит на помощь Kafka.
■ Kafka — это как большая, надёжная почтовая система для данных.

3.

Производители (Producers) - это те, кто отправляют данные, как люди,
пишущие письма. Например, ваш веб-сайт, который сообщает о
каждом клике пользователя.
Темы (Topics) - это как папки в почтовом ящике, где эти данные
сортируются по категориям. Например, тема "Клики пользователей",
тема "Покупки", тема "Датчики температуры".
Потребители (Consumers) - это те, кто получают и обрабатывают данные,
как почтальоны, забирающие письма из ящиков. Например,
приложение, которое анализирует клики пользователей, чтобы показать
вам рекламу.

4. КАК ЭТО РАБОТАЕТ?

Производитель отправляет данные в определённую тему. Kafka надёжно сохраняет эти
данные в темах. Потребитель "подписывается" на тему и получает все новые данные,
которые в ней появляются.
Простой пример:
Представьте, что у вас есть интернет-магазин.
Когда клиент делает заказ, производитель (например, ваш веб-сайт) отправляет данные о
заказе в тему "Заказы".
Потребитель 1 (например, система складского учёта) получает данные из темы "Заказы" и
списывает товары со склада.
Потребитель 2 (например, система доставки) получает данные из темы "Заказы" и
отправляет курьера за заказом.
Потребитель 3 (например, система аналитики) получает данные из темы "Заказы" для
анализа продаж.
Всё это происходит практически в реальном времени.

5. Немного о форматах KAFKA

Форматы:
String Обычный текст (UTF-8)
JSON Текстовый JSON (популярен, но без схемы возможны проблемы совместимости)
XML Редко используется из-за избыточности
Форматы для Kafka Connect
JSON Schema - JSON с явной схемой (альтернатива Avro для текстовых данных).
Avro - Стандартный выбор для коннекторов (Debezium, JDBC и др.).
Protobuf - Поддержка в некоторых коннекторах (например, GCP Pub/Sub).
Специальные форматы:
Bytes - "Сырые" байты (например, для изображений или аудио).
Delimited - CSV, TSV (разделители — запятые, табы).
Regex - Разбор данных через регулярные выражения (редко).

6. КАКИЕ ПРЕИМУЩЕСТВА У KAFKA?

Надёжность: Kafka сохраняет данные, даже если некоторые
приложения временно недоступны.
Масштабируемость: Kafka может обрабатывать огромные
объёмы данных.
Распределённость: Kafka работает на нескольких серверах, что
обеспечивает устойчивость к сбоям.
Если говорить совсем просто: Kafka помогает разным частям
вашей системы общаться друг с другом, обмениваясь
данными, и делает это надёжно и эффективно.

7. Теперь поговорим про Redis

■