Similar presentations:
Обзор инструмента Apache Airflow
1.
ОБЗОР ПЛАТФОРМЫ ОРКЕСТРАЦИИApache Airflow
Программная оркестрация сложных пайплайнов данных и рабочих
процессов
Актуальная ветка 3.x • Workflows as Code
2.
Стандарт индустрии Data EngineeringАКТУАЛЬНЫЙ РЕЛИЗ ПЛАТФОРМЫ
3.4.0
Релиз ноября 2026 года; поддержка ветки 2.x завершена в апреле 2026 года
3.
Оркестрация как программный кодОткрытая платформа для разработки, планирования и мониторинга
рабочих процессов.
Workflows as Code: Пайплайны описываются на чистом Python.
Контроль версий: Работа через Git, ревью и CI/CD.
Модульное тестирование: Проверка логики графов до запуска.
4.
РАЗДЕЛ 01Ключевые концепции
Базовые строительные блоки пайплайнов в Airflow
5.
Фундамент графа задач01
DAG
Направленный граф без циклов.
02
Tasks
Атомарные шаги выполнения
пайплайна.
03
Dependencies
Строгий порядок запуска задач.
6.
Типы операторов и сенсоровBashOperator
PythonOperator
Запуск системных скриптов сервера.
Выполнение функций на Python.
SQL и облака
Sensors
Интеграция с облачными DWH.
Ожидание появления внешних событий.
7.
Управление данными и событиямиДАТА-ОРИЕНТИРОВАННЫЙ ПОДХОД
Assets (ранее Datasets)
МЕЖЗАДАЧНАЯ КОММУНИКАЦИЯ
Механизм XCom
Реактивный запуск: Старт после обновления набора данных.
Лёгкие метаданные: Передача путей к файлам и ID.
Внешние события: Поддержка очередей вроде AWS SQS.
Изоляция объёма: Не предназначен для больших массивов.
Декоратор @asset: Упрощённое описание потоков данных.
Автоматизация: Скрытая связка в TaskFlow API.
8.
Современный синтаксис TaskFlow APIfrom datetime import datetime from airflow.sdk import dag, task @dag(dag_id="sales_etl",
schedule="@daily", start_date=datetime(2026, 1, 1), catchup=False) def sales_pipeline(): @task() def
schedule="@daily", start_date=datetime(2026, 1, 1), catchup=False) def sales_pipeline(): @task() def
extract() -> list[dict]: return [{"amount": 1200}, {"amount": 850}] @task() def transform(orders:
extract()
return
[{"amount": 1200},
850}]def
@task()
def transform(orders:
list[dict]) ->
-> list[dict]:
int: return
sum(x["amount"]
for x in{"amount":
orders) @task()
load(revenue:
int) -> None:
list[dict])
-> int: return
sum(x["amount"]
x in orders) @task() def load(revenue: int) -> None:
print(f"Выручка
загружена:
{revenue}") for
load(transform(extract()))
print(f"Выручка загружена: {revenue}") load(transform(extract()))
Декораторы Python: Обычные функции
превращаются в задачи через @task.
Неявный XCom: Зависимости строятся при передаче
аргументов.
Чистый код: Минимум шаблонного кода
операторов.
9.
РАЗДЕЛ 02Архитектура платформы
Распределённые компоненты и модель безопасности Airflow 3
10.
Компоненты продакшен-кластераЭТАП 1
ЭТАП 2
ШЛЮЗ 3.X
DAG Processor
Scheduler
API Server
Синхронизация Git и парсинг
кода.
Расписание и постановка в
очередь.
Изолированный Task Execution
API.
ЭТАП 4
Workers & DB
Исполнение и хранение в
PostgreSQL.
Ключевое изменение Airflow 3: Воркеры больше не обращаются к PostgreSQL напрямую — всё идёт через API Server.
11.
Ядро управления в Airflow 31. Standalone DAG Processor: Парсинг Python-файлов вынесен в отдельный процесс для
отказоустойчивости.
2. Scheduler: Отслеживает расписания и триггеры, отправляя задачи в исполнители.
3.
Task Execution API: Изолирует базу метаданных от внешнего кода воркеров.
4. Мультиязычные воркеры: Поддержка запуска задач на Python, Go и Java.
12.
Новый интерфейс на React и FastAPIСовременный стек: Интерфейс полностью переписан на React и
FastAPI.
Контроль исполнения: Визуализация графов, логов и перезапуск
задач.
Панель Assets: Наглядная карта зависимостей наборов данных.
13.
Механизмы запуска задачLocalExecutor
CeleryExecutor
Параллельный запуск внутри сервера.
Распределённая очередь рабочих воркеров.
KubernetesExecutor
EdgeExecutor
Изолированный Pod под задачу.
Запуск на удалённых узлах.
14.
Профили масштабирования Executors15.
РАЗДЕЛ 03Новое в Airflow 3.x
Ключевые возможности нового поколения платформы
16.
Три прорыва ветки Airflow 31
DAG Versioning
Фиксация кода при запуске.
2
3
Управляемые Backfills
Human-in-the-loop
Перезапуск истории из интерфейса.
Встроенные шаги ручного
согласования.
17.
ПРИНЦИП ПРОЕКТИРОВАНИЯ«Airflow — это оркестратор, а не вычислительный движок»
Делегируйте тяжёлую обработку внешним системам: Apache Spark, dbt, ClickHouse и Snowflake
18.
Airflow и современные альтернативыКритерий
Apache Airflow
Prefect
Dagster
Парадигма
Граф задач + Assets
Динамические потоки
Акцент на Assets
Инфраструктура
БД, планировщик, воркеры
Быстрый гибридный старт
Локальная типизация
Экосистема
Сотни готовых провайдеров
Активное развитие
Сильная связка с dbt
Сценарий
Корпоративный ETL/ELT
Python-автоматизация
Data Mesh и качество
19.
Оптимальные сценарии примененияКорпоративный ETL/ELT: Сложные зависимости десятков источников
данных.
Мультиоблачность: Единая оркестрация AWS, GCP и локальных
серверов.
Зрелая экосистема: Готовые операторы под любые СУБД и сервисы.
Аудит и контроль: Прозрачная история запусков и версий графов.
20.
СПАСИБО ЗА ВНИМАНИЕВопросы и обсуждение
Apache Airflow 3.x — надёжный фундамент современной платформы данных
21.
Image Sourceshttps://www.hanwhadatacenters.com/wp-content/uploads/2025/11/image3-9.png
Source: www.hanwhadatacenters.com
https://media.easy-peasy.ai/093d47e2-a0c3-4ad4-97a4-42fb633daefe/3071075b-7949-4f10-a6ed-e945652b1ad7_medium.webp
Source: easy-peasy.ai
https://media.geeksforgeeks.org/wp-content/uploads/20260918120904225630/frame_3841.webp
Source: www.geeksforgeeks.org