Apache Airflow

1.

Apache Airflow

2.

Постановка задачи

3.

DAG (Directed Acyclic Graph) – ориентированный
(направленный) ациклический граф
Ключевые особенности:
- Отсутствие циклов
- Каждый узел имеет определенное направление (только одно)
- Возможность параллельных шагов
- Система является конечной

4.

Пример DAG
Примеры не DAG-ов
Наличие цикла:
Отсутствие направления:

5.

Примеры операторов
• PythonOperator: Выполняет заданную функцию на языке Python.
Используется для выполнения пользовательского кода или вызова
других функций.
• EmailOperator: Отправляет электронные письма. Применяется для
уведомлений или отправки отчетов.
• DummyOperator: Представляет собой пустую операцию без реальных
действий. Часто используется для создания связей между задачами
или для тестирования DAG.
• Трансфер операторы: операторы, для перемещения данных из одного
места в другое (пример: MySQLToGCSOperator)
• Сенсор операторы: группа операторов, задача которых заключается в
раегировании на определенное событие и передачу управления
дальше (пример: FileSensor)

6.

Аргументы DAG
dag_id это имя, оно будет в последствии отражаться в нашей админке
default_args это набор параметров которые будут применены к каждому Operator
start_date с какой даты мы бы хотели запустить наш пайплайн, например нам хочется чтобы он начал
работать со вчерашнего дня
schedule_interval интервал времени запуска, по факту это CRON выражение,
оно будет использоваться для генерации даты когда нужно запускаться