Airflow - это платформа для программного создания, планирования и мониторинга
конвейеров данных.

Используйте Airflow для создания рабочих процессов в виде направленных
ациклических графов (DAG) задач. Планировщик Airflow выполняет ваши задачи на
массиве рабочих, следуя указанным зависимостям. Богатые утилиты командной
строки делают выполнение сложных операций на DAG проще простого. Богатый
пользовательский интерфейс позволяет легко визуализировать конвейеры,
работающие на производстве, отслеживать прогресс и устранять проблемы при
необходимости.

принципы

Динамический: конвейеры воздушного потока конфигурируются как код (Python),
что позволяет динамически генерировать конвейер. Это позволяет писать код,
который динамически создает экземпляры конвейеров.
Расширяемость. Простое определение собственных операторов, исполнителей и
расширение библиотеки таким образом, чтобы она соответствовала уровню
абстракции, подходящему для вашей среды.
Элегантный: воздушные трубопроводы скудные и четкие. Параметризация ваших
сценариев встроена в ядро ​​Airflow с использованием мощного движка шаблонов
Jinja.
Масштабируемость: Airflow имеет модульную архитектуру и использует очередь
сообщений для связи для организации произвольного числа рабочих. Воздушный
поток готов к масштабированию до бесконечности.