Apache Airflow icon

Apache Airflow

Apache Airflow icon

Apache Airflow

  1
Бесплатное ПО Открытый код
Категории: Разработка
Платформы: Linux
Ссылки: Официальный сайт Twitter
Особенности:
etl python jobs workflow


Airflow - это платформа для программного создания, планирования и мониторинга
конвейеров данных.

Используйте Airflow для создания рабочих процессов в виде направленных
ациклических графов (DAG) задач. Планировщик Airflow выполняет ваши задачи на
массиве рабочих, следуя указанным зависимостям. Богатые утилиты командной
строки делают выполнение сложных операций на DAG проще простого. Богатый
пользовательский интерфейс позволяет легко визуализировать конвейеры,
работающие на производстве, отслеживать прогресс и устранять проблемы при
необходимости.

принципы

Динамический: конвейеры воздушного потока конфигурируются как код (Python),
что позволяет динамически генерировать конвейер. Это позволяет писать код,
который динамически создает экземпляры конвейеров.
Расширяемость. Простое определение собственных операторов, исполнителей и
расширение библиотеки таким образом, чтобы она соответствовала уровню
абстракции, подходящему для вашей среды.
Элегантный: воздушные трубопроводы скудные и четкие. Параметризация ваших
сценариев встроена в ядро ​​Airflow с использованием мощного движка шаблонов
Jinja.
Масштабируемость: Airflow имеет модульную архитектуру и использует очередь
сообщений для связи для организации произвольного числа рабочих. Воздушный
поток готов к масштабированию до бесконечности.

Аналоги (6):

  • RunDeck

    RunDeck - это сервис автоматизации с открытым исходным кодом с веб-консолью, инструментами командной строки и WebAPI.
      13
    Бесплатное ПО Открытый код
    Linux
    планирование задач server-management data-center-automation automation devops планирование работы автоматизация рабочего процесса system-administration configuration-management deployment it-infrastructure configuration
    Подробнее

  • Zenaton

    Набор инструментов разработчика для интеграции сторонних сервисов в их приложения с мониторингом и ...
      5
    Бесплатное ПО
    Web
    etl планирование задач jobs timeout-alerting php automated-tasks background-processing контейнерная оркестровка queues workflow триггеры рабочего процесса ruby automation-tool rubygems мониторинг в реальном времени error-reporting heroku message-queues обработка ошибок node.js автоматизация рабочего процесса автоматизация задач python планирование clever cloud интеграция api
    Подробнее

  • StackStorm

    StackStorm - это мощная платформа автоматизации с открытым исходным кодом, которая объединяет все ваши приложения ...
      1
    Бесплатное ПО Открытый код
    Linux
    automation rest api планирование работы автоматизация рабочего процесса ssh планирование
    Подробнее

  • Apache Oozie

    Apache Oozie Workflow Scheduler для Hadoop
      0
    Бесплатное ПО Открытый код
    Linux
    hadoop jobs workflow-tool
    Подробнее

  • Azkaban

    Azkaban - это планировщик пакетных заданий, созданный в LinkedIn для запуска заданий Hadoop.
      0
    Бесплатное ПО Открытый код
    Linux
    etl hadoop jobs workflow
    Подробнее

  • Luigi

    Luigi - это модуль Python, который помогает вам создавать сложные конвейеры пакетных заданий.
      0
    Бесплатное ПО Открытый код
    Linux
    etl
    Подробнее