Luigi icon

Luigi

Luigi icon

Luigi

  0
Бесплатное ПО Открытый код
Категории:
Платформы: Linux
Ссылки: Официальный сайт
Особенности:
etl


Цель Luigi - решить все вопросы, связанные с длительным периодическим
процессом. Вы хотите связать много задач, автоматизировать их, и произойдут
сбои. Этими задачами могут быть все что угодно, но обычно это такие долго
выполняемые вещи, как задания Hadoop, выгрузка данных в / из баз данных,
запуск алгоритмов машинного обучения или что-то еще.

Существуют и другие программные пакеты, которые фокусируются на низкоуровневых
аспектах обработки данных, таких как Hive, Pig или Cascading. Луиджи не
является основой для их замены. Вместо этого он помогает объединить многие
задачи, где каждая задача может быть запросом Hive, заданием Hadoop в Java,
заданием Spark в Scala или Python, фрагментом Python, выгрузкой таблицы из
базы данных или чем-либо еще. Легко построить долговременные конвейеры,
которые содержат тысячи задач и занимают дни или недели. Луиджи много
заботится об управлении рабочим процессом, чтобы вы могли сосредоточиться на
самих задачах и их зависимостях.

Вы можете создать практически любую задачу, которую хотите, но Luigi также
поставляется с набором инструментов из нескольких распространенных шаблонов
задач, которые вы используете. Он включает поддержку выполнения заданий Python
mapreduce в Hadoop, а также заданий Hive и Pig. Он также поставляется с
абстракциями файловой системы для HDFS и локальными файлами, которые
обеспечивают атомарность всех операций файловой системы. Это важно, потому что
это означает, что ваш конвейер данных не потерпит крах в состоянии, содержащем
частичные данные.

Аналоги (5):

  • Zenaton

    Набор инструментов разработчика для интеграции сторонних сервисов в их приложения с мониторингом и ...
      5
    Бесплатное ПО
    Web
    etl планирование задач jobs timeout-alerting php automated-tasks background-processing контейнерная оркестровка queues workflow триггеры рабочего процесса ruby automation-tool rubygems мониторинг в реальном времени error-reporting heroku message-queues обработка ошибок node.js автоматизация рабочего процесса автоматизация задач python планирование clever cloud интеграция api
    Подробнее

  • Apache Airflow

    Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
      1
    Бесплатное ПО Открытый код
    Linux
    etl python jobs workflow
    Подробнее

  • StackStorm

    StackStorm - это мощная платформа автоматизации с открытым исходным кодом, которая объединяет все ваши приложения ...
      1
    Бесплатное ПО Открытый код
    Linux
    automation rest api планирование работы автоматизация рабочего процесса ssh планирование
    Подробнее

  • Apache Oozie

    Apache Oozie Workflow Scheduler для Hadoop
      0
    Бесплатное ПО Открытый код
    Linux
    hadoop jobs workflow-tool
    Подробнее

  • Azkaban

    Azkaban - это планировщик пакетных заданий, созданный в LinkedIn для запуска заданий Hadoop.
      0
    Бесплатное ПО Открытый код
    Linux
    etl hadoop jobs workflow
    Подробнее