Цель Luigi - решить все вопросы, связанные с длительным периодическим
процессом. Вы хотите связать много задач, автоматизировать их, и произойдут
сбои. Этими задачами могут быть все что угодно, но обычно это такие долго
выполняемые вещи, как задания Hadoop, выгрузка данных в / из баз данных,
запуск алгоритмов машинного обучения или что-то еще.

Существуют и другие программные пакеты, которые фокусируются на низкоуровневых
аспектах обработки данных, таких как Hive, Pig или Cascading. Луиджи не
является основой для их замены. Вместо этого он помогает объединить многие
задачи, где каждая задача может быть запросом Hive, заданием Hadoop в Java,
заданием Spark в Scala или Python, фрагментом Python, выгрузкой таблицы из
базы данных или чем-либо еще. Легко построить долговременные конвейеры,
которые содержат тысячи задач и занимают дни или недели. Луиджи много
заботится об управлении рабочим процессом, чтобы вы могли сосредоточиться на
самих задачах и их зависимостях.

Вы можете создать практически любую задачу, которую хотите, но Luigi также
поставляется с набором инструментов из нескольких распространенных шаблонов
задач, которые вы используете. Он включает поддержку выполнения заданий Python
mapreduce в Hadoop, а также заданий Hive и Pig. Он также поставляется с
абстракциями файловой системы для HDFS и локальными файлами, которые
обеспечивают атомарность всех операций файловой системы. Это важно, потому что
это означает, что ваш конвейер данных не потерпит крах в состоянии, содержащем
частичные данные.