Dagster

Dagster是一个用于机器学习、分析和普通ETL数据管道的开源数据编排框架。与其他任务驱动框架不同，Dagster意识到数据在管道中流动，并能够提供类型安全。有了这种管道和资产生产的统一视图，Dagster可以安排和协调熊猫，火花， SQL或Python可以调用的任何东西。这个框架相对较新，我们建议您评估它对您的数据管道的功能。