Digdag

Digdag是一种用于构建、运行、调度和监控云中的复杂数据管道的工具。您可以使用丰富的开箱即用操作符集或通过API构建自己的操作符集，在YAML中定义这些管道。Digdag拥有数据管道解决方案中的大多数常见特性，如依赖项管理、促进重用的模块化工作流、安全的秘密管理和多语言支持。我们最感兴趣的特性是多云支持，它可以让你在AWS RedShift、S3和谷歌之间移动和连接数据BigQuery．随着越来越多的云提供商提供相互竞争的数据处理解决方案，我们认为Digdag(和类似的工具)将有助于为这项任务提供最佳选择。