空气流动

近年来，我们已经看到了通用和特定于域的工作流管理工具的兴起。这种上升背后的驱动程序包括增加数据处理管道的使用和机器学习（ML）模型开发过程的自动化。空气流动是早期开源任务编排工具之一，它将定向的非循环图（DAG）定义为代码，通过XML / YAML管道配置的改进。虽然Airflow仍然是最广泛采用的编排工具之一，但我们鼓励您根据您独特的情况来评估其他工具。例如，您可能想要选择长官，它支持动态数据处理任务作为具有通用Python函数作为任务的一流关注;或者阿尔戈如果您更喜欢与Kubernetes的紧密集成;或者Kubeflow.或者mlflow.对于ML特定的工作流程。鉴于新工具的兴起，结合了一些气流的短缺（例如缺乏对动态工作流的原生支持以及调度管道的集中方法），我们不再推荐将气流作为默认的Orchestration工具。

我们认为，随着分析和数据流水线的流媒体的使用增加，以及通过A管理数据分散数据网格，减少了用于定义和管理复杂数据处理管道的编排工具的需求。

空气流动仍然是我们使用的最广泛使用的和最喜欢的开源工作流程管理工具，用于数据处理管道，如针对非循环图（DAG）。这是一个带有开源工具的不断增长的空间，如Luigi.和阿尔戈和供应商特定的工具，如Azure数据厂或者AWS数据管道。但是，Airflow将本身与其在有限的低码配置文件上的工作流程定义，支持自动化测试，开源和多平台安装，丰富的集成点到数据生态系统和大型社区支持。在分散的数据架构中如数据网格但是，Airflow目前作为集中式工作流编号缩短。

空气流动是以编程方式创建，计划和监视数据管道的工具。通过将定向的无循环图（DAG）视为代码，它鼓励可维护，可版本和可测试的数据管道。我们已经利用了我们的项目中的这种配置来创建导致瘦和显式数据工作流程的动态管道。Airflow可以轻松定义操作员和执行者并扩展库，使其适合适合您环境的抽象级别。