编排的Azure数据厂

Azure数据厂（ADF）目前是Azure的默认产品，用于协调数据处理管道。它支持数据摄取，从AP或Azure上的不同存储类型和执行转换逻辑。虽然我们对ADF进行了合理的经验，但从在Prem到云上简单地迁移数据商店，我们劝阻使用编排的Azure数据厂复杂数据处理管道。由于几个因素，我们的经验一直在具有挑战性，包括首先通过编码实施的能力有限的能力覆盖，因为似乎ADF正在优先考虑启用低码平台能力第一;不良的调试和错误报告;随着ADF Logging功能的可观察性有限，不会与Azure Data Lake存储或DataBroks等其他产品集成，使得难以获得最终的可观察性;数据源触发机制的可用性仅适用于某些区域。此时，我们鼓励使用其他开源管理工具（例如，空气流动）对于复杂的数据流水线和限制ADF，用于数据复制或快照。我们希望ADF将解决这些问题，以支持更复杂的数据处理工作流程，并首先通过代码对能力进行优先级。