数据网格

我们越来越多地看到，数据驱动的组织想要实现的目标与当前的数据架构和组织结构所允许的目标之间不匹配。企业希望将数据驱动的决策、机器学习和分析嵌入到产品和服务的许多方面，以及如何在内部运作;从本质上讲，他们希望用数据驱动的智能来增强其运营领域的每一个方面。然而，在将分析数据、访问数据以及如何管理数据嵌入到业务领域和操作中之前，我们仍有一段路要走。今天，管理分析数据的每一个方面都被外部化到操作业务领域之外的数据团队和数据管理的整体:数据湖和数据仓库。数据网格是一种去中心化的社会技术方法，以消除分析数据和业务操作的二分法。它的目标是将共享和使用分析数据嵌入到每个操作业务领域，并缩小操作面和分析面之间的差距。它建立在四个原则之上:域数据所有权、数据作为产品、自助数据平台和计算联合治理。

我们的团队一直在实施数据网格体系结构；他们创建了新的架构抽象，如数据产品量子，将代码、数据和策略封装为嵌入到操作领域的独立分析数据共享单元;他们已经建立了自助数据平台功能，以声明式的方式管理数据产品量程的生命周期，如数据网格。尽管我们的技术进步，我们仍然遇到使用现有技术在数据网格拓扑中摩擦，更不用说业务域的阻力，将分享和使用数据作为某些组织中的一流责任。

数据网格标志着我们如何管理大分析数据的欢迎架构和组织范式转变。范例是在四个原则上创立的：（1）面向域的数据所有权和架构的权力下放;（2）面向域的数据作为产品;（3）自助数据基础架构作为启用自主，面向域的数据团队的平台;（4）联合治理，以实现生态系统和互操作性。虽然原则是直观的，并且试图解决以前的集中分析数据管理的许多已知挑战，但它们超越了可用的分析数据技术。在现有工具顶部构建数据网格后，我们学习了两件事：（a）开源或商业工具存在很大的差距，以加速数据网格的实现（例如，实现通用访问模型的实现我们目前为客户自定义的基于时间的Polyglot数据）和（b）尽管差距，使用现有技术作为基本构建块是可行的。

当然，技术适合度是实现组织基于数据网格的数据策略的主要组成部分。然而，要想成功，需要进行组织重组，分离数据平台团队，为每个领域创建数据产品所有者的角色，并引入必要的激励结构，使各领域拥有并共享其分析数据作为产品。

数据网格是一个架构和组织范式，挑战了我们必须集中到使用它的大分析数据的古老假设，可以在一个地方进行数据，或者由集中数据团队管理以提供价值。数据网消息声称，对于燃料创新的大数据，其所有权必须联合在域数据所有者之间，该数据所有者是负责任的，该数据所有者是为产品提供数据的（通过支持自助数据平台，以摘要提供服务数据产品所涉及的技术复杂性）;它还必须通过自动化采用新形式的联合治理，以实现面向域的数据产品的互操作性。分权，以及互操作性和专注于数据消费者的经验，是使用数据的创新民主化的关键。

如果您的组织拥有大量具有众多系统和团队的域以及生成数据或多样化的数据驱动用例和访问模式，我们建议您评估数据网格。数据网格的实现需要投资构建自助数据平台，并拥有域的组织变更，以承担其数据产品的长期所有权，以及奖励域作为产品的奖励域的激励结构。

数据网格是一个架构范式，可在规模上解锁分析数据;快速解锁对越来越多的分布式域数据集的访问，用于消费方案的扩散，例如整个组织的机器学习，分析或数据密集型应用程序。数据网格地址传统集中式的常见故障模式数据湖或者是数据平台架构，从集中式的湖泊模式，或者它的前身，数据仓库，转变而来。数据网格转变为借鉴现代分布式体系结构的范式:将领域视为首要关注点，应用平台思维创建自助数据基础设施，将数据视为产品，并实现开放标准化，以实现可互操作的分布式数据产品生态系统。