在规模上驱动业务价值的数据策略

当涉及到数据时，许多企业仍然存在脱节。人们对数据潜在价值的意识从未如此强烈，但企业仍在努力充分利用数据。企业拥有比以往任何时候都多的工具和能力，但却无法将信息转化为商业智能。数据被视为一种战略性资源，但许多组织还没有定义数据战略。

《哈佛商业评论》(Harvard Business Review)最近的一项研究发现，尽管如此，只有四分之一的公司认为他们能够有效地衡量和报告数据和分析投资的商业价值80%的人认为这很重要这样做。研究ceo们面临的问题普华永道还指出，商业领袖知道他们需要做出关键决策的数据与他们实际获得的数据的充分性之间存在着巨大的差距。

数据断开

随着时间的推移，风险似乎越来越大。“流感大流行推动了数字化和自助服务能力的发展，”德国Thoughtworks首席数据科学家兼数据主管艾米莉·戈尔森基（Emily Gorcenski）说。“以前，很多数据分析都是在走廊、水冷却器周围和早上的会议上进行的，因此更容易获得想法和概念的反馈。”188bet宝金博app下载

与此同时，Gorcenski补充道:“传统的数据工程和数据架构模式在很大程度上未能兑现大数据革命时的承诺。部分原因是这些集中的结构不能随着用例的数量而扩展。我们不受想象力的束缚。我们不受寻求洞察力的能力的限制。我们发现我们可以信任的高质量数据的能力有限。”

Thoughtworks印度技术主管Prasanna Pendse表示：“无论是政府还是其他服务，人们对数字频道的需求以及支持这一需求的数据基础设施都呈指数级增长。”。“它甚至在金融服务业大流行之前就开始了，监管机构对数据治理和信息的可追溯性进行了更严格的审查。人们看到数据功能没有扩展到他们所需要的，并意识到需要修复一些东西。”188bet宝金博app下载

我们这个时代最基本的技术变革之一——“合作竞争”的兴起，以及业务平台正在（准备就绪或未就绪）进入更广泛的生态系统.

Thoughtworks北美新兴技术总监Zhamak Dehghani表示：“我们看到了这种超融合，随着医疗保健等行业生态系统的迅速崛起，新冠病毒19已经在这些行业中引入了提供商、付费者和虚拟医疗保健技术之间的密切合作。”。“随着企业被拉入这些生态系统，共享数据变得更加重要和困难，因为它们必须跨越信任边界。即使管理自己的数据也是一项挑战，现在您需要超越特定企业界限的解决方案。”188bet宝金博app下载

这些压力使得能够快速访问和实验大量相关且可信的数据变得至关重要，而大多数企业仍然缺乏这种能力。

Dehghani指出：“半个世纪以来，我们一直处于大规模数据驱动的自举阶段——首先要大规模访问数据，以构建依赖数据的解决方案。”。“我总是在会议上看到这种情况——数据科学家是数据的主要用户，他们谈论这个模型或那个模型，然后在演讲结束时说：“但我们无法大规模地访问数据。”

Gorcenski说，在许多情况下，企业正在以艰难的方式认识到，“数据本身没有价值，除了你能用它做什么，以及你能从中采取什么行动之外。”。“这些决定需要人。在大流行之前，很容易将这一角色转移到数据分析师身上，让他们得出这些结论。但现在，更需要的是通过自助服务能力，让这些见解触手可及。”

有一条清晰的路径可以捕获数据的全部潜力。但这需要一定程度的技术和组织变革——同时，Gorcenski指出，还需要愿意去数据带你去的地方。

“数据应该不时挑战我们的假设和直觉，”她说。“如果没有，那就有问题了。如果我们只是凭直觉，为什么还要费心收集所有这些数据呢？我们需要让数据控制我们的命运，这可能很可怕——如果你不信任你的数据，你永远也不会这样做。为了信任你的数据，你需要一个清晰的r链责任感显示谁在生成、谁在处理、它意味着什么、它来自哪里、它在历史上和当前环境中的意义。所有这些都是必要的，可以让数据提出建议，并推动决策。”

i.到处都是数据湖(没有一滴可以喝)

未能达到这种信任状态的根源在于数据的历史轨迹。

Dehghani说:“我们必须挑战这样一个非常基本的假设，即任何公司或业务部门要从事数据驱动的实验，就必须获得集中的数据，才能从中获得任何意义。”“这种模式已经成为任何有意义的扩张方式的障碍。这将影响我们构建组织和团队的方式，并导致技术是如何自下而上构建的。”

倾向于集中化，以数据仓库后来数据的湖泊，表示不熟悉数据、数据来源或数据使用的团队集中创建并负责该数据。这导致了数据的封锁和部分真实性“在翻译过程中丢失”

典型的数据湖/组织结构

事实上，集中化将数据与经常生成数据且最需要数据的运营单位分离。Pendse说：“组织结构将数据团队置于一个角落。”。“是的，一切可能都会通过it进行，但从组织的角度来看，这些团队并没有很好地与增长优先级保持一致。这也是将这些团队定义为商业智能小组或类似的方式的一部分。这种心态是描述性分析，即‘告诉我发生了什么’。他说，很难转向预测性的、最终规定性的做事方式

这种运营模式本身也缺乏灵活性。Gorcenski说：“如果你有一个巨大的、中心的数据巨石，那么你如何使用它的任何改变都将成为一个巨大的项目。”。“数据就是对世界上正在发生的事情做出反应。你的数据会改变，而你希望您的数据需要改变，您需要新的客户和新市场，因此您需要构建一个能够应对变化和适应变化的结构。如果您有新的控制，那么实施这些控制只需最少的工作量。”

要从“拥有”数据转变为将其用作产品、个性化和更好的客户体验的基础，自由试验至关重要。单片数据体系结构可以使这成为一项艰巨的任务，扩大理论和行动之间的差距。Pendse解释说：“它有一个工具方面，它决定了决策所需的周期时间。”。“在许多传统公司，一个单一的实验需要六个月才能进行，而且可能只在某个有限的区域内进行，而不是与其他实验并行进行。”

2转向网格

商业案例很清楚:与其创建湖泊或竖井，组织应该追求一种更灵活的数据处理方法，让数据更接近与业务直接相关的部分。

这可以通过应用两个核心原则来实现——面向领域的数据和数据作为产品。面向领域的所有权和分发打破了围绕单个功能的数据体系结构，同时保持了总体连接性和完整性。将数据作为一种产品，而不仅仅是一种资源，成为一种消费和使用的乐趣。这些实践是为弹性和快速行动的数字业务设计的数据体系结构的基础：数据网格.

数据网格

Dehghani解释说:“Data Mesh着眼于无法大规模使用数据的根本原因，并试图解决这个问题。”“多年来，我们一直决定在特定的技术范围内，将数据这个大问题分解成整体解决方案和团队，但一直未能更快地发展或扩大实验规模。Data Mesh从运营世界中学习，在运营世界中，数字公司已经围绕领域分解了他们的业务，并继续使用数据，将控制权和主权交给最擅长生成和分享数据的人。这是一个自然的过程。”

Gorcenski指出，数据网格并不一定意味着集中式数据存储库将消失。“数据湖泊和数据仓库可能永远不会真正消失，”她说。“将要发生的事情，以及Data Mesh概念的全部内容，是将这些关注点划分为多个域。由域以消除瓶颈的方式将产品和基础架构解耦，但允许您创建有意义的数据产品。这不是为如何访问dat创建一个大模型a、 这是一个原则，即无论数据位于何处，都可以轻松访问数据，然后构建基础架构以支持这一点。”

分布式方法有许多内在的优点。其一是，它降低了将所有数据保存在一个篮子中的风险，当它被请求淹没或受到攻击时，可能会迅速成为单点故障。

Pendse指出：“如果你从防守的角度看，你的服务器因为需求太多而被关闭，实际上你自己的成功变成了坏消息。”。“你不仅会因为门关上而损失那些没有进来的钱，还会打开安全漏洞，从而产生其他风险。”

Dehghani解释说，通过将数据直接传递给团队，分发自然也使数据更容易获取，“将所有权交给理解数据并最适合控制数据的人。”“当然，你还必须让这些人在某种联合结构下相互交谈，因为你不会只从单个数据域获得价值。更高阶的智能是通过连接和关联来自不同领域的数据而产生的。”

将产品思维应用于数据是确保领域团队保持联系和激励共享的关键。Dehghani表示:“作为产品的数据与作为资产的数据有很大不同。“你怎么处理资产?”你收集和囤积它。对于产品来说，情况正好相反。你要分享这些数据，让这些数据的体验更令人愉悦，你需要更多的客户。”

Gorcenski补充道:“在典型的模型中，任何开发技术产品的人都是将数据作为副产品产生的。”“我们想要改变这一点，真正把数据看作是一种产品，在每一个阶段。当我们为我们的产品提供更深入的见解和更好的数据时，我们不能简单地将数据视为几个小交易比特的积累。数据不再是你系统工作时需要输入并生成输出,但当它,并生成数据集,反映现实你看到,你可以使用它来生成组织内的反馈循环,回答这样的问题:我们销售正确的事情吗?我们是否接触到了正确的消费者?我们是否在以正确的效率水平生产正确的产品?”

Dehghani指出，这需要开发“自助式”数据基础设施作为平台，将自治权转移给领域团队，并使不同的“池”数据能够根据需要以安全、兼容和分布式的方式访问和共享。

三、奠定技术基础

自服务平台将数据置于立即使用的位置，而不是像在数据湖中那样，在进行其他处理之前被动地存储和访问数据。Gorcenski解释道:“现代平台架构非常善于摆脱数据工程中出现的许多过程和噪音，使我们能够更接近数据，更快地获得这些见解。”这样的体系结构已经被证明是企业的一个强大的支持力量，可以让团队访问标准化的数据功能，这些功能可以组装起来创建不同的产品。

在开发数据平台时，企业不会总是从零开始。Dehghani指出，现有的云技术可以充当“实用层”，提供存储和流媒体功能和标准，在这些功能和标准的基础上构建更成熟的平台层，以支持与分布式体系结构和分散团队的交互。

她解释说，在大多数组织中，“实用程序稍后就会出现，但它的构建是为了假设数据将被集中化，并且在数据分发的编排中缺少一层技术。”。“如果您决定将数据的所有权交给不同的领域，而不是一个由超专业数据工程师组成的中心群体，那么您需要将平台的抽象程度提高到一个水平，让多面手开发人员也能够获得构建微服务或应用程序所需的分析数据要使通才能够生成有意义、有用的数据，需要工程承诺。”

数据平台模型

在网格中，“技术没有很大的不同，但你管理和查看数据的方式肯定会改变，”彭德斯说。

许多组织仍然认为存储是一种昂贵且有限的资源；必须不惜一切代价避免重复；创建一个新的数据存储库可能需要两三年的时间。但基础架构和实践的进步意味着在做出数据基础架构决策时，这些不应再成为企业的主要关注点。

“我们的思维模式必须转变为这样一个问题:要实现我的目标，什么是适合目的机制的?我如何以一种脱钩的方式创建它，以便优化我们的速度?”有了基础设施的加速、工具和自动化，你就可以快速构建一个新的数据领域，让它成为自助式的，甚至还可以添加访问控制等类似的东西。”“第一次可能需要几个月的时间，但之后可能只需要几分钟。”

4 .调整人员和战略

数据架构可能很复杂，但在变得更受数据驱动的道路上，最大的瓶颈不是技术或工程，而是文化和人员。

Pendse说：“事实是，人们关注数据，尤其是数据治理，他们的普遍反应是呻吟。”。“这被视为无聊、他们必须管理的事情，是一种负担。领导者可能相信这一点，但他们无法从团队中获得认同。这些观念必须改变，因此人们对数据感兴趣，想要使用和消费，并对其可能性感到兴奋。”

要做到这一点，“首先要有一个清晰而全面的数据策略”，Gorcenski说。“这需要通过一种文化来传达数据的含义，以及为什么它对组织有价值，无论是出于监管原因、过程控制，还是出于渴望，以创造更多的见解或创建更多的产品。它可能来自c级，但必须得到组织中所有关键角色的接受，甚至包括编写代码的人。”

定义数据的战略目的还可以方便地决定优先处理哪些数据和相关解决方案。Dehghani解释说：“我们总是建议反向工作——从你的赌注、你作为一家公司的战略目标开始，将它们转化为实际的用例和项目，然后确定你需要解锁这些用例的数据产品和数据集——它们来自何方，以及哪些团队拥有它们。”。

鼓励那些团队处理数据以正确的方式,激励结构可能也需要改变,以反映关注数据作为一个产品,测量值生成,或者经常被最终用户,而不是多少数据处理或生成。像这样的数据中心，以及失去控制，可能会让那些历史上数据的守护者或“所有者”感到不安，但Dehghani相信，他们可以很快被说服。

她解释说:“传统上负责数据平台的人自己也经常处于痛苦之中。”“他们一直被困在一种模式中，努力让客户满意，或让人们访问数据，从上游来源消费数据，而后者可能没有动机使其有意义或值得信任。你可以给他们一些工具，让他们知道他们不需要自己铺路，他们会因为使用数据产品的人数而得到回报。当这些人意识到电力数据必须优化业务、产品或应用，真正将智能嵌入到整个组织中时，就会有内在的激励。这就是他们成为解决方案的一部分的时候。”

“你需要在这样做的时候向人们展示你的利益——这不能只是一种强迫性的做法，”彭德斯同意。“例如，在我们安装了访问控制系统的一家银行，有人担心每个人都会对此感到愤怒，因为他们不再有那么多的数据访问权限，或者不需要获得获取数据的请求。但最终情况并非如此，因为新系统提供了一致的数据，响应能力更强，不像旧系统那样崩溃一个是这样的。人们被这个系统吸引，因为它起作用了。”

Gorcenski建议围绕各个部门或领域测试新的数据模型，这些部门或领域可以微调方法，并最终充当企业其他部门的“大使”。

她解释说：“你需要从小处着手，从中吸取经验教训，并有一个非常紧密的反馈周期，以找出哪些有效，哪些需要调整。”。“让这些团队自由地构建东西，绕过现有的变更管理政策。然后，你需要看看他们正在实现的目标，他们是否按照你的战略实现了这些目标，以及实现了哪些好处。找到合适的人成为冠军，并通过给他们时间和时间赋予他们权力ace开始进行更改，然后在组织内进行推广。”

v、 嵌入安全和治理

考虑到商业领袖仍然高度关注数据安全和治理方面的任何潜在弱点，允许所有这些自由似乎是有问题的。权力下放可能被视为有风险的，因为它删除了一个单一的网关或控制点。

cio /IT领导人最关心的数据安全问题

但根据Thoughtworks专家188bet宝金博app下载的说法，将数据分发到更接近团队的地方实际上会产生积极的治理影响。Pendse指出：“在传统方法中，数据治理工具由于其集中的性质，在数据性能和流程长度方面存在问题。”。“有了网格，这些数据就消失了，人们会觉得更有效率。它通过对实际创建数据的人提供更精确的控制，提高了生产者的质量，这些人最了解数据，因此从法规遵从性的角度来看，他们标记数据的方式的准确性提高了。它还通过提供数据来提高消费者的质量控制他们希望如何使用数据，而不必怀疑数据是否是它所声称的。”

Dehghani看到了从数据中心到云计算所采用的安全和治理方法的明显相似之处，在云计算中，从边界和“围墙花园”过渡到零信任架构，在这种架构中，所有东西本质上都是开放的，但每个端点都有内置的安全，每个演员的身份都要不断核实。

“同样的道理也适用于这里，”她说。“在过去，有一个单一的、集中的机构负责数据的安全、可用和建模，它变成了官僚主义，相当功能失调的单位，阻碍了创新，也不能真正地保护数据。与之相反的是，治理功能变成了一个联合，因为一旦你分散了所有权，那些所有者就有责任执行数据管理策略，并为这些策略做出贡献。与此同时，重要的是你也要拥有非常非常强大的平台和自动化元素。”

Gorcenski指出：“治理应该是一种授权，而不是一种限制性的力量。”。“许多公司将隐私、法规遵从性和安全性视为成本中心，而不是价值驱动因素，我们非常专注于确保数据的法规遵从性和安全性，以至于我们没有考虑到这会产生什么影响以及我们会阻止人们做些什么。我们需要从这样一个理念开始：是的，法规遵从性是一个挑战，但也存在一些问题我们有很好的工具，我们可以设计我们的系统，使之符合法规并建立信任，这将使我们的团队能够自由地构建更好的产品。您不仅需要培训数据人员，还需要培训所有使用数据的人，以便能够发现这些问题，并有一个论坛，让他们能够提出问题并获得答案。构建g组织内的数据隐私文化至关重要。”

她补充道：“如果你的风险管理策略只是永远不承担风险，那么你当然可以侥幸逃脱。”。“但你不会创新，也不会认识到数据的价值。”

六、解决数据人才短缺问题

在围绕数据实施安全和其他政策时，企业常常担心缺乏专业知识——事实上，研究表明，对数据技能的需求继续超过供应。



然而，正如Gorcenski指出的那样，公司往往“坐拥他们没有意识到自己拥有的数据人才”——这些人可能对数据有浓厚的兴趣，但由于这些任务不属于他们的正式角色，他们被阻止与系统交互或与开发人员合作。

企业最大的技术技能短缺

她说道:“数据网格概念是关于将责任更多地联合到领域团队中，让人们在这些沙箱环境中体验，并给予他们访问权限。“你会对他们想出的结果感到惊讶。我们只需要让人们对数据系统有更多的亲身体验，去神秘化它们，让它们不那么可怕，不那么受到严格控制。现在创建新环境很容易——让我们就这么做，让人们来玩。可以破坏测试环境。这就是它们的作用。”

彭德斯指出，与竞相招聘新的数据专家相比，培训现有人才或培养现有人才的努力往往能带来更多的投资回报。他解释道:“数据工程与应用程序开发有着不同的思维方式，但它并非不可逾越。”“你只需要一些导师给你指路，通过一些培训，犯一些错误，最终你会变得很好。培训一些作为应用程序开发人员进入数据工程领域的人对我们很有帮助。”

同样的,数据科学“这不是火箭科学，”他补充道。“我们过去一直在寻找拥有博士学位的人，但在技能设置水平上，你需要做什么的基本要素实际上来自大学水平的数学，因此我们正在研究如何利用应届毕业生更进一步。”

最终，Dehghani相信，数据平台的发展将掩盖复杂性，以至于对专业数据技能的需求将减少，而数据科学的进步将减少公司需要从头开始建模的数量。

“将有许多可重用的模型，只需要进行自定义和定制，以了解您业务的数据。如果您具有平台功能，可以使用不同的数据集快速训练这些模型并观察其行为，这将成为一种通用的工程实践，与任何其他工程问题一样得到解决。”她说。“这将有助于动员更多的工程师和从业者，而不是试图创建更专业的数据科学家。在不侮辱专家的情况下，我希望随着越来越多的人开发数据能力，甚至数据工程师的标签也会消失，而意外复杂性的抽象将使-以及更广泛的员工群体的交叉技能。这就是数据平台，数据丰富的范例。”

7准备好勇敢的新方法

新兴平台范式远不是企业未来如何应对数据挑战的唯一乐观理由。

Dehghani说：“想要实现技术和数据更民主化的人和现在掌握权力的人之间当然会有一场战斗。”。“但我已经看到了技术的发展，正在与不同的硬件供应商讨论下一种计算模式，以适应分散的大型数据集。我非常希望我们将拥有下一代技术，真正扭转数据问题，并以与过去完全不同的方式解决它在数据网格和企业如何应用数据网格方面，业界的ponse表现出了压倒性的积极性。”

Pendse表示，虽然重点往往放在软件和服务上，但许多令人振奋的最新发展都集中在硬件方面。他说：“计算机的整个结构正在发生变化，采用了适合用途的芯片设计。”。“还有一些发展，如非钱包IO内存，这基本上意味着如果你关闭计算机，你的RAM不会消失——换句话说，持久内存。如果应用程序即使在服务器关闭时也是持久的，那么数据库的概念会发生什么变化？”

与此同时，Gorcenski也看到了物联网(IoT)领域尚未开发的海量数据的巨大潜力，以及企业努力用数据做真正的新事情，而不是模仿谷歌或Facebook等杰出公司的方法。

她说：“我们需要研究如何利用数据扰乱我们自己的行业，不是做谷歌正在做的事情，而是做以前没有人做过的事情。”。“我们需要停止将其他企业视为生活在不同世界中的企业，开始将它们视为潜在的合作伙伴，寻找通过数据相互补充的方法。在许多情况下，合作创造了比竞争更好的商业生态系统。认识到这些好处需要敢于挑战和复杂工作的大胆思考者这不会在一个季度或一年内发生，但肯定是可能的。未解决的数据问题比已解决的问题多。”