如何成功实现数据治理

如果你处理过大量数据，你也许听说过 “数据治理”一词，你可能会想， 它是什么？适不适合你？如何实施？简单来说， 数据治理就是处理数据的策略——如何存储、访问、验证、保护和使用数据。数据治理包括制定获取方案：谁能访问、使用和共享你的数据。

这些问题正变得越来越重要， 因为企业依靠收集、存储和分析大量数据，来达成业务目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法律纠纷，还会令消费者对公司的核心业务失去信心。

如果心存侥幸，全凭各个部门自行处理数据，那么你将缺乏统一管理数据的策略，也许会让各个部门制定自己的策略。这是无法想象的，就像是缺乏管理实物库存的策略，允许各个实体部门随心所欲地生产、储存和销售产品一样。数据使用不当就像库存使用不当一样，会给企业造成数百万美元的损失，因此 必须制定策略，使数据具有一致性和安全性，并随时可用。这些应用于数据领域的策略就构成了数据治理。

数据治理的特点

数据治理策略必须涵盖 数据的整个生命周期，从数据收集一直到数据管护。在这个生命周期中，数据治理必须解决以下问题：

· 从哪里获取数据以及如何获取，这是数据生命周期的起点。数据来源决定了数据治理策略的基础。例如，数据来源所决定的一个重要因素是数据集的大小。是从目标市场、现有客户和社交媒体收集数据？还是使用外部供应商收集数据或者分析你收集的数据？输入数据流是什么？数据治理必须着眼于这些问题，制定策略来管理数据的采集，引导外部供应商处理他们收集的数据或者分析你收集的数据，控制数据的路径和生命周期。

· 验证数据，尤其是验证多来源数据，这是一个让数据管理者十分头疼的问题。区分重要数据和噪声数据只是这个问题的开始。如果你是从附属企业收集数据，你必须确保数据是可靠的。如果你是从社交媒体网站收集数据，在你的策略中，必须有一种验证重要数据的方法。任何情况下，你都必须确保收集的数据是合法的，并且没有被篡改——这个问题在并行计算环境中尤其令人担心，因为并行计算常常被用来收集大量数据，这往往会使用云服务，故而增加了安全隐患。

· 数据治理策略必须解决存储问题，而存储方案在很大程度上取决于数据集的大小。以PB计的大数据必须存储在安全的冗余系统中，常常利用层次体系，根据使用频率来提供数据。这样一来，昂贵的在线系统提供的是被频繁请求的数据，而请求频率较低的数据则存储在不那么昂贵、可用率较低的系统上。不幸的是，这些优先级较低的系统也可能安全性较低，从而允许访问敏感但请求频率低的数据。因此，在制定数据存储方案时，良好的数据治理策略必须考虑到方方面面的因素。

· 数据治理必须制定访问控制策略，在需求和安全之间找到平衡。要让那些需要数据来完成工作的人，可以在必要时无障碍地访问数据。出于安全原因，他们能够访问的数据不应该超出他们的权限。数据应该在请求合法的前提下，才能被访问，但出于安全原因，对敏感数据应该加大访问难度，只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别，管理账户时，应与人力资源部和采购部紧密互动，这一点非常重要，因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任，这是构成完整的数据治理策略的一部分。

· 使用/共享/分析。数据如何被使用是数据治理策略至关重要的一部分。潜在用途包括，使用数据来管理账户，改善客户体验，投放定向广告，提供市场分析，与附属企业共享数据。必须仔细界定哪些数据可用于共享或者用于营销，并保护它们免遭攻击和泄露，因为数据本来就应该被用于纯粹的内部用途。要让客户知道，收集数据的所有公司都必须遵守数据使用和共享方面的规定。能够确保数据使用合规，这是拥有数据治理策略的另一个重要好处。

· 收集、验证、存储、访问和使用都是安全计划的必要组成部分，必须有一个全面的策略来解决这些问题以及其他安全问题。安全计划必须在不禁止用户使用的情况下发挥作用，但数据生命周期的各个阶段都可能因为疏忽大意而遭到攻击和泄露。对安全的追求必须是支持而不是妨碍必要的使用。数据治理策略必须制定数据安全方案，包括访问协议、对静态数据和传输中数据进行加密，等等。

· 管护/元数据。没有管护的数据生命周期是不完整的。管护的一个例子是把元数据应用于一个数据，以便识别检索。 元数据包括数据的来源、生成和/或收集的日期、访问级别信息、语义分类以及企业需要的其他属性。数据治理能建立一个元数据词汇表，界定数据的有效期。要记住，数据也会过期，到某个时候，也许只能用于历史数据分析。

数据治理的组织问题

在创建数据治理的过程中，常常会遭到抵制，因为有些人担心无法再访问他们需要的数据，还有些人出于竞争的考虑，向来不愿共享他们的数据。数据治理策略必须消除这些担忧，让各方面的人都能接受。习惯了数据筒仓环境的公司，可能不太容易适应新的数据治理策略，但如今对大型数据集的依赖以及随之而来的诸多安全问题，使创建和实施覆盖全公司的数据策略成为一种必然。
数据日益成为企业基础设施的一部分，在企业一步步处理各种特定情况的过程中，决策就这样形成了。它以一次性的方式作出，常常是对某一特定问题的回应。因此，企业处理数据的方法会因为不同部门而改变，甚至会因为部门内部的不同情况而改变。即使每个部门已经有一套合理的数据处理方案，但这些方案可能彼此冲突，企业将不得不想办法调解。弄清数据存储的要求和需求是一件难事，如果做得不好，就无法发挥数据在营销和客户维系方面的潜力，而如果发生数据泄露，你还要承担法律责任。
另外一个问题是，在一家大公司里，部门之间会争夺资源，还会展开竞争，让自己的需求被领导听取。各部门只需要确保自己的生存能力，无论是盈利业务，还是支持中心，都是如此，因此它们视野狭窄，只注重自身需求，很难在没有调解的情况下达成妥协。
数据治理委员会着眼于现有数据策略、未被满足的需求以及潜在安全问题等，创建数据治理策略，使数据的采集、管护、储存、访问以及使用策略均实现标准化，同时还会考虑各个部门和岗位的不同需求。数据治理委员会还扮演了调解人的角色，平衡那些存在冲突的需求，在安全担忧与访问需求之间进行协调，确保最高效、最安全的数据管理策略。

五步实现成功的数据治理

1. 建立一个数据治理组织。数据治理研究所推荐建立一个数据治理委员会，负责评估各个数据用户的输入信息，建立覆盖全公司的数据管理策略，满足内部用户、外部用户甚至法律方面的各种需求。该委员会的成员应该囊括各个业务领域的利益相关者，确保各方需求都得到满足，所有类型的数据所有权均得到体现。安全专家也应成为委员会的一员。了解数据治理委员会的目标是什么，这一点很重要，因此，应该思考企业需要数据治理策略的原因，并清楚地加以说明。
2. 制定一个框架，将林林总总的数据需求容纳其中。这个框架必须确保各个部分被融合成一个整体，满足收集、存储、检索和安全要求。为此，企业必须清楚说明其端到端数据策略，以便设计一个覆盖所有要求和必要操作的框架。必须有计划地把各个部分结合起来，彼此支持，这有很多好处，比如在高度安全的环境中执行检索要求。合规性也需要专门的设计，成为框架的一部分，这样就可以追踪和报告监管问题。这个框架还包括日常记录和其他安全措施，能够对攻击发出早期预警。在使用数据前，对其进行验证，这也是框架的一部分。数据治理委员会应该了解框架的每个部分，明确其用途，以及它如何在数据的整个生命周期中发挥作用。
3. 试点数据策略。通常来说，一个策略应该先在小范围内推行，以便发现计划、框架和基础设施的缺陷，然后才在整个公司实行。
4. 拥有一个与时俱进的数据治理组织。数据治理委员会应该与时俱进，因为随着数据治理策略延伸到新的业务领域，肯定需要对策略进行调整。而且，随着技术的发展，数据策略也应该发展，与安全形势、数据分析方法以及数据管理工具等保持同步。
5. 知道什么是成功的数据策略。确立成功标准，以便衡量进展。制定数据管理目标，有助于确定成功的重要指标，进而确保数据治理策略朝着你希望和需要的方向前进。

结论

企业无论大小，都面临着类似的数据挑战。公司越大，数据越多，而数据越多，就越需要制定有效、正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就能做得很好，但前提是，公司的规模必须要小，而且对数据的依赖度必须要低。即便是非正式的数据治理策略，也必须考虑客户和员工数据的收集、验证、访问以及存储。
当企业规模扩大，数据需求跨越多个部门时，当数据系统和数据集太大，难以驾驭时，当业务发展需要企业级的策略时，或者当法律或监管提出需求时，就必须制定更为正式的数据治理策略。如果你发现，有部门在制定自己的数据管理策略，就是时候了。一旦有足够多的数据让你成为黑客的攻击目标，就是时候了。简而言之，如果你不得不问“是时候了吗？”，那么可以肯定，是时候制定正式的数据治理策略了。

End.

转载请注明来自36大数据（36dsj.com)： 36大数据» 如何成功实现数据治理