数据管理的挑战

由于数据管理具有源自数据本身的独特属性，因此要遵循数据原则会带来很多挑战。下面我们来一起讨论一下这些的挑战的细节。

数据与其他资产管理存在区别

实物资产是看得见、摸得着、可以移动且存在一定程度消耗的，在同一时刻只能放在同一地方。金融资产必须在资产负债表上记账。然而数据不同，它不是有形的，而且其不容易评估价值，尽快从广义上看，数据的价值经常会随着时间的推移而不断变化，但它是持久不会磨损的。数据容易被复制和传输，但它一旦丢失或销毁，就不容易重新产生。因为数据的可复制性，它可以在不损耗的情况下被盗取，根据数据的动态性，他可以被用作多种目的。数据甚至可以同时被多人使用，数据在被使用的过程中可能会产生更多新的数据，大多数组织不得不管理不断变化的数据质量和越来越复杂的数据关系。

这些差异使得给数据设定货币价值具有挑战性。如果没有这种货币价值，就很难衡量数据是如何给组织带来收益的。这些差异还引发了影响数据管理的其他问题，比如定义数据所有权、列出组织拥有的数据量、防止数据滥用、管理与数据冗余相关的风险以及定义和实施数据质量标准。数据是组织了解自身的手段，它为企业的洞察力提供支撑，一个组织的数据是具有唯一性的，如果唯一数据（客户列表、产品库存、财务账单等等）丢失或销毁，重新产生这些数据的成本是及其高昂的。所以要谨慎的管理这些数据，如何针对数据特性对其进行管理是一项艰巨的挑战。

数据价值不易量化

广义价值是一件事物的成本和从中获得利益的差额。对于有些资产而言，计算器价值就是它的购买成本和销售价格之间的差额。但是对于数据而言，无论是数据的成本还是利润都没有统一标准，所以会导致数据价值计算会错综复杂。

每个组织的数据对其来说都是唯一的，因此评估数据价值需要计算在组织内部持续付出的一般成本和各类收益。类别举例如下：

• 获取和存储数据的成本；
• 如果数据丢失，更换数据需要的成本；
• 数据丢失对组织的影响；
• 风险缓解成本和数据相关的潜在风险成本；
• 改进数据的成本；
• 提供高质量数据的价值；
• 竞争对手为数据付出的费用；
• 在市场中数据潜在的销售价格；
• 创新性应用数据的预期收入；

评估数据资产面临的主要挑战是，数据的价值是与上下文有关的，例如，对一个组织有价值的数据，可能对另一个组织并没有用。而且数据价值有很多时效性，例如，昨天有价值的数据，在今天可能就没有价值。在一个组织中，某些类型的数据可能会随着时间的推移而具有一致的价值，例如，用户数据起初可能不是对组织内所有相关方有具体的价值，但随着越来越多客户及其行为活动相关的数据得以积累，客户信息就会为不同职能的相关方提供不同维度的支撑，使其更具价值。

在数据管理方面，将财务价值与数据建立关联的方法也至关重要，因为组织需要从财务角度了解资产，以便做出一致性决策。重视数据，是重视数据管理活动的基础。数据评估过程也可以作为变更管理的手段。要求数据管理专业人员和他们支持的利益相关方了解他们工作的财务意义，可以帮助组织转变对自己数据的理解，并通过这一点转变对数据管理的办法。

数据质量不易保障

确保高质量的数据是数据管理的核心。如果不能依靠数据来满足企业需求，那么收集、存储、保护和访问数据就是一种浪费。 为了确保数据满足商业的需要，他们必须与数据的消费方共同合作来定义需求，其中就包含如何定义高质量数据的具体要求。当前很多企业呈现的是“仓囱”管理结构，业务相关方和IT部门并没有建立有效的互动，这可能会导致各方对于数据质量理解不一致，无法高效协同。

发现数据出现问题通常都是“事后诸葛亮”，通用的场景往往是业务或运营发现质量问题，数据责任人事后处理。很多IT部门并不关心数据的质量是否稳定，他们更多的会把精力放在技术实践方面，而运营分析人员却非常依赖高质量的数据进行决策分析，人们通常会假设数据是可靠的，低质量数据会对业务决策造成很深的负面影响，一旦发生这种情况，相关方可能就不再相信数据可靠，基于此跨部门之间就很难再重新建立信任。

为低质量的数据付出的成本是隐藏或间接的，因为其不容易度量，所以组织往往不经察觉的为其付出高昂的代价。低质量数据成本主要源自：

• 报废数据和返工造成的成本；
• 寻找数据修正解决方案的成本；
• 数据使组织效率低下或生产力下降造成的隐性成本；
• 因为数据质量问题造成的组织冲突；
• 因为数据质量问题造成的工作满意度降低；
• 因为数据问题造成客户满意度降低；
• 因为数据问题，导致无法进行业务创新的机会成本；
• 合规成本或因为数据问题被处罚的成本；

高质量的数据价值包含：

• 改善客户体验；
• 提高生产力；
• 降低风险成本；
• 能够快速响应商机；
• 洞察客户、产品、流程和商机，获得竞争优势；

需要制定数据持续优化计划

从数据中获取价值需要以多种形式进行规划，其中首先要认识到组织可以控制自己如何获取和创建数据，如果把数据视作创造的一种产品，他们将要通过它的生命周期做出更好的决定，这些决策需要系统思考，需要平衡理想与现实，在有限的资源中探索如何将数据价值最大化，并为其制定可持续的数据优化计划。在制定计划的过程中需要：

• 意识到数据可能会被视为独立于业务流程的存在；
• 识别业务流程与支持它们技术之间的关系；
• 进行系统的设计，同时架构其所生成和存储的数据；
• 制定数据的使用方式，借此推动组织战略落地；

更好的数据规划需要有针对架构、模型和功能设计的战略规划路径，这部分工作顺利与否，取决于业务和IT领导层之间的战略协作，以及针对战略的执行能力。这部分的挑战在于，企业往往会存在组织、时间和资源方面的长期压力，这种压力阻碍了优化计划的执行。组织在执行战略时，必须平衡长期和短期目标，只有明确权衡，才会获得有效决策。

元数据和数据管理的挑战

组织需要可靠的元数据去管理数据资产，从这个意义上讲，企业应该更全面的了解元数据。它不仅包括业务、技术以及元数据的操作，还包括嵌入数据架构、数据模型、数据安全需求、数据集成标准和数据操作流程的元数据。元数据描述了一个组织拥有什么数据，它代表什么、如何被分类、它来自哪里、在组织内如何移动、如何在使用中演进、谁可以使用，以及怎样才可称为高质量数据。

数据是抽象的，上下文语境的定义和其它描述让数据清晰明确。它们使数据、数据生命周期和包含数据的复杂系统易于理解。但是它的挑战在于，元数据是以数据形式构成的，因此需要进行严格管理。通常管理不好数据的组织，根本不会管理元数据。元数据管理是全面改进数据管理的起点。

数据管理是跨职能的工作

数据管理是一个复杂的过程，在数据生命周期中，可能不同阶段由不同团队进行不同的管理。数据管理需要系统的规划设计技能、管理数据采集硬件、构建数据相关软件、利用数据分析理解问题或解释数据、定义数据模型、发现客户服务商机和实现战略目标。一般情况下，单一个体或职能不可能具备以上所有技能，而跨职能的团队经常难以感受到对方职能的真是诉求，不同的职能部门经常会因为自身立场不同，彼此难以统一目标，达成共识。

挑战在于，让具备这一系列技能和观点并且跨职能的人认识到数据管理的各部分是如何结合在一起的，并能够使他们能够协作并朝着共同目标努力。

数据管理需要建立企业的视角

管理数据需要理解一个组织中的机会和数据范围。数据是组织中的“横向区域”之一，它跨越不同垂直领域，如技术、销售、运营。由于数据通常被简单的视为操作流程的副产品（如销售交易记录是销售流程的副产品），因此通常不会制定超出眼前需求的计划。

在组织内部，数据有可能是迥然不同的。数据源于组织内的多个来源，不同的部门会用不同的方式表示相同的概念（如客户、产品、开发）。参与数据集成或主数据管理项目的人都可以证明，代表性选择中的差异在整个组织中都存在着挑战。利益相关方会假定一个组织的数据应该是一致的，基于这种期望，如何站在企业的顶层视角来对数据进行管理，如何帮助组织跨垂直领域做出决策，是数据管理需要挑战的难题。

数据管理需要多角度思考

现在的组织既使用他们自己生产的数据，也使用外部获取的数据。他们必须考虑不同国家和行业的法规和合规要求。生产数据的人常常忘记后续有人要使用数据。了解数据的潜在用途有助于更好的规划数据生命周期，并据此获得更高质量的数据。由于数据会被误用，因此还要考虑清楚如何减少数据误用的风险。单一维度的思考数据管理，会让我们在具体的工作中执行比较片面的工作，使用如何多角度的思考数据管理工作，将是一项艰巨的挑战。

数据的生命周期非常复杂

为了有效的管理数据资产，组织需要理解并为数据生命周期进行规划，并以组织利用好数据资产作为管理数据的目标。数据的生命周期基于产品的生命周期，它不能与系统开发项目的生命周期混淆。数据的生命周期包括：创建、获取、移动、转换和存储数据并使其得以维护和共享的过程，使用数据的过程，以及处理数据的过程。如下图示例：

• 创建和使用是数据生命周期的关键点。
• 数据质量管理必须贯穿整个数据生命周期。
• 元数据的质量管理必须要贯穿整个数据生命周期。
• 数据的生命周期中要确保数据安全，降低合规风险。
• 数据管理工作应聚焦关键数据。

组织中数据生命周期的细节可能非常复杂，因为数据不仅具有生命周期，而且还具有血缘（它从起点移动到使用点的路径）。了解了数据的血缘还需要记录数据集的起源，以及在他们访问和使用他们的系统中的移动和转换。一个组织只有了解了生命周期和血缘的关系，才能有效的进行数据管理。

不同种类的数据管理复杂

不同种类的数据有各自不同的生命周期管理需求，这使得管理数据变得非常复杂。任何管理系统都需要将管理的对象进行分类。可以按数据类型分类，例如划分为交易数据、参考数据、主数据、元数据、类别数据、源数据、事件数据、详细数据等等。也可以按数据的内容（数据域、主题域）、数据所需格式、保护级别、存储或访问方式和位置进行分类。

不同的数据都会具有不同的需求，不同的需求就会产生不同的风险，如何面对不同的数据类型，管理其不同的需求及风险，将是数据管理中面临的挑战。

数据和风险

数据不仅代表价值，也代表风险。不准确、不完整或过时的低质量数据，因为其信息不正确将产生风险。数据的另一个风险在于它看你被误解和误用。

今年，监管和立法越来越关注数据的滥用问题，消费者也越来越想了解他们的数据是如何生产和使用的，在数据管理的过程中需要采取适当的风险缓解和控制举措，并尊重消费者的隐私。

数据管理与技术失焦

在许多组织中，在构建新技术的动力和拥有可靠数据愿望之间存在着持续的紧张，好像技术和数据这两个组织是对立的，而不是彼此必须的。在日常的工作中我们经常可以看到这样一个场景，开发的同学为了追求前沿的技术实践，把精力放在了局部的技术细节中，但是忽略了数据管理规范，工作失焦的同时，对技术的诉求高于对业务价值的产出。

数据管理需要对技术做出正确的决策，管理技术与管理数据不同。组织需要了解技术对数据的影响，以防止追求片面的“技术卓越”推动他们对数据的决策，相反，与业务战略一致的数据应该推动有关技术的决策。

数据管理需要领导力

很多层级的管理者并不知道公司拥有什么数据，或者对业务最关键的数据是什么。他们甚至会混淆数据和信息技术，并对两者进行错误的管理。他们也没有关于数据的战略蓝图，同时低估了数据管理相关的工作。这些条件都增加了管理数据的挑战。

数据管理一个至关重要成功的因素是：坚定的领导和组织各级人员参与管理，并有效执行。想要数据变得更好，需要有远见、计划和改变现状的意愿。