数据中台建设复杂度高、投入成本大、产出见效慢、可复制性有限等特点,众多企业在建设数据中台的过程中仍存在不同程度的问题和困惑。大数据技术标准推进委员会牵头,联合行业专家和头部企业共同编制《数据中台实践指南(1.0 版)》,梳理数据中台历史及概念,明确数据中台的核心能力,总结数据中台建设的前提条件和不同形态,给出指导性的建设过程和建设中应注意的要点,对数据中台建成之后的持续运营过程提供要点建议,并对数据中台的未来发展趋势进行研判。
2023年6月26日,在“大数据产业发展大会“数据中台高质量发展论坛上,《数据中台实践指南(1.0版)》正式发布。(报告下载方式附文末)
数据作为新型生产要素,是数字化、网络化、智能化的基础,已快速融入生产、分配、流通、消费和社会服务管理等各个环节,深刻改变着生产方式、生活方式和社会治理方式。通过数字化转型以发挥数据要素对于企业的生产经营价值成为大多数企业的必然选择。
数据中台承载着利用数据驱动业务决策所需的一系列能力,是众多企业建设数据能力、开展数字化转型时难以避开的话题,部分企业已经将其作为企业数字化转型的核心引擎。
数据中台的概念自诞生以来经历了不断的发展演变。当前,已成为使企业综合数据能力建设的更好的一种形式。广义的来看,数据中台是企业数据价值实现的能力框架,包括数据存储汇聚、数据开发、数据管理、数据服务、数据资产运营等能力。通常通过企业统一的一站式数据加工生产利用逻辑平台的形式具象化,是企业级数据价值生产的中枢平台。此外,在企业层面数据中台是企业业务数据化的承载体,是企业业务通过数据视角的一种呈现,担负了企业数字化所需的核心综合数据能力。
本指南系统梳理了数据中台历史及概念,明确数据中台的核心能力,总结了数据中台建设的前提条件和不同形态,给出指导性的建设过程和建设中应注意的要点,对数据中台建成之后的持续运营过程提供要点建议,并对数据中台的未来发展趋势进行研判。
以下为解读 PPT,为论坛现场由中国信通院云计算与大数据研究所大数据与区块链部高级业务主管王卓进行解读。
数据一直伴随着人类的发展而变迁。在古代,数据呈现出规则化汇聚的特征。例如,我国古代的黄册(全国户口名册)、天文观测记录均以特定规则进行登记造册,它们对人类社会和物理世界的性质、状态与相互关系进行记录和计算,都是宝贵的古代数据遗产。但在信息时代来临之前,人们对于数据的记录、处理、分析等工作大量依靠着纸笔等较为原始的工具手段,过程复杂且效率低下,对于数据进行利用的范围和形式难以普及推广。
在信息化时代来临之后,软件系统普及成为各行各业标配的生产工具。数据的存储、计算、分析等工作,开始可以通过相应的软件工具实现,对于数据的高效利用有了可行的技术基础。
随着便捷化的信息技术不断强化企业处理数据的效率,如何更加高效的利用数据服务于自身业务成为众多企业最关心的问题。数据中台概念的诞生正是为了服务于这一目标。
数据中台的概念最初由阿里巴巴集团提出。2015年,阿里巴巴对组织架构升级调整,建设整合阿里产品技术和数据能力的中台,形成“大中台,小前台”的组织和业务体制。这一举措旨在通过整合复用组织内部的各项基础设施和数据能力,使业务产品的更新迭代速度加快、成本降低,推动企业业务利润增长。随后两三年,阿里完成了数据中台的雏形,其他互联网头部公司也纷纷跟进推进了各自的数据中台战略。
2018年开始,在互联网媒体和各类研究机构的宣传以及互联网头部公司的示范效应的共同作用下,大量传统企业开始跟进行数据中台的建设。随后在2020年左右,大量的数据中台项目建成,但部分项目由于并没有根据企业自身需求进行规划设计,建设成果受到了成本高、不敏捷、成效难以衡量等质疑,引发了有关“拆中台”的探讨。但在之后直到今天,业界仍有大量“数据中台”项目不断设立,数据中台也成为关键词在政策文件中开始出现,行业对于数据中台的认可程度潜移默化的不断提高,其概念和内涵也在探讨中不断完善至今。
数据中台的定义自诞生以来经历了不断的发展演变。数据中台源于企业内部通过组织架构调整所形成的公共数据能力,通常通过将企业各部门和业务线所需的数据能力提炼并整合形成,是企业内部可复用的统一数据能力集合。而随着相关理论和技术的持续发展,数据中台成为了使企业综合数据能力建设的更好的一种形式。
当前的数据中台可通过狭义与广义两种定义来进行描述。
狭义的数据中台指在企业内部通过对数据半成品、算法、模型、工具等能力的积累,支撑业务应用,为前台提供数据能力的企业级数据中枢平台。狭义数据中台聚焦在数据服务的生产和提供,并不包括数据本身的生产、加工、传输等基础性工作。
广义的数据中台是企业数据价值实现的能力框架,包括数据存储汇聚、数据开发、数据管理、数据服务、数据资产运营等能力。通常通过企业统一的一站式数据加工生产利用逻辑平台的形式具象化,是企业级数据价值生产的中枢平台。
进一步的,在企业层面数据中台是企业业务数据化的承载体,是企业业务通过数据视角的一种呈现,担负了企业数字化所需的核心综合数据能力,是数据驱动企业的核心引擎。
企业需要考虑自身是否有清晰的数字化战略或数据战略,战略内是否对数据中台有清晰的定义,对数据中台的建设是否有明确的目标。同时,企业应综合考量自身战略、信息化程度、组织价值、业务特性等因素,结合未来数据对企业的价值,对企业自身建设数据中台的必要性进行整体评估。若企业已累积或短期内将累积大量数据,组织架构中构建了数据团队,且业务需求变化快速,那么企业建设数据中台的必要性较高。
一般来说,数据中台并没有一个搭建标准,因为数据中台是企业的数据服务/产品生产平台,而不同企业的所属行业、信息化程度、组织架构、业务能力等不同,数据也就有所不同,所以每一家企业的数据中台都是独一无二的。由于建设需要投入大量时间、人力、资金等成本,因此也并非所有企业都适用。
企业是否引入数据中台可从以下几个因素考量:
-
- 信息化程度:企业信息化建设达到较高水平,应用系统较多,并且有大量的数据积累,当前数据利用率低。
- 组织结构:企业内部组织结构复杂,跨部门协作已影响到企业深度发展。
- 经营模式:希望协调整合各部门之间的资源,多渠道触达。
- 业务特征:企业内部有多条业务线,各个业务单元之间存在重复建设的功能模块。
数据已经成为了业务的存在形式,但是当前,大量的企业的数据仍是割裂的,局部的反映不同部门或者职能条线的业务,缺少全局视角的统一的业务呈现形式,数据中台的本质就是通过数据的汇聚、加工、处理,形成对企业业务全貌的准确呈现,并基于这个统一的数据资产,生产对应的数据服务反馈回业务系统,让业务系统更加智慧。因此,不论是小企业还是大企业,不论是什么行业的企业,只要是希望通过数据来进行全局业务优化,通过数据挖掘业务价值的企业,都需要建设自己的数据中台。
不同于数据仓库和大数据平台,数据中台是一个业务价值创造平台,而不仅是数据资源的生产平台(来源:《精益数据方法论:数据驱动的数字化转型》)。数据中台的目标是要为业务提供看得见,摸得着,可度量的价值。因此,数据中台的建设前提条件是有可以让数据产生价值的业务场景。
而业务场景的探索和识别,是与企业的业务战略紧密相关的,只有在与业务战略一致的基础上,依托数据中台,对企业全域数据资产进行开发和应用,以公共的建设保障各业务线的使用,才能保证当前的重投入,保障未来的高产出。所以,数据中台建设的第一步,是需要以一个价值驱动的规划来勾勒出业务场景蓝图,然后再按图索骥,逐步建设。如果找不到有价值的业务场景,则不适合全面建设数据中台,可使用数据中台中的某个模块如数据仓库、数据湖、数据资产管理等先行解决当前问题。
数据中台的总体目标是使数据产生业务价值。
具体来说,企业可以通过建设数据中台构建各项能力,弥合数据供需鸿沟,使数据能够驱动企业提升经营效率、实现业务价值。这一目标具体拆解开来包括快速响应数据需求、建设统一数据平台、打通企业数据资产、提供统一数据服务、数据直接参与业务、产生包括客户价值在内的企业价值等。
为实现上述的一系列目标,数据中台需要具备将各类原始数据进行汇聚、整合、加工、提炼以形成数据半成品,并进一步对其进行分析形成可用的数据服务内容,向数据分析师和业务应用方提供服务的一系列能力。相应的,数据中台作为完成这一系列动作的企业综合数据能力集合,其核心能力必须包括数据汇聚存储、数据开发、数据服务、数据管理、数据资产运营等。
在实践中,企业构建自身数据中台核心能力时,以平台工具建设驱动的形式较多,然而各项能力在这些技术工具之外,仍有较多非工具类能力。同时在部分通用的技术工具之外,个别针对性的高阶需求仍需非通用的专门技术工具进行支持,因此在将数据中台较为通用性的技术工具提取出之后,各项能力需求的本质将更为凸显。
在中国信通院牵头编制的《数据中台能力成熟度模型》系列标准中,企业数据中台能力划分为了技术工具、架构管理、数据开发、数据服务、数据管理、数据资产运营六大能力域,在全面覆盖了企业数据中台核心能力的同时,也体现了各类能力对应的层次。
- 技术工具是数据中台的物理基础设施,从工具功能的角度集中体现了企业建设数据中台所需的全部技术工具能力集合,是对于数据中台最为具象的体现形式,勾勒出了数据中台的外部轮廓。
- 架构管理是依据企业自身需求对数据中台内部架构进行设计并持续管理的过程,其中数据架构的设计保障了数据中台对于大多数企业内部结构化和非结构化数据的汇聚存储;技术架构的设计保障了支撑数据中台各项能力的各技术工具模块能够有效结合并交互运作。
- 数据开发是维持数据中台运转的重要能力,通过数据开发过程,数据中台可以将各类原始数据源源不断的加工、提炼成满足业务方需求的数据半成品或其他形式的数据内容或产品,使数据中台可以持续运转以支撑业务方的各类需求。
- 数据服务是数据中台对外实际直观可感的内容统一出口,数据中台可以通过数据服务体系中的各项能力,面向业务方提供各类数据服务支撑,并使业务方可以较为便捷的快速检索并获取所需要的数据服务内容。
- 数据管理是提升数据中台可产生价值的重要工作,通过数据管理,数据中台内整体数据的质量和潜在价值得以提升,使数据中台能够提供效果更好、可用性更强的数据服务,更大程度的强化了数据中台的内蕴价值。
- 数据资产运营是提升数据中台使用效果的重要能力,在有相应规划的基础上对数据资产进行识别和应用,并基于一定的策略和方法进一步对使用情况进行优化和推广,同时形成基于成本管理和价值评估的评价体系,促进数据中台的良好使用和价值转化。
数据中台的具体呈现形式,通常是企业统一的一站式数据加工生产利用逻辑平台,是企业级数据价值生产的中枢平台。但在实践中,由于企业现状的不同,往往也呈现出不同的形态。大致可概括为以下三类:
集中式:集中式数据中台的主要特征是数据中台由集团总部或公司数据支撑部门统一建设,数据统一汇总管理,由专门部门负责数据中台的运营,提供数据支撑人员服务集团各子公司或公司各业务线的用数需求。集中式数据中台通常适用于集团总部(或公司)对下属子公司(或各业务线)具有较强管控能力的情况,能够最大化数据中台各项能力的复用性,减少重复建设成本,强化全量数据的可用性。
集中+BP式:集中+BP式数据中台的主要特征是数据中台仍由集团或公司统一建设,数据仍统一汇总管理,但各子公司或业务线由单独的数据支撑人员利用数据中台满足其用数需求。这些数据支撑人员多数时候隶属于负责数据中台运营的部门,以数据BP(BusinessPartner)的形式派驻于各子公司或业务线,少数时候也由各子公司或业务线自身培养相应数据支撑人员,通过统一数据中台获取数据后进一步加工、分析以满足自身用数需求。集中+BP式数据中台通常适用于各子公司或业务线具有更大话语权的情况,多数情况下其子公司或业务线是集团或全公司的重要盈利中心,在业务决策中占据更重要的主导地位,具有较大的业务自主权和面向业务的用数需求。集中+BP式数据中台能够在保证子公司或业务线用数自主性和灵活性的基础之上,最大程度的满足跨子公司或业务线的用数需求。
两级式:两级式数据中台的主要特征是除集团或公司统一建设一级数据中台以外,各(或部分)子公司或业务线单独建立自身的二级数据中台,各二级数据中台由对应子公司或业务线组织团队进行建设、汇聚自身数据并进行运营,一级数据中台从各二级数据中台中汇聚数据,当出现跨子公司或业务线的用数需求时,由运营一级数据中台的部门进行支撑和满足。两级式数据中台通常适用于具有众多分支子公司的庞大集团或具有大量相对独立业务线的大型公司,部分情况下集团或大型公司还存在多种关联性不高的不同业态,各业态间互相使用对方数据的需求较低。两级式数据中台能够在各子公司或业务线通过二级数据中台充分满足自身用数需求的基础上,通过一级数据中台在一定程度上实现数据的共享交互,一二级数据中台相互能力的强弱对比同集团或公司本身的管控力度相关,在不同企业中呈现出不同的对比状态。
通过对数据中台应用企业进行问卷调研的形式,收集并整理了涉及政务、能源、电信、金融、工业制造、零售、交通、公共事业等行业的百余家企业数据中台的实际建设和使用情况。
数据中台的建设情况
在技术工具方面,超过七成的企业已投入使用分析型数据库、分布式批处理平台、数据开发平台、商务智能(BI)工具等技术工具,六成左右的企业也同步使用了分布式流处理平台和数据管理平台,另有三至四成企业启用了数据科学平台、知识图谱工具、低代码应用开发平台等其他技术工具。同时,相关技术工具的使用人员大多数(七成以上)分布于信息技术部和相关的数据职能部门,约四成企业有业务部门人员使用。
在数据中台实现的能力方面,已建设数据中台的企业中,其数据中台能力均(100%)包含数据存储能力,九成以上包含数据汇聚能力,八成包含数据治理、数据开发、数据服务等能力,六成包含数据资产运营能力。
在建设数据中台时遇到的阻碍因素中,近半企业遇到过人员投入不足的问题,四成企业存在系统开发及工程化技术能力不足的问题,此外还有业务部门配合不足(32.79%)、业务人员素养不足(32.79%)、数据分析及应用能力不足(29.51%)、资金投入不足(24.29%)、业务需求理解不足(22.95%)、缺乏具体应用场景(21.31%)等问题。
其中多项涉及到了人员能力及业务人员相关的问题,从对于企业内部开展数据智能相关主题的学习和培训情况可以看到,数据相关职能部门人员(88.57%)和中层领导(75.71%)参与学习较多,业务部门骨干人员(55.71%)和高层领导(42.86%)也有一定参与,另外大概三成企业的业务部门基层人员参与过相关培训。
从数据中台的使用目标来看,已建设数据中台企业的出发点有超过六成为对内的数据服务(但在开展项目前暂无明确的业务需求),另有四成有对外数据服务的需求,同时也有四成由具体的业务需求驱动,主要的需求包括:营销、风控、经营分析、产业链管理、数据打通共享(如生产、经营数据打通)、支撑前端其他应用等。
从数据中台的服务对象和运营部门来看,已建设数据中台的企业,其数据中台主要(55%~65%)服务于决策层领导、数据管理部、数据应用部和业务部门的数据分析师,约三成企业的业务部门一般基层人员会使用数据中台提供的服务。同时,数据中台的运营部门以原信息技术部(44.26%)和专门设立的数据中台部门(37.7%)为主。
从数据中台的使用效果和评价方面来看,对于数据中台效果的评价,用户满意度(67.21%)和用户使用率(57.38%)是企业使用最多的两个评价指标,其他可用于评价数据中台使用效果的指标包括实际营收、服务开放效率(满足数据需求的时间周期)、服务稳定性等。从企业当前自身的评价来看,已建设数据中台的满意度为:非常满意,获得机构内广泛认可(8.20%);满意(27.87%);基本达到预期(47.54%);不满意(9.84%)。
最后,对于未建设数据中台的企业,其主要原因包括:已有平台工具(BI工具、数据仓库、数据平台等)已满足业务需求、技术储备不足、资金人员有限等。
数据中台的建设涉及到众多方面,建设过程周期较长,建设内容相对复杂,需要依照企业的需求进行统筹规划和考虑,分多阶段逐步完成各项能力建设,在各阶段的建设中通过标准化、规范化的建设实施流程,不断满足企业利用数据的各项需求,实现数据面向全业务开放赋能的数据中台。同时,数据中台在建设中涉及数据平台构建、数据治理、数据服务、管理流程制度制定、数据运营等大量内容,抓住其中的关键要点能够大大提升数据中台的建设效果。
数据中台的阶段性建设
数据中台涉及的核心能力广泛,企业从零开始建设数据中台的过程复杂且工作量庞大,结合企业自身业务和数据的规模情况,多数具备一定规模的大中型企业通过多期项目分阶段建设数据中台成为必然选择。
《数据中台能力成熟度模型》系列标准的框架中,在全面覆盖数据中台六大能力的同时,也体现了各类能力对应的不同阶段层次,据此可大致的将企业数据中台的完整建设过程分为三个阶段:
- 以平台工具建设和架构体系设计为主的第一阶段;
- 以数据治理和数据开发工作为主的第二阶段;
- 以统一数据服务建设和数据资产运营为主的第三阶段。
1. 数据中台的第一阶段建设
数据中台的第一阶段建设以最为基础的各项能力建设为主,其中不可或缺的包括对于技术平台工具的搭建,以及完成基础数据架构及技术架构的设计。但在此之外,并不代表在第一阶段的建设中可以完全不涉及其他方面的能力,后续各项能力的顺利建设缺少不了在第一阶段中适宜的前瞻设计与考量。第一阶段的建设工作总体来说包含三部分的能力建设。
第一部分是技术工具的建设。对于在立项建设数据中台之前信息化水平并不高的企业,企业内部数据仅依赖业务系统自带的数据库分散存储,缺乏统一的数据管理系统及对数据进行进一步开发处理和分析的技术工具。在此情况下,面向企业希望对自身数据进行有效利用的需求,补足基础的数据存储、计算、开发、分析工具是首当其冲的,由此引入诸如大数据平台、分析型数据库、数据开发平台、BI工具等技术平台工具成为建设企业数据中台的第一步。同时,在这些最为基础的工具之外,企业还可以根据自身可能存在的潜在需求,补充建设数据湖、流处理平台、数据挖掘平台、图计算平台、知识图谱工具等其他通用平台工具。
第二部分是架构设计的工作。对于前期信息化基础水平较低的企业,在还未形成体系化的企业数据及信息系统架构的情况下,架构设计是能够为后续数据中台建设打下坚实基础的关键工作。在架构设计的数据架构设计工作中,结合业务需求及业务架构,通过对数据流向和数据分布的梳理,可以发掘最符合企业需求的数据架构构建方式和形态,同时经过合理的数据分层和分域,可以有效的完成以传统数据仓库为基础的企业级数据架构设计。在技术架构设计工作中,根据拟引入的技术工具及各工具模块的应用方式和场景,通过合理的选型和集成,实现整个系统间各工具模块的有效交互,确保数据在各技术工具之间的顺畅流动。
第三部分是面向未来拟建设各项能力的基础性建设工作。在完成技术工具的建设和架构设计的工作后,面向其他未建设的能力,企业实际上已经完成了部分能力体系设计和通用工具建设方面的基础性工作,为后续其他能力的建设打下了部分基础。在此之外,为保证后续其他能力建设的效率和效果,仍有部分工作可在此阶段完成,例如:组织架构调整的设计与落实,包括确定是否建立专门的数据中台管理部门,是否为后续组建专门的数据开发服务、数据运营团队预留架构空间和储备人员等;流程制度的建立,包括明确数据中台各项工作职能和实施细则的制度文件,面向未实现的各项能力提前做出规定,如面向数据管理工作先行给出全局性的宏观数据管理制度;技术工具的完善,除满足企业利用数据可能需求的各项基础技术工具之外,额外面向未来可能的数据管理及数据资产运营工作的需求搭建数据管理平台、数据资产运营平台等相应平台工具,甚至进一步的可利用工具实际完成企业内部全局数据资产的梳理,给出供内部参考的数据资产目录等。
2. 数据中台的第二阶段建设
数据中台的第二阶段建设以维持数据中台运转、提升数据中台可用性的能力建设为主,其中重点包括数据开发能力和数据管理能力的建设。
第二阶段的建设主要包括两个部分。
第一部分是数据开发能力的建设。数据开发是持续对企业内部数据进行加工处理,进而满足企业内部其他人员用数需求的过程。对于前期未建立起企业用数流程,仍由少量人员根据临时需求进行一事一议的取数及处理的企业,该部分建设的核心工作之一是建立企业内部的标准化数据开发流程,在此目标下需配套的完成数据开发团队的设立、标准开发流程的设立、专职开发人员的设立等工作。同时在开发流程能力建立完善的基础上,可进一步根据自身情况完善对于开发流程的管理和开发环境的管理能力。需要注意的是数据开发过程涉及到了数据的全生命周期,在执行开发的过程中不免会对数据中台的其他方面产生影响,例如开发过程是否会产生新的中间表、是否会形成新的数据质量问题等,由此可见第二阶段的相关能力建设将进入到涉及
面更广,建设过程更需要考虑宏观效果及影响的阶段。
第二部分是数据管理能力的建设。数据管理是一项由来已久的企业内部管理工作,当下业内已对数据管理工作做出了相当全面的定义和阐释,然而对于大多数刚刚完成前期信息化基础建设工作的企业来说,企业内部的数据管理工作仍留有大量空白。在数据中台的建设过程中,如果已完成了第一阶段的前期建设,在第二阶段数据管理建设时的主要目标是提升数据中台内数据的可用性,其核心工作包括对于企业内部全量数据的梳理、制定数据标准和数据质量规则、实际按照标准和规则落地实施等相关工作。数据管理部分的工作需要大量的人力实践,部分企业在此环节仅重视并完成了相关制度文件、标准、质量规则等的产出,但在实际依据相关文件整改企业内部数据并长期维护确保数据质量持续在线等方面缺乏持续性的决心和投入,也成为了数据中台第二阶段建设的重要问题。
3. 数据中台的第三阶段建设
数据中台的第三阶段建设以能够发挥或促进发挥数据中台价值的相关能力建设为主,其中重点包括数据服务能力和数据资产运营能力的建设。第三阶段的建设主要包括两个部分。
第一部分是统一数据服务的建设。数据服务是数据中台面向企业内部业务应用方的统一窗口,是数据中台对业务人员来说唯一可以直观感知的部分。数据中台究其本质目标是让企业内部的数据转化为业务价值,数据服务则是能够让业务人员使用数据产生价值的直接手段,因此数据服务的建设往往成为企业数据中台第三阶段建设的核心工作,同时数据服务能力建设的关键方向也是更强的可用性和易用性。
一方面,数据服务应尽可能全面的满足业务人员的用数需求,提供不同形式的服务方式,区分实现共性和个性化的需求,在集中满足共性需求的同时,为个性化需求提供便捷易用的自助服务方式。另一方面,数据服务建设时还需重点考虑统一性,即在统一的门户上以相近的流程方式为用户提供全面的数据服务。部分有一定信息化基础的企业存在大量数据服务分散建设的情况,用户使用时需操作多个不同平台或经过大量跳转,极大的造成了数据服务能力的割裂感以及使用难度。
第二部分是数据资产运营能力的建设。在数据中台提供的服务满足业务方各项需求的前提下,进一步的工作便是如何让业务人员更好的使用数据。从企业全局的视角来看,如何全面促进企业总体数据资产的使用是这一部分工作的核心问题。在建设企业数据资产运营能力的过程中,需要提前对运营工作做出全局规划,制定运营的相关制度和策略,同时从成本和价值的角度制定相应评价体系,持续性的执行运营及优化改善动作。运营是一个相当宽泛的概念,在具体执行中,能力宣介、使用推广、文化培养、评价反馈、分析优化等各环节工作都有众多可尝试的执行形式,从让业务人员更容易、更愿意参与的角度选择适宜的执行形式将更有助于整体运营工作的开展。
4. 三阶段建设完成后的工作
在完成第三阶段建设工作后,并不意味着数据中台的能力已经完善,伴随着数据中台能力的进一步充实,大量持续性工作是否到位,是后续数据中台能否充分发挥价值的重要影响因素。
第一是场景化数据需求的持续发现和补足。可利用数据优化提升的业务场景是数据中台重要的建设依据。对于部分业务种类繁杂,场景难以枚举的企业,一次性的实现对于所有场景数据需求的支持是不现实的,由此数据中台的多期建设中除去分阶段完善各项能力之外,对各业务条线场景化数据需求的持续梳理也是各期建设中的重点,甚至在能力建设完成之后仍需要分多期项目持续补足对于更多业务场景的支持。
第二是对数据中台应用效率的衡量以及持续运营。数据中台的建设无疑投入重大,但建设后的使用环节是否高效仍影响着数据中台实际的运行效果,因此建设后应同时开始对于数据中台使用效率的衡量,及时发现使用过程中存在的问题,降低部分流程的空转率以及部分服务的闲置率,同时持续运营增强业务人员对数据中台的接受度以加大使用,从而产出更多价值。
第三是企业人员数据素养的持续提升。数据中台能产出多少价值最终仍直接取决于使用其服务内容的实际业务人员,数据中台对于业务人员需求的满足效率和效果也部分取决于执行数据开发、数据管理工作的人员能力,由此对于人员能力的提升是长期且不应间断的工作,其中大量企业仍存在业务人员数据素养不足,无法理解数据存在的潜在价值进而不重视对于数据进行利用的情况,全方位提升业务人员的数据素养可能在未来成为提升数据中台产出价值的最有效手段。
根据项目建设的全生命周期及交付团队的参与度,数据中台的建设流程主要分为实施前、实施中和实施后三大阶段和七大流程。其中,实施前阶段包括咨询规划,实施中阶段包含需求调研、方案设计、开发实施、测试及交付,实施后阶段包含运维运营。
数据中台以业务价值为导向,其实施过程专业要求高、过程管控复杂、交付协同难,要高质量建设数据中台,除了建设流程之外,也需要强有力的组织保障,确保角色完整、分工明确、衔接顺畅、各司其职、各尽其责。
站在数据中台建设全生命周期的视角,除了业务方之外,数据中台实施参与角色构成主要包括项目经理、需求分析师、数据架构师、数据集成工程师、数据开发工程师、数据分析工程师、测试工程师、数据安全工程师以及系统运维人员等,项目不同阶段由不同的团队来负责,每个角色在各个不同阶段及流程中承担的职责如上图所示。
在整个数据中台的建设过程中,存在众多关键环节及影响重大的动作节点,对于这些建设过程中的要点需要进行整体上的把控,确保数据中台建设稳步推进。
1. 数据中台的规划
企业数据中台的建设往往不能一蹴而就,需要较长的周期,相应的也需要有中长期规划。数据中台规划是在对企业现状充分了解的基础上,结合自身战略目标有针对性的提出企业级数据中台建设蓝图的过程,旨在为企业数据综合能力的提升提供宏观指导性框架。同时,本着整体规划、分步实施的原则,还应对需求场景进行全局排优,设计符合企业发展现状的数据中台建设路径,规划清晰的阶段,明确各阶段达成目标,并定义各建设阶段的建设策略,确保后续的方案设计与开发工作顺利进行。
数据中台规划从对于业务、数据的调研开始,对业务、数据、基础环境等信息进行探查,结合战略与组织解读,明确组织战略对企业运营提升的要求,抓住组织运营提升的关键环节,通过问卷、针对性访谈、现场走访等形式,对业务组织进深入行调研,调研的过程中可以收集报表、汇报材料、报告、可视化看板、系统建设材料等信息辅助理解业务,从而组织业务诉求与痛点,为数据中台蓝图提供业务、数据知识基础和输入。
数据中台蓝图一般包含数智化转型战略、设计方法论、组织内业务的整体解析、数据中台的价值化、分析链路梳理、数据域梳理和划分等内容。通过数据中台蓝图可以快速了解企业数据中台建设的范围与价值,为后续数据中台的搭建、完善、应用提供重要依据。
2. 数据组织的构建
组织保障是企业数据中台落地的重要基础。数据中台的具象化体现往往是企业级的中枢平台,其建设过程牵涉到企业内部的方方面面,组织架构的形态极大程度决定了数据中台建设和后续运营中可能涉及的部门和人员。从整个企业的组织架构来看,数据中台的建设需要来自企业决策层的顶层支持,同时,还需要所涉各部门管理层的有效协同与沟通,更需要各基层人员的大力执行。由此可见,组织保障对于数据中台建设效果的影响之重。
原则上,包含数据中台建设在内的企业数字化转型是典型的一把手工程,应由企业高层直接负责,组成企业数字化转型领导部门(数字化转型办公室等),对企业数据中台建设进行统筹,并据此建立自上而下的组织保障体系,开展数据中台建设与实施,保障后续的数据治理、数据安全、数据运营服务等系列工作。
在数字化转型办公室的领导下,一般来说,会进行两层组织划分:第一层由总体规划部门、数据治理部门和项目管理部门构成,该层主要负责数据中台具体规划、总体架构和相关规范与制度的制定,其具体构建了企业数据中台的建设和运行框架;第二层为具体执行层,由各专题项目组及其项目下设的专业化实施小组构成,从而保障数据中台的顺利落地和后续持续运营。
3. 价值场景的发现
数据中台建设的初衷是使数据产生业务价值,因此需要对业务中复杂的价值场景进行快速适配和支持,如何发现价值场景直接影响到数据中台的建设效果。
发现价值场景的关键步骤是要识别和构建数据价值驱动因素、理解业务痛点、确定解决方案并进行成本效益分析。具体执行时,需从业务场景与需求出发,获取业务过程中的痛点,将痛点所在的场景进行梳理分析,识别是否可通过数据解决业务环节中出现的问题,在数据可支撑的情况下,拆解出可解决问题的数据支撑形式,从而将业务痛点具象为数据需求,最终明确数据中台的建设内容。
价值场景的发现通常来说是长期持续的过程。一般来说,在数据中台建设初期,业务方难以直接提出适当的价值场景,往往需要数据部门人员同业务人员合作完成价值场景的梳理。后续随着业务人员数据素养的提升,以及数据部门人员对于业务理解的深入,双方均有可能独立的发掘价值场景并提出相应需求或加以实现。
4. 数据资产的盘点
数据资产盘点是数据中台建设过程的重要组成部分,是后续数据开发和数据治理工作的基础。建设数据中台需要对企业内部大量来自不同数据源的不同类型数据进行统一归集和整理,全面的了解企业现有数据的全局情况是设计数据中台建设方案的重要参考。通过数据资产盘点,可以对企业内部的数据资产完成规范化的、系统化的归并、整理、分类等操作,为更好的利用数据打下基础。
数据资产盘点应遵循全面性、丰富性、可持续性和可评价性的原则。全面性是指盘点对象应覆盖企业生产经营活动中所涉及方方面面的数据。丰富性是指盘点的内容丰富而又系统,其中包括数据资产的基础技术元数据、业务元数据、管理元数据等。可持续性是指数据资产盘点过程中应形成一套完整的方法论和制度流程,并有相应的工具支撑,从而保证数据资产盘点工作的可持续。可评价性是指数据资产盘点的成果可见并可对其成果进行显性评估。
具体实施数据资产盘点时,可根据全面摸底、分类分级、差异化盘点的步骤,先宏观了解企业内部数据的全面概况,在此基础上对数据进行分类分级,最后对于重要性不同的数据再采用差异化的盘点方式,对不同级别的数据采用不同粒度的盘点动作,在合理投入的前提下完成整个数据资产盘点工作。
数据中台价值的展现是通过使用和运营来实现的。数据中台的目标是使企业内部的数据产生业务价值,最终价值产生的直接手段必然是通过业务人员的使用。但如何让业务人员愿意去使用,并且能够用好数据中台产出的服务,更大程度上的影响到了数据中台能够体现出的增量价值。
数据中台的运营是希望通过建立相关组织及运营机制,基于一定的评价体系和运营策略,实现对于企业数据中台的长期持续运营。具体来说,通过建立必要的运营组织,投入专门运营人员,培养运营意识,建立运营机制,明确运营的职责和边界,制定策略和目标,从赋能推广、使用反馈、评估分析、完善规划到能力沉淀等各环节上开展日常运营工作,形成闭环运营体系。
数据中台实际产生的价值与其使用、运营情况紧密相连,正确的使用及优秀的运营能最大程度发挥出数据中台蕴含的业务价值。相应的针对数据中台的应用及运营需要重点关注以下几个方面的问题,以便促进数据中台的价值发挥和提升。
(一)去冗存菁
数据中台中汇聚了企业可能产生业务价值的各类数据,在其之上通过加工、分析可以产生大量的数据半成品、中间结果或是完整的数据能力及产品。伴随着业务方数据需求的持续增加,实现这些需求所形成的数据内容将在数据中台中快速积累,如果不加统筹将出现大量的重复内容。为避免数据中台内容在持续建设下不断膨胀,导致业务应用方定位所需数据能力的效率下降,数据中台的需求方、管理方、运营方等各方需通力协作。
在数据中台的实际使用和运营过程中,数据中台的运营方应从整体层面建立后评估体系并据此持续调优,对于数据服务建立准入准出原则,定期根据评估结果优化服务内容,提升中台能力质量,防范体系“臃肿”。同时,对于需求方提出的数据需求应建立合理的审批制度,并由管理方或有关人员统筹需求的实现计划,避免对于非急迫、非共性需求的实现,以及对于已实现需求的部分重复开发,从源头上确保数据中台中所提供数据服务内容的整体质量。
此外,数据中台运营方还应从需求方的视角出发,不断优化数据服务门户的易用性、相关资源检索能力、相似资源的匹配提示能力,并加强对于相关业务人员的使用培训,确保需求方能够从中获取已实现的数据服务内容,避免需求的重复提出,从根本上减小数据中台体量无序膨胀的可能性。
(二)价值量化
数据中台实际应用效果应从成本、支出、收益等角度进行价值量化,由数据资产管理体系统一串接,形成一套可测量的价值量化方法。数据中台成本、支出主要体现在平台建设(含软硬件采买,软硬件部署实施)、团队搭建、人才培养、平台运维、平台升级等维度;数据中台收益部分体现在多个方面,主要围绕数智驱动带来的企业经营的降本、增效、提质、降耗等方面,企业可根据自身业务特点,在企业不同发展阶段建立数据中台价值量化考评机制,针对数据中台价值收益进行综合评估。
具体来看,数据中台的价值可以通过数据标准评估、数据资产评估和服务效果评估几个维度来综合评估。
- 数据标准评估:从数据接入规范、数据建模规范、数据存储规范、数据安全规范、数据调用规范和数据销毁规范等多个规范的建立和执行情况衡量。
- 数据资产评估:数据资产化意味着在公司内部形成共同的“数据语言”,各部门为了统一的分析目的,形成各自对应的统计标准,在运营过程中实时对数据进行收集汇总分析。通过构建数据资产大屏,从接入数据量,数据使用频次、热度,数据质量稽核评分,开放的数据服务数量等多个维度对形成的数据资产进行评估。
- 服务效果评估:数据形成资产后,通过数据中台开放给各部门使用,由数据驱动决策,实现业务和组织的数字化运营。由此可通过数据服务的时效性、稳定性、满意度、价值贡献度等方面进行评估。
通过以上维度,企业可以提升数据中台产生的收益为目标,结合数据中台的建设成本和持续性支出,构建完整的价值量化管理模型,根据衡量结果对数据中台进行持续优化。
(三)持续迭代
数据中台的建设一般是阶段性过程,每个阶段都会有各自的场景目标,但数据中台的运营工作却是一个长期持续的过程,这一过程不是单纯为保证其运转正常而对现有建设内容的日常维护,更是一个发现、迭代、完善的过程。
数据中台运营的长期持续迭代需要注重多方面。既可以包括已建设内容的迭代,如数据模型的变更调优、数据治理规则的扩展深化、数据加工链路的编排优化等;又可以包括技术平台能力的迭代,如新功能新特性的增强、任务运行性能的提升、计算存储资源分配的优化、数据安全保障措施的完善等,这些迭代内容都可以在日常运营过程中发现,并逐步更新。
数据中台的运营除了需要关注偏技术层面的迭代,同时也应注重业务场景的不断完善。企业业务的价值场景是不断变化的,即便是已建设完成的场景,也会由于外界政策要求、市场环境变化等因素的影响,进而需要及时的调整补全。同时,更要充分利用现有的能力,去发现新的场景,服务新的应用,由此才能对企业的经营发展提供助力,真正体现运营的价值。
(四)业技融合
数据中台的能力通常以企业数据加工利用一体化平台的形式具象化体现,其能力承载于相应的技术平台之上,由此其主要的运营工作往往也由信息技术部门承担。但其中汇集的数据却往往来源于企业的各项业务,并最终服务于业务,例如从业务在企业内部涉及到的各层次人员对于数据中台的需求来看:对于决策层,数据中台的使用必须要提升业务管理决策的支持水平;对于管理层,迫切需要利用数据中台提升管理效率,降低管理成本;对于基层人员,如何利用数据中台提高日常工作的执行效率,有效防范风险,提升业务效益是其关心的核心问题。由此可见,数据中台的价值最终也不可避免的体现在对于企业内部业务相关各层次人员需求的满足程度上。
因此,数据中台的运营工作需要信息技术部门和业务部门共同完成,单独由一方负责数据中台的运营都隐含着不同的潜在问题。
在技术驱动运营方面,信息技术部门的关注重心往往在于数据的规划、集成、标准、建模、开发、治理、服务等数据管理能力的正常运转,平台相关功能是否满足现今的使用需要,平台使用的技术与资源能否应对发展趋势等,这些更多是技术层面的运营,可能并不是用户真正所需,所能展现的运营成效缺乏直观的价值体现。
在业务驱动运营方面,业务部门关注重心往往在于能否便捷的检索、获取到所需所想的数据资源,以支撑业务发展;数据的流转、应用过程是否足够简单、快捷、多样,以提升效率,优化业务流程;拿到的数据是否足够完整、准确,以促进业务的决策与成功等。这些业务驱动由于涉及面广,需求实现路径差异大,运营优化存在一定的难度与成本。
单一从技术或业务层面进行数据中台的运营都存在各自的不足,只有注重技术与业务的融合,以业务促进技术革新,以技术带动业务创新,形成良性互促,才能更好的保证数据中台运营工作长效进行。
(五)组织保障
为促进数据中台的使用,确保运营工作的长效开展,除了重视平台运营之外,更需要相应的组织管理机制做保障,形成明确的组织架构、职责分工,确定相应的角色、职责、汇报关系并制定人员配置管理计划,作为运营体系的基础支撑,使企业相关部门和责任人重视数据中台的运营工作。企业在日常经营中,需明确数据管理和数据应用要求,数据来源与业务属性强绑定,在出现跨职能交互的数据需求,也要有对应协调机制做保障,使业务顺利进行。
一般来说,企业数据中台运营组织架构可以包括决策层、组织协调层、管理层、执行层四个层级。决策层作为数据决策方,由组织CIO或CDO担任,拥有数据中台工作的最高决策权,通过对数据驱动业务理念的深刻认识,对企业上下进行认知层面的宣贯,同时,负责制定数据中台的数据运营决策、战略和考核机制,并监控数据中台所有工作的顺利进行。组织协调层由虚拟的数据中台运营管理委员会承担,负责统筹管理和协调资源,细化数据中台运营工作的考核指标。管理层由具体的数据中台运营管理部门承担,作为数据中台运营管理工作的主要实体管理部门,负责构建和维护组织级架构(包括业务架构、数据架构、IT架构),制定数据中台运营管理制度体系和长效机制,定期汇总数据中台运营管理情况,并向组织协调层和决策层汇报。执行层由业务部门和信息技术部门共同承担,负责在数据项目中落实具体工作,与管理层协同参与各项运营活动。
在数据中台的实际应用中,要明确其本质是组织架构的重塑,首先要从管理层开始,重视数据经营的理念,形成合理的企业组织架构,不断同步构建与其相匹配的管理制度、流程,同时确保所有参与方从认知上足够重视,从行为上严格遵循,参照标准化、规范化的数据中台运维运营规范所支撑的运营体系,更好的发挥数据中台的价值,突显其在企业数字化转型当中的重要地位。
随着数字化转型趋势的加快,数据对于企业的价值和重要性越来越高,数据中台也将服务于更多企业。未来,数据中台将呈现出以下发展趋势。
数据要素市场的逐渐成熟加速数据中台普及。随着数据成为生产要素,数据要素市场化配置的提出,越来越多的企业将实现对外数据服务提上日程,更多的对外数据服务需求将进一步倒逼企业完善自身内部的数据体系建设工作。数据中台作为企业使数据产生价值所需的能力集合,是体系化梳理并实现企业级数据能力建设的不二选择,也将伴随着数据要素市场的日益成熟逐渐被更多的企业需要,实现覆盖度的进一步提升。
伴随数据素养的全面提升数据中台形态将发生转变。在大量企业的用数场景中,仍需经由具体业务人员的使用才能实际将数据转化成业务价值,因此业务人员的数据素养情况决定了企业数据中台实际的建成形态。未来伴随着数据领域相关知识的普及化,相关教育的通识化,全体业务人员的数据素养将进一步提升,使得用数需求的自主性逐渐向业务侧偏移,部分数据中台从集中式向集中+BP式转变。但最终,数据支撑人员的角色可能将逐渐消失,融入业务团队,或被具有充足数据技能的业务人员代替。
智能化推动数据中台技术工具高效易用特性加深。数据中台的实际运转仍需技术工具支撑维系,在组织架构和流程制度之外,工具的易用性是影响整个数据加工利用链路效率的最核心影响因素,易用性较高的工具也将进一步降低门槛,扩大可担任数据支撑人员的人群范围。未来随着以人工智能为代表的智能化、自动化技术不断成熟,交互式分析、辅助开发、自动化加工处理、数据加工链路优化、引擎存算效率优化等自上到下的大量场景优化均可得到实现,从而进一步提升数据中台的易用性,更为高效的实现数据价值的释放。
来源: 中国通信标准化协会大数据技术标准推进委员会(CCSA TC601,简称:数标委/BDC)
数标委/BDC旨在凝聚产业链各个环节,识别和解决大数据发展面临的重大问题,开展大数据技术、数据资产管理、数据共享与流通、数据安全等共性基础标准研究,以标准推进工作为纽带,推动大数据与实体经济深度融合。
报告下载:《数据中台实践指南(1.0版)》.pdf
【END】