投稿邮箱

digitcw@163.com

您的位置:首页 > 产业观察 >
数字化转型背景下的数据中台建设探讨
作者:赵法彬   添加时间:2021-11-23
基于数字化转型的大背景,系统阐述数据中台的建设导向,明确各方需求,分析数据中台建设的关键环节,并重点说明了如何在数据中台建设过程中消除数据孤岛,推动数据服务化进程。

数字化转型背景下的数据中台建设探讨

郑金辉

(中国电信系统集成公司,北京  100035)

摘要:基于数字化转型的大背景,系统阐述数据中台的建设导向,明确各方需求,分析数据中台建设的关键环节,并重点说明了如何在数据中台建设过程中消除数据孤岛,推动数据服务化进程。

关键词:数据中台;数据治理;数据孤岛



Discussion on the Construction of Data Middle-platform under the Background of Digital Transformation

ZHENG Jinhui

(China Telecom Group System Integration Co., Ltd., Beijing 100035, China)

Abstract: Based on the background of digital transformation, this paper systematically expounds the construction guidance of data middle-platform, clarifies the requirements of all parties, analyzes the key parts of data middle-platform construction, and focuses on how to eliminate data islands and promote the process of data service in the process of data middle-platform construction.

Key words: data middle-platform; data governance; data island


0 引言

数字经济的出现给传统产业带来了根本性的变革,随着数字化转型的深入和“十四五”规划的开展,数据作为重要的生产要素已经成为行业客户的共识,数据中台和数据能力建设也成为行业信息化关注的焦点。本文谨从数据中台建设各相关需求、数据中台建设关键要素以及数据孤岛消除等几个层面展开进行分析,尝试对数据中台建设进行剖析。


1  数据中台建设的基本认知


1.1 数据中台的基本概念

数据中台的概念正处在认知整合期,业内各方对数据中台的认知正在趋向统一。与大数据应用平台更关注数据应用场景不同的是,数据中台是一套让企业数据持续运转的机制,通过数据域公共服务能力的建设实现了数据从资源到资产的升华。通过业务数据化和数据业务化实现企业数据的有序流动,最终实现数据的可见、可用、可运营。


1.2 数据中台建设的两个导向

数字经济的出现给传统产业带来了根本性的变革,对IT的诉求也从基础支撑向激发创新和价值赋能转型。在这样一个背景下,数据从资源向资产的跃迁成为趋势。从这个角度说,数据中台建设就有了两个导向,一个是从IT基础设施出发的能力建设导向;另一个是从业务需求出发的价值创造导向。

首先是能力建设导向,一般是从IT基础设施层面发起的,由IT部门主导,是IT从基础支撑向服务业务转型的一种架构升级措施,希望把IT侧的能力从资源供给向能力供给转变,数据就成了关键的抓手,建设的是平台,期望的是能力。

价值创造导向,一般是由业务部门主持,从业务需求出发,把数据当做生产要素去管理,希望通过对数据的加工和利用实现业务侧的价值,建设的是应用,期望的是成效。

这两种思路从根本上来讲,不矛盾,但也不是一个思路,能力建设是IT部门的绝地反击,价值创造是业务部门的主动觉醒。现阶段和未来一段时间IT建设的主旋律都会围绕IT部门和业务部门展开。换句话讲,谁掌握了数据域规划和建设的主导权,谁就掌握未来IT的主动权。


1.3 数据中台建设的三类角色需求

数据中台建设过程中,在客户侧始终存在三类角色,代表着客户不同层面的诉求。首先是管理层的诉求,然后是业务部门的诉求,其次还有IT部门的诉求。

(1)管理层的诉求,核心思想还是把数据资产盘活,让数据流动起来,发挥数据对管理的驱动作用。这个层面的需求也是数据最初价值的体现,其重点是决策分析和经营分析等应用场景,同时也会格外关注数据的整体价值。如何取信管理层,是数据中台项目成败的关键。

(2)业务部门的诉求,核心思想是如何让数据驱动业务发展,如何快速获取数据,如何便捷使用数据,如何敏捷进行数据开发,业务部门是数据需求的主体。业务部门不一定是数据域建设的主体,其核心诉求还是在于如何快速敏捷地获取数据服务。数据中台的建设,必须关注和引导业务部门需求的走向,把大数据应用建设向数据服务获取推进。同时有必要让业务部门接受把数据域的建设中心转移到基于平台服务的数据应用场景建设上,实现自助式数据分析是一个非常重要的愿景。

(3)IT部门的诉求,核心思想是延续传统IT的生命力和地位,从资源型IT向服务型IT转型是IT部门面临的重要课题。在这样一个背景下,数据域就成为关注焦点,从IaaS到PaaS再到DaaS,能力建设始终是关键抓手。主要包括两方面的能力:一是数据资源能力,从散乱无序的数据资源到有序分层的数据资产的能力;二是数据服务能力,从数据采集、数据存储、数据分析到数据开发这样一个全生命周期的数据服务能力。IT部门在数据域的核心抓手有两个:一是数据管理权,代表组织对全域数据行使管理权,虽然这样做很难,但是必须去做;二是数据服务能力开放,数据能力的建设只是一方面,更重要的是要实现数据服务能力的开放。


2  数据中台建设的五大基本环节

数据中台能力建设,总得来说可以概括成五个重要的环节,分别是“汇、融、管、用、营”。

(1)汇:数据汇聚是第一个重要环节,也是开启数据中台新型能力建设的第一步。重点是实现集约化的数据采集能力,包括各种采集手段和采集工具的整合和统一,同时实现原始数据的汇聚(至于是建设数据湖还是数仓要具体问题具体分析)。

(2)融:数据融合是实现数据场景化应用的重要步骤,如何实现基于业务需求场景的数据分层管理是核心问题。从原始数据入湖、标签数据入仓,再到主题数据在数据集市或者主题数据库的加载,总之是要实现数据的分层管理。另外,还需要完成一个关键动作,那就是完成数据治理和数据资产化。

(3)管:核心内容是实现数据分析等数据服务能力建设,通过数据服务开放平台实现数据能力的开放和统筹管理,这是“管”的核心内容。当然“管”还包括数据的整体监控和平台运维等内容。

(4)用:指的是数据应用的建设,对于中台来讲需要重点关注数据研发能力建设,要以实现数据自助服务为目标,实现数据应用全生命周期的服务和管理。

(5)营:指的是数据运营。数据运营才是推动数据流动的终极手段,通俗来说就是让数据用起来,活数据才是真正的有效数据,才能发挥价值。


3  消除数据孤岛是数据中台建设的根本任务

“冰冻三尺非一日之寒”,数据孤岛的形成也不是一两个人或者部门的原因,这里面有IT建设自身的问题,也有组织的问题。总的来说,一般把数据孤岛分成两种情况:一种是物理上的孤岛,一种是逻辑上的孤岛。物理孤岛很容易理解,就是以物理形式单独存在孤立的数据源,这往往是因为在多业态的格局下,缺乏统一的业务战略规划,导致数据在不同部门和业态之间相互独立存在。逻辑孤岛就相对隐蔽一些,很多行业客户表面上作了数据互联互通,却没有收到应有的效果,这就是因为没有及时关注和消除逻辑孤岛。那什么是逻辑孤岛呢,我们一般认为,不同部门站在自身利益和认知的角度对数据进行单独的定义,一部分本该一致的数据被赋予了不同的含义,增加了数据融合的成本。

对于数据孤岛的形成,除了我们传统认知中的“部门墙”的问题,很大程度上也是因为数据作为企业核心资产没有得到战略重视有关系。数据孤岛的消除要从战略、技术和管理等多个方面协同发力才能取得效果,不要妄想建一两个数仓,建设一个大数据平台就能实现,要做好持续作战的心理准备。

彻底解决数据孤岛,也不是一个一蹴而就的事情,需要统筹规划、分步实施:

(1)多源数据融合,解决存量数据的合理应用。消除数据孤岛还是应该首先从需求角度入手,应该首先解决不同角色和部门对数据的不同诉求。为什么把这一点摆在最前面呢?大家都已经意识到推动数据业务变革的难度了,在任何一个组织内部推动这样一项工作都是困难重重。所以笔者更赞成让企业尽快看到数据变革的效益,尽快尝到甜头。基于现有数据尽快开展多源数据融合,实现异构数据的整合,实现数据的统一采集和统一存储,形成几个容易见效的主题数据资源(主题数仓),不失为一个好的选择。

(2)明确责任权属,澄清数据责权利。有了一个好的开始,就得针对数据孤岛的病根入手了,需要彻底清算和盘点数据的权属问题。我们需要坚持一个底线,那就是数据属于整个组织,而不是某个单独的部门和团体。数据的所有权、管辖权和使用权,一定要分开,不能混在一起。在这样一个大的原则下,开展数据责权利的梳理,最好是在企业战略和基本章程里面进行明确。在组织机构层面也需要进行配套的变革,可以设立专门的岗位和部门代表整个组织行使数据的管辖权。

(3)实施数据治理,确定数据新秩序。明确了责任边界,就可以在数据团队的带领下,进行彻底的数据治理,也就是建章立制,树立标准规范。为什么不一开始就实施数据治理呢,其实是为了降低推行数据改革的难度,让事情得以顺利实施。数据治理什么时候做,跟组织的行动力和执行力关系非常大,如果是一个高效执行力的组织,第一时间做数据治理也未尝不可。

(4)打造数据服务,彻底疏浚数据流。数据治理完成以后,数据资源盘点也就明确了,数据的资产化也就有了基础,我们就可以更明确从业务需求出发构建数据服务了。通过数据中台建设打造数据服务开放平台,通过数据服务接口调用建设各类面向业务场景需求的数据应用,甚至可以打造面向敏捷数据需求的自助数据分析服务。如果这一愿景得以实现,我想没有那个业务部门会想着自己去维护一堆杂乱无序的原始数据,数据孤岛也就是被汹涌的数据洪流给冲散了,我们的数据湖和数据河也会持续奔流。


4  结束语

综上所述,数据中台有两个关键点,一是沉淀,首先是数据资源的沉淀,然后是能力的沉淀,数据全生命周期管理的能力沉淀;二是重用,沉淀不是目的,重用才是目的,更多的是能力的重用。面向整个组织,强调全域数据的能力输出,降低重复建设,提高数据应用建设效率和效果。

数据中台的建设不是产品和技术堆砌的过程,而是企业IT架构系统性的变革,向下需要基于已经形成的云资源和云服务打造形成平台化的数据服务能力,向上需要形成弹性灵活敏捷的数据应用支撑开发环境,更是未来数据资产化的重要载体。


作者简介:

郑金辉(1978-),男,汉族,河北定州人,工程师,本科,研究方向为云计算与大数据。