搭建数据中台

核心提示转载本文需注明出处:微信公众号EAWorld,违者必究。数据中台的概念由来已久,从技术产品构成上来讲,比如数仓、大数据中间件等产品组件相对完备。但是我们认为依然不能把数据中台建设作为一个技术平台的项目来实施。金融机构在数字化转型的进程中建立

本文需注明出处:微信微信官方账号EAWorld,违者必究。

数据平台的概念由来已久。在技术产品构成上,数据仓库、大数据中间件等产品组件比较齐全。但我们仍然认为数据中心的建设不能作为一个技术平台项目来实施。在数字化转型过程中,金融机构必须从战略高度、组织保障和认知层面进行规划,建立数据中心。在战略规划的指导下,建立一套可持续、自助式、端到端的数据中心建设体系,以加速金融机构全面数字化转型的进程。

企业数字化转型,数据中心确实是数字化转型的试验田,所以数据中心掀起了热潮;但由于对数据中心的建设认识不足,强调数字化转型,却忽略了数据中心的价值、数字资产的管理和应用。导致数据中心中技术平台的出现;该值不能最大化。本文将从数据中心的价值体现和核心竞争力的本质出发,对数据中心的建设做一个简要的认识。

数据站的价值体现

这是关于中间站在数据中的价值的一般图表;本文描述了一个数据和业务之间的闭环过程,不同于以往数据治理从数据开始,以自闭环结束,导致数据治理困难的情况。数据中心的建设为业务数据管理打开了一扇大门。

因为我们平时和金融机构的科技部门交流,在技术人员眼里,数据中心往往被理解为技术平台,大数据平台。其实这是不对的。这里必须强调,数据中心的核心是数据服务的能力,服务的对象是业务。所以一定要结合实际的业务场景,比如:精准营销、智能风控直接通过服务的形式赋能业务。数据中心针对的不仅仅是技术人员,更多的是业务部门。无论是科技部门建设还是运营部门建设,数据中心的价值观都必须统一:数据是资产。

数据中心的使命是赋予实现数据资产价值的能力,无论是通过业务赋能的隐性实现,还是通过数据服务的公开交易的直接实现。都需要一个很重要的基础条件“数据资产化”。

作为金融机构各类业务系统的数据服务提供商,中国数据中心通过自身的数据处理能力和业务数据的持续供应,形成了一套持续运行、不断完善的数据资产体系。当金融机构面临业务多样化的挑战,需要构建新的前端应用时,数据中心可以快速提供数据服务,灵敏响应金融机构多样化的业务创新,使金融机构在金融融合创新时代保持高度竞争力。

数据站的核心竞争力

现实中,由于缺乏对数据中心的全面了解,数据中心很难落地。目前数据中心的建设往往是技术组件的积累,是对传统数据仓库的修正。基于我们在数据领域多年的经验,我们认为数据中心必须具备四个基本的核心能力:磁盘、监管、整合和利用率。

1数据中心“盘”的关键是盘活数据。

提到“盘”,我们很容易想到“库存”这个词。没错,我们要说的是“数据盘点”。什么是“数据库存”?所谓“数据盘点”,相对于“资产盘点”和“库存盘点”来说,就是炫耀数据,看看我们公司在经营管理活动中积累了哪些数据,从而对我们整个数据盘和数据环节有一个整体的了解。刚才我们“设定”的是内部数据。实际上,我们需要建立一套外部数据,即我们在经营活动中需要收集的外部数据,以及已经收集了哪些外部数据。

现在我们知道了“盘”的范围,即金融企业经营管理活动中沉淀的数据资源和经营活动中需要的外部数据。我们已经知道了我们需要知道的数据基础。这就足够了吗?不是,当然是由于一些客观原因,在科技建设过程中造成了数据系统烟囱式的建立,一个个形成了数据孤岛。数据中间站建设的主要目标之一是消除数据孤岛,打通金融企业的数据链路。因此,数据盘点不能仅仅停留在常规的“盘点”层面,而是要通过一定的技术手段,整合金融企业内外部数据系统,汇聚内外部数据资源,盘活整个数据盘,让数据像水、电、气一样循环流动,从而更好地服务于金融企业的经营管理活动。

所以“盘”是关于库存,但更重要的是“库存”完成后,在了解数据基本面后的数据整合和衔接,也就是“盘活”。

目前数据整合汇聚的技术实现已经非常成熟,这里就不赘述了。至于数据集成的方法,其实只有两种:基于ID的集成和基于数据主体的集成。

2数据中心的“监管”重点是标签系统。

“规则”,有了法律,就是规则、制度、制度。

说到数据,书籍通常被比作石油,“管制”相当于一个石油净化的过程。所以数据中的“管制”是一个数据净化的过程,也就是“数据资本化”的过程。我们知道油品净化有一系列的标准体系,所以数据资产化也需要建立完整的数据资产体系。金融机构数据资产体系的构建必须以业务价值为核心,从促进业务数据向数据资产转化的角度进行构建。

传统的数字化建设往往局限于单个业务单元,忽略了数据多业务关联的属性,缺乏对数据的深入理解。数据站必须连接全球数据,通过统一的数据标准建立标准化的、业务紧密集成的、可扩展的数据标签系统。

数据平台建设的核心是数据,数据平台管理的核心是数据,数据平台应用的核心是数据。那么对于数据金融企业来说重要的是,在数据中心建设过程中,我们依靠什么样的数据系统来建设我们的数据中心呢?那么数据中心的数据建设体系应该是什么样的呢?这些都需要我们有一个基本的认知。

我们认为数据中心的建设至少应该包括四个层次结构:应用、标签、主题和发布源。

源层:不知道是哪位前辈取的这个名字。顾名思义,非常生动,与源数据一致;那么他的作用对于我们技术部门来说还是很重要的。通俗的理解就是“甩锅”。关于这一点,你可以细细品味...

主题:金融企业常用的十大数据主题在数据体系中对应的就是这个级别,这里就不赘述了。这个层次也对应着数据整合和汇聚的范畴。

标签层:数据对象建模层。当我们谈到数据整合的方式时,我们抛开了基于ID的整合,那么在这里,基于ID,我们将各种主题和业务流程的同一个对象跨主题和业务板块连接起来,形成一个对象的全局标签系统,以便于数据的深度分析、价值挖掘和敏捷应用。

应用层:根据金融企业的具体业务场景,从标签层和主题层提取数据,为业务处理具体数据,为业务提供端到端的数据服务。当然,一些具体的业务场景需要兼顾性能需求和应急需求,也可以直接从过账层抓取数据,直接服务于具体的业务场景。我们可以真正为业务提供端到端的数据服务,并兼顾数据中心的灵活性、可用性和稳定性。

标签——数据中心价值魅力的体现

数据标签体系的构建可以使数据具有可读性,即数据开发者和数据使用者对数据有统一的认知,更便于端到端的数据使用;第二,通过数据标签目录对标签进行组织和结构化,以更灵活的方式适应未来多样化业务场景对数据应用的需求。

以上是某金融机构常见的客户标签;数据中心中的数据不断得到业务的滋养。在数据中心的运营过程中,结合上图,我们不难想象标签数据并不是一成不变的。在得到业务滋养的同时,也需要不断的调整来更好的反哺业务,不断的互补,这样数据中心才能为业务提供更有价值的数据服务。因此,我们将标签构建的整个过程总结如下:

1.数据对象的认知:充分理清数据关系,确定数据对象。

第二步。制定标签目录结构:根据业务需求定制标签体系框架,原则上将标签分为三层,逐步填充标签内容。

第三步。整合可利用的数据资源:整合与对象相关的业务数据资源,如账户数据、交易数据、行为数据、交易数据、风险数据、社交数据等。,通过对象ID和ID-ID的映射关系。

第四步。构建标签模型:结合业务需求和业务人员的经验对数据进行建模,进一步挖掘和完善标签。

第五步。标签应用:将标签应用于实际业务场景,为业务提供高价值的数据服务。

第六步。标签优化:通过业务运营检查标签和权重分配的合理性,优化标签体系,通过业务滋养丰富和完善标签体系,进一步反哺业务运营。

在整个标签层的建设过程中,要以数据价值为导向,尊重数据可行性和业务可行性,对整个建设过程进行约束和规范,体现数据中心的价值魅力。

3数据整合的难点在于数据治理。

中文对“整改”有多种解释。《后汉书·张衡传》中有云,即整顿法度。所以,整个字就是整顿、整顿、治理的意思。这里也取“整改”二字,意为整顿、整改、治理。

数据治理是数据资产管理的重要组成部分。数据治理兴起于上世纪90年代,但纵观中国发展史,每一次朝代更替都是一次数据治理的过程。最近清政府入关,“不留一毛,不留一毛”,这是一个数据治理。再进一步,最早的秦朝灭六国,始皇帝统测,焚书坑儒,同轨同书,是中国历史上最彻底的数据管理。所以我们中国人对数据治理这个概念并不陌生。

1.找到差距,制定计划。

数据治理是一场持久战,是一项持续的工作;我们需要根据目前的情况制定短期、中期和长期的战略计划。在整体战略规划上,要以急用为先。

了解短期和中长期的业务和技术战略及目标,尤其是与数据治理相关的信息;通过访谈、调研等。,在内部营造数据治理的氛围,相关人员对数据治理的目标和价值达成普遍共识。

根据实际的差距和计划,制定自己的数据计划。

2.书籍的相同文本和汽车的相同轨迹:设定标准。

企业的数据标准一般以行业标准为基础,如国家标准、监管机构制定的标准等。他们根据自己的实际情况对数据进行标准化,一般包括分类、格式、编码规则、字典值等。好的数据标准体系有利于金融企业数据的共享、交互和应用,可以减少不同系统间数据转换的工作。数据的制定要符合业务和技术的发展要求,优先解决共性和迫切问题。数据由业务、技术、权限等内容组成:

业务:定义业务主题和业务概念,包括业务使用的规则和相关的标准来源。对于代码标准,将进一步明确编码规则和相关代码内容,达到统一定义、统一口径、统一名称、统一引用、统一来源的目的,进而形成一套一致、规范、开放、共享的业务标准数据。

技术:描述数据类型、数据格式、数据长度、源系统等技术属性,为信息系统的建设和使用提供指导和约束。

权限:明确数据标准的所有者、管理者、使用者等内容,使数据标准的管理和维护有明确的责任主体,保证数据标准能够不断更新和完善。

所以数据标准的制定要从业务数据入手。经过详细的资料调研、访谈、设计、评审等标准定义流程。;数据标准的制定应本着“逐步持续改进”的原则,支持建立数据标准的完整过程,确保每个数据标准对应企业的数据需求,并确保数据标准是正当的。

3.质量保证

数据质量管理是金融企业数据治理的有机组成部分。高质量的数据是金融企业进行分析决策和业务发展规划的重要基础。只有建立完整的数据质量体系,才能有效提升银行数据的整体质量,从而更好地服务客户,为决策分析提供更准确的数据。

1、制度与规范

从技术层面来看,数据质量的评价维度应该是完整的、全面的,包括完整性和及时性等。根据定义的维度,在系统建设的各个阶段,按照标准进行数据质量检查和规范,及时进行治理,避免事后清理。

2.金融企业数据质量管理流程

数据质量问题在各个阶段都会发生,因此有必要定义各个阶段的数据质量管理流程。例如,在需求和设计阶段,需要定义数据质量的规则,以指导数据结构和程序逻辑的设计。在开发和测试阶段,需要对前述规则进行验证,以确保相应的规则能够生效;最后,生产之后还要有相应的检查,尽可能把数据质量问题消灭在萌芽状态。对于数据质量管理措施,宜采取控制增量、淘汰存量的策略,有效控制增量,持续淘汰。

4.数据安全

近年来,欧盟出台了《通用数据保护条例》。中国的监管层面在不断完善数据治理,所以我们要把数据安全纳入数据治理的范畴。尤其是金融企业中的数据采集和数据存储,涉及到大量的客户敏感数据。目前主要采用数据采集安全、数据存储安全、数据传输安全和数据使用安全,通过一定的技术和规章制度尽可能提高数据安全性。比如数字签名、智能合约、物理隔离、通道隔离的应用,安全性会不断提升,但要彻底消除安全隐患,可能还需要很长的路。数据安全将是金融企业数据治理的一个重点,也是金融企业科技从业人员将要面临和解决的一个大问题。

4数据中心的“用”体现在数据服务上。

“用”就是使用和应用。我们之前多次提到,数据中心让数据的使用变得更容易,数据中心为业务提供端到端的数据服务。数据服务是实现数据中心资产价值的核心载体,是连接前台和后台的桥梁。数据中心可以以服务的形式为前台业务提供端到端的数据支持,支持数据应用,更贴近业务,可以让业务更快创新,创造更多价值。

数据,打通企业数字化应用最后一公里。

1.常见的数据服务模式:

查询:通过特定条件输入,以API的形式调用前台业务。查询服务的应用场景非常广泛,基本上贯穿了整个业务和管理活动,是最常见的一类数据服务。

分析:结合大数据技术,高效分析数据。在金融企业中,分析类服务主要是决策支持、风险控制、客户洞察等应用场景。

推荐:基于客户标签对客户进行画像,根据客户的活动、行为、喜好定向精准推送服务产品,广泛应用于金融企业的精准营销场景。

对人服务:在金融企业中,产品和营销活动一般是核心。在用户数据总量上,基于标签组合圈定营销对象,如理财产品营销。产品定位为年轻人和高净值人群,可以通过圈定这两个标签群体来进行营销。本质上,这和推荐服务是一样的,都是通过用户标签体系的组合来构建客户画像,只是主体不同。

2.常见的数据服务类型:

大数据屏:大数据可视化屏是很重要的“脸”。一方面可以通过炫酷的效果让人眼前一亮,同时也能有效传达业务和数据的“里子”。

报表:通常,分析数据服务为数据报表提供服务支持。数据报表的应用主要是将各种数据指标以可视化的形式呈现出来,主要通过钻取、对比、关联分析来灵活查看相关数据。

商业智能:商业智能应用是数据应用的核心,是数据洞察和业务创新的重要支撑。商业智能是与数据标签结合最紧密的一种数据应用形式。从数据服务类型来看,包括推荐服务和圈子服务,主要通过数据画像实现数据洞察和业务创新。金融企业使用的场景非常广泛,比如风控、营销、产品设计、生物识别等等。

由于篇幅有限,这一次,我们将对数据中心的建设做一个简单的介绍,详细内容将在后续推文中呈现,敬请期待。

作者简介:姚斌,数字金融研究院研究员,长期致力于科技管理、产品设计、RD效率、质量管理等领域的实践。拥有多年大型企业IT规划建设经验,参与过多家大型企事业单位、金融机构的流程平台、业务系统的规划和落地,对零售业务有深刻的理解,有扎实的台湾业务落地经验。

 
友情链接
鄂ICP备19019357号-22