数据资产梳理

核心提示「来源: |企业数字化咨询 ID:gh_afd51c79091d」须知后台回复【技术】,申请加入资料分享&技术交流群略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营。数据资产管理运营 = 数据资产盘点 + 数据治理 +

"来源:|企业数字咨询ID: GH _ AFD51C79091D "

布告

后台回复【技术】,申请加入数据共享技术交流群。

忽略大数据分析的背景和价值,简单介绍一下如何管理数据资产。

数据资产管理运营=数据资产存量+数据治理+数据价值实现。

而管理和运营是一个完整的过程。首先,我们需要知道有哪些数据可用并将其转化为可以发挥价值的数据资产,然后在数据应用层面实现价值,也就是最终我们需要能够引导业务产出价值。

下面分别对这三部分进行简单介绍。

01数据资产清单

1.数据源

数据交换形成内部数据+外部数据:

ODS附加源层:与源系统一致,可能会进行一些数据标准化/数据清理。如果不能对源系统进行改造,就需要对这一步的数据进行标准化,以保证数据仓库级别符合标准。

仓库级:根据主题进行构建和处理。

一般几个仓库分为来源层、标准化层、汇总层、指标层、市场层。

数据集市:针对特定应用,高并发数据查询,将处理后的仓库级数据导出到数据集市,方便小规模应用。

上述结构化数据加上半结构化数据和非结构化数据)构建成一个大数据平台。

2.数据分类

在完成数据整理,了解数据分布后,就要搞清楚机密和敏感数据的分布。

分类:根据数据的来源、内容和目的对数据进行分类。

数据的分类:根据已分类的数据资产,业务部门根据数据的价值、敏感程度、影响范围进行敏感性分类,将已分类的数据资产划分为公开、内部、敏感等不同的敏感级别。

3.数据识别

数据整理分类后,需要确认数据的归属,有利于后期的权限整理和数据管理运营。

4.整理数据权限

主要涉及访问控制和敏感信息的保护,如身份证号和手机号的脱敏等。,需要结合数据分类和数据识别。

02数据治理

1.[计]元数据

当我们在表中看到一个数据时,我们只看到数据的值,而对数据的身份背景从何而来一无所知,所以我们需要元数据。元数据是指用于描述数据的数据。那么我们需要描述什么呢?

业务元数据:描述数据的业务含义和业务规则。至少让你知道这一项数据是什么意思,是按什么规则处理的,避免大家对数据的臆想...自言自语。通常包括业务定义、业务规则、业务指标等。技术:技术的定义和描述是为了便于识别数据的存储、传输和交换。常见的技术元数据包括:存储位置、数据模型、字段长度、字段类型、ETL脚本、SQL脚本、接口程序和其他管理元数据。描述数据的管理属性,包括管理部门、管理责任人等。内容主要包括:组织、岗位、职责、流程、项目、版本等。与元数据管理相关。

那么我们能用这些元数据做什么呢?

了解数据来自哪里,经过了哪些处理,数据与其他数据的关系,哪些数据是属于企业的常用数据等等。

2.数据标准

有了元数据,我们还需要制定相应的数据标准来规范我们对数据的使用。比如,为了支持数据交互,我们需要定义格式标准,为了避免混淆和歧义,我们需要定义数据项名称标准和数据项值标准。

元数据是数据标准的基础,元数据需要有相应的数据标准。比如业务元数据,标准要明确是同比还是环比,比如技术元数据。可能每个数据库做的表的标准不一样,男女会出现男/女,1/0...这种情况需要我们按照一个统一的标准来定义和输入。

3.数据质量

标准是为数据质量服务的,数据管理的目的是提高数据质量,为决策分析提供更准确的数据。数据的标准评估维度示例如下:

标准数据评估指数

一般数据质量问题可能是输入错误造成的,需要通过报表进行检查和整改,才能知道哪些部门的数据质量怎么样。代码问题采用错误的逻辑判断。在导入和导出有缺失数据的数据的过程中,由于不同的编码规则导致的数据被丢弃,因此可以在每个流通环节增加验证机制。

4.主数据管理

主数据是企业系统间共享度高的数据,经常跨各个业务部门使用,相对稳定。常见的主数据包括客户、产品、机构人员等。

主数据有三个主要特征:

①高价值:主数据是所有业务处理都离不开的实体数据。与大数据相比,价值密度很高。②高度共享:主数据是跨部门、跨系统高度共享的数据。③相对稳定:与交易数据相比,主数据相对稳定,变化频率低。

同时,这些特征也反映出主数据存在诸多问题,如数据录入众多、重复录入、信息不一致、填写不规范、数据孤岛等。由于主数据的上述特点,管理方法会有些不同。

通常有三种管理形式:

1.它由单独的系统管理。比如CRM系统是客户数据的主要数据平台,可以保证在各个地方交互时数据一致。

2.集中管控,收集所有客户、产品等主数据。,并构建统一维护的主数据平台。方法是通过数据同步机制,将异地的主数据,比如财务系统,同步到主数据平台。

3.在仓库级别,构建一个主题,比如将客户数据同步到源系统。这种方法会比较麻烦,控制效果也太好了。

5.数据安全管理

数据安全贯穿于数据使用的全过程,尤其是在一些数据敏感度较高的机构,如政府、军队、银行等。,对数据安全性要求较高。

数据存储安全:包括物理安全和系统安全。数据存储的安全性主要通过购买安全硬件来保证。

数据传输安全:包括数据加密和数据网络安全控制,由专业加密软件厂商设计安装。

数据安全:需要从业务系统层面加强控制,规范数据访问、下载、共享和销毁流程。

03数据价值实现

现在数据已经准备的整整齐齐,可以用什么服务来实现价值呢?一般可以分为三种。

基础数据服务:查询、多维分析等。,数据采集和指标分析以SQL的形式进行。支持简单的条件查询,数据操作中的路径分析,漏斗模型等等。

画像服务:通过使用标签数据,提供客户画像、精准营销等服务。例如,相关性分析和RFM模型是常用的模型。

算法服务:包括推荐系统、风险控制等。,通过将算法模型部署为在线API。这部分根据不同的行业有不同的需求,比如投资分析、文本语义分析、交通路线优化等不同场景下的应用。

本文原载于简书,作者多肉饼。

免责声明:

来源:数据学院

微信官方账号中的文章均为微信官方账号原创或根据网络搜索编辑,文章版权归原作者所有。由于转载众多,无法找到真实出处,如出处有误,或本文使用的下载链接中包含的图片、资料、软件、资料等。如有侵权,请联系我们删除。谢谢你。

福利

积累:每天学习一个解决方案。欢迎来到“企业数字化咨询”的知识星球。加入可以获得其他6000+的解决方案/报告!

内容:这是我自己精心打造的知识社区。在这里,你会得到组织良好的研究报告、解决方案、方法论、电子书、行业咨询、行业发展等。在企业数字化领域,包括工业互联网、企业数字化、智能制造、大数据、工业4.0等。预计年分享数将超过10,000+份。另外还会购买一些经典的PPT模板供你使用!

定位:希望将这个知识星球打造成为一个大家都愿意讨论、经常搜索信息的行业图书馆,成为企业数字化领域的专业利器!

流行文章

整合信息技术加速智能制造进程

后MES时代已经悄然到来。

企业智能化转型之路

企业的数字化

从数字经济到行业智能,什么都看。

特斯拉自主研发的ERP给企业信息化带来哪些启示?

从智能工厂到工业互联网,什么都能读。

一次看完《数字咨询》。

「智能制造」最原始的驱动力是什么?

企业信息化的前景如何?

如何用互联网和数字化赋能制造业?

行业,互联网,不是空空穴来风。

SAAS,云计算的终极杀手

5G技术能为智能制造赋能什么?

阅读“人工智能+制造业”

企业信息化的前景如何?

14.信息化规划有哪些值得考虑的方向?

互联网的战场比我们想象的要难?

后MES时代,制造过程管理何去何从?

为什么国内MES项目平均交付率低于50%?

【连载】后MES时代,MES项目功能规划存在诸多误区。

MES项目结束后的“接班人”,后MES时代

MES项目失败的原因——后MES时代

谁是梅斯的儿子?后市场经济时代

 
友情链接
鄂ICP备19019357号-22