数据治理是逐步实现数据价值的过程。具体来说,数据治理是指通过采集、传输、存储等一系列标准化流程,将分散的用户数据变为格式规范、结构统一的数据,并拥有严格规范的全面数据控制;将这些标准化的数据进一步加工分析成具有指导意义的业务监测报告和业务监测模型,帮助业务进行辅助决策。

在数据管理上,涉及前端业务系统、后端业务数据库系统再到业务终端的数据分析,从源头到终端再回到源头,形成闭环负反馈系统。同样,在数据治理中,我们也需要一套标准化的规范来指导数据的采集、传输、存储和应用。
数据治理包括四个方面:数据规划、数据收集、数据存储管理和数据应用。根据各个方面的特点,我们可以将数据治理概括为四个字,即“合理性”、“挖掘”、“存储”和“使用”。1.基本原理:梳理业务流程,规划数据资源。对于企业来说,每天的实时数据会超过TB级别。需要收集用户的哪些数据?你把这么多数据放在哪里,怎么放,用什么方式放?这些问题需要提前规划,需要有一套从无序到有序的过程。这个过程需要跨部门协作,包括前端、后端、数据工程师、数据分析师、项目经理等角色的参与。2.获取:ETL收集、去重复、去敏感、转换、关联和删除离群值。数据部门将收集到的数据发送给数据部门,数据部门通过ETL工具将数据从源端提取、转换、加载到目的端,将分散、杂乱的数据集中存储。3.存储:大数据的高性能存储和管理哪里有那么多业务数据?这就需要高性能的大数据存储系统。在这个系统中,数据将被分类到其对应的数据库中,这将为后续的管理和使用提供最大的便利。4.用途:即时查询、报表监控、智能分析、模型预测等数据管理的最终目的是辅助业务决策。前三个方面都是最终查询、分析和监控的基础。这个阶段是数据分析师的主场,分析师可以利用这些标准化的数据进行即时查询,建立指标体系和报表体系,分析业务问题,甚至预测模型。
了解了数据治理的四个方面之后,让我们知道数据治理给企业带来的巨大好处和价值。但目前主要问题是缺乏数据治理专业人才,持有数据治理证书的专业人才更少。企业数据治理的进展比较缓慢,很多数据价值还没有被发现。为解决社会对数据管理人才的迫切需求,规范数字要素市场,促进政府数据开放共享,提升社会数据资源价值,加强数据资源整合和安全保护,大码中国决定建立“数据人才”长期成长计划,并对个人进行培训和认证。为了方便国内广大数据从业者学习相关认证,DAMA中国对考试语言、考试形式、考试内容、证书类型等进行了适当的本地化和重构。DAMA国际数据管理专业人员认证以国际数据管理协会的DAMA数据管理知识体系为基础,结合国内实际需求。重建后认证考试分为数据管理工程师和数据管理专家。DAMA中国承担认证考试命题工作,定期组织中文考试。DAMA中国向通过考试的人员颁发认证证书。证书有效期为三年,只有获得CDGA认证才能申请CDGP认证考试。申请CDGA:大专以上学历;CDGP:博士学位获得者;取得硕士学位后,从事IT相关工作1年以上者;毕业后从事IT相关工作3年以上者;大专毕业,从事IT相关工作5年以上者。


