阿里云大数据分析师ACP认证
阿里云大数据分析师ACP认证是面向大数据分析师和BI工程师的专业技能认证，涵盖大数据基础知识、大数据存储技术、数据分析工具、数据可视化、数据编程、数据质量控制、数据分析项目管理、机器学习等与数据分析相关的知识体系。
阿里云大数据分析师ACP认证的好处
总结起来，有以下三点:
阿里云就业的优势之一
阿里云生态企业是重要的加分项，没有阿里云ACP认证将是重要的减分项。
阿里云现在要求所有员工都要持证上岗。阿里巴巴将审核乙方公司的ACP数量。
阿里云大数据分析师ACP认证课程
本系列根据作者参加阿里云大数据分析师ACP认证的笔记，结合网上找到的课程图片，在此发表。希望对想了解或参加ACP认证，但又不好组织的同学有所帮助。希望大家能给予更多的支持、好评和关注。谢谢你。
下面是数据分析师ACP认证课程的第一课——大数据的定义和特征。
阿里云大数据分析师ACP认证课程1
大数据的定义和特征
大数据的定义。有些同学可能认为大数据是指大量的数据。有这样一种定义方法。我们常说的大数据不是指数据本身，而是围绕数据的一系列操作过程，比如数据的获取、管理、处理、分析等。
其实这个定义还不够具体。比如古人会观察气象数据，通过分析总结出一些规律，于是就有了后来的二十四节气。那种分析算不算大数据？当然不是。
那么大数据应该是一个什么样的定义？这里有个定义。大数据是指在可承受的时间范围内，传统软件无法捕获、管理和处理的数据集合。
与传统的数据处理流程相比，大数据有以下区别:
第一，来源多，数据多。在我们的生活中，每一次网上浏览，每一次订单支付都会产生数据。
除此之外，在很多业务场景中，我们需要在短时间内，或者在可承受的时间范围内，对数据进行操作，比如淘宝的个性化推荐。如果推荐速度太慢，用户可能早就离开这个页面了，从而错过了一个潜在的销售机会。
大数据的最终目的是让数据产生价值。例如，企业将通过数据洞察和数据分析来支持企业的一些决策，以优化流程。可以说，大数据已经成为一种海量的、高增长的、多元化的信息资产。大数据就像矿石一样，可以通过聚合、清洗、分析、挖掘，产生其中蕴含的价值。
为什么会有大数据？
移动互联网的发展为大数据带来了很多数据源。比如企业会收集一些用户在自己的网站或者app上产生的数据，来分析用户的行为，产生价值。
目前，数据已经成为一种资产，对我们所有人来说越来越重要。
那么大数据是有来源的，人也是有数据的目的的，那么大数据缺什么呢？其实缺少的是相应的大数据技术。比如存储和计算技术，这些都需要云计算的支持。
对大数据处理的思考
传统上，我们习惯于直接解决问题。在大数据场景下，我们倾向于拆解一个问题，分解出很多小问题来解决。
为什么要拆解？
对于大数据，如果不拆解，根本解决不了这个问题。比如一个简单的排序问题。传统上，我们直接编写一个排序程序来快速排序数据。但是在大数据中，如果我给你一个100 TB大小的表，你要对这个表中的数据进行排序，单机根本无法完成这个任务。你必须分解这个数据集，把它分解成几个小的数据集，把每个数据集分别排序，最后通过一些方法把它们合并起来求解。
这就是大数据的处理思路。大数据就是对它的每一部分进行相应的运算，最后集合这些运算的结果。
云计算和大数据
云计算与大数据密切相关。云计算如何帮助大数据？云计算提供存储和计算基础设施，大数据是运行在这种基础设施上的具体应用。如果说电力系统类似于云计算，那么在电力系统基础上支撑的电力设备则类似于大数据。
大数据的产生和发展
在互联网全面爆发的21世纪，facebook拥有了非常庞大的用户数量，人与人之间的交互产生了庞大的数据，这对大数据的存储和处理技术提出了更高的要求。hadoop之父Doug Cutting于2005年带着自己的成果来到雅虎。由于hadoop技术非常适合存储和处理语音、视频等非结构化数据，因此被雅虎用作互联网搜索的底层技术。
hadoop技术的关键MapReduce来自Google，它也做互联网搜索。Google也有自己的分布式环境GFS。
2008年，淘宝也开始研究基于hadoop的系统——天梯。2013年，内部云计算浪潮兴起，阿里云天妃系统集群节点数达到5000个。阿里云对分布式技术的探索，恰好见证了大数据爆炸的时代。到2014年，storm和flink流计算引擎逐渐投入使用，数据的实时性越来越受到重视。
在宏观政策层面，我们国家高度重视大数据，将大数据写入行动纲领，上升到国家战略层面。国务院出台科学数据管理办法，大数据政策越来越热。
大数据的特征
大数据的特征可以用4 V来概括:
第一卷，大数据的体量非常巨大；
第二个品种，大数据来源多样；
第三个价值，大数据的价值密度低。有时，我们可能需要使用成千上万的数据，以便获得有用的信息；
最后，速度要求我们足够快地处理大数据。
接下来，我们来详细说说这四个V。第一个特点是体量巨大。大数据本身就有一个很大的性格，包括采集量、存储量和计算量。数据的增长速度也符合摩尔定律，每两年就会翻倍。一般来说，大数据，计量单位可能达到PB级别。很多人可能对PB级的数据没有概念。PB有多大？有人粗略计算过，1PB的容量大约等于20多万张DVD可以存储的空。
第二个特点是类型和来源的多样性，类型的多样性，数据类型包括结构化和非结构化数据。比如表格是最容易理解的结构化数据，EXCEL中的数据就是结构清晰的结构化数据。图像和视频是非结构化数据。
还有各种数据来源，比如新零售场景。河马先生可以通过人脸识别识别成员，收集人脸图像数据，以及算法背后需要的庞大的非结构化数据。
第三个特点是处理速度快。大数据分析非常注重时效性，数据增长速度快，数据处理速度也快。比如搜索引擎要求用户可以查询几分钟前的新闻。个性化推荐引擎，尽可能做到实时推荐。这是大数据区别于传统数据挖掘的显著特征。双十一，每秒交易峰值可达50多万。从数据产生到消费，时间窗口很小。在数据处理速度上，有一个著名的一秒定律，就是分析结果要在第二个时间范围内给出。如果超过这个时间，数据可能会失去它的价值。
第四个特点，低值密度，比如视频。有一次出去吃饭丢了一个包，报警后调出了监控录像。设备落后，无法快进，只能边玩边看。我真正在意的是包被偷的那几秒钟。在那几秒钟里，我不得不看了几个小时的视频。可以说价值密度很低。
以上是“大数据的定义和特征”的主要内容，下一节是“大数据的应用场景”。根据这篇文章的反馈决定写不写。
