有了数据，再有大数据。那么，有什么区别呢？
大数据定义
大数据的明确定义可能很难确定，因为大数据可以覆盖许多用户。但一般来说，该术语指的是数据量大且复杂，以至于传统的数据处理软件产品无法在合理的时间内获取、管理和处理数据。
这些大数据集可以包括结构化、非结构化和半结构化数据，并且可以挖掘每种数据以获得洞察力。
究竟有多少数据构成“大数据”仍有待商定，但它通常可以是PB的倍数，即使是最大的EB项目也是如此。
大数据通常有三个特征:
海量的数据需要多种类型的数据，数据处理和分析的速度构成了一个大数据仓库。数据可能来自网站、社交媒体、桌面和移动应用程序、科学实验以及越来越多的传感器和物联网中的其他设备。
大数据的概念带有一组相关组件，使组织能够将数据投入实际使用，并解决许多业务问题。包括支持应用于数据分析的大数据技术所需的IT基础设施；对大数据有意义的实际用例所需的项目、相关技能集和大数据平台。
什么是数据分析？
从所有大数据组织的集合中真正带来价值的是应用于数据的分析。如果没有分析，数据只是一堆业务用途有限的东西。
通过将分析应用于大数据，公司可以看到诸如增加销售额、改善客户服务、提高效率和整体竞争力等好处。
数据分析包括检查数据集，以获得洞察力或得出有关其内容的结论，如趋势和未来活动的预测。
通过使用大数据分析工具来分析信息，组织可以做出更明智的商业决策，例如何时何地开展营销活动或推出新产品或服务。
分析可以指基本的商业智能应用程序或更高级的预测分析，如科学组织使用的分析。数据挖掘是最高级的数据分析类型之一，其中分析师评估大型数据集以确定关系、模式和趋势。
数据分析可以包括探索性数据分析和验证性数据分析。
另一个区别是定量数据分析和定性数据分析的区别。
支持大数据的IT基础设施
为了让大数据的概念发挥作用，组织需要适当的基础设施来收集和存储数据，提供对数据的访问，并在存储和传输过程中保护信息的安全。这就需要部署大数据分析工具。
从高层次来看，它们包括为大数据设计的存储系统和服务器、数据管理和集成软件、商业智能和数据分析软件以及大数据应用程序。
由于公司希望继续利用他们的数据中心投资，这些基础架构中的许多可能是本地的。但是越来越多的组织依赖云计算服务来满足他们的大数据需求。
数据收集需要一个源来收集数据。其中许多工具已经到位。然而，随着物联网的日益稳固，公司可能需要在各种设备、车辆和产品上部署传感器来收集数据，并生成用户数据的新应用。
为了存储所有传入的数据，组织需要适当的数据存储。存储选项包括传统数据仓库、数据湖和基于云的存储。
安全基础设施工具可能包括数据加密、用户认证和其他访问控制、监控系统、防火墙、企业移动性管理和其他用于保护系统和数据的产品。
大数据技术
除了上述通用的数据IT基础设施之外。IT基础架构应该支持几种特定于大数据的技术。
Hadoop生态系统
Hadoop是与大数据关系最密切的技术之一。Hadoop项目为可扩展的分布式计算开发了开源软件。
Hadoop软件库是一个框架，它可以使用简单的编程模型在计算机集群之间分发大型数据集。它旨在从单台服务器扩展到数千台服务器，每台服务器都提供本地计算和存储。
该项目包括几个模块:
Hadoop是一个通用的实用程序Hadoop分布式文件系统，支持其他Hadoop模块，为应用数据提供对Hadoop YARN的高吞吐量访问，Hadoop MapReduce是一个用于作业调度和集群资源管理的框架，是一个基于YARN的系统，用于并行处理大型数据集。阿帕奇火花
Apache Spark是Hadoop生态系统的一部分，这是一个开源的集群计算框架，可以作为Hadoop中处理大数据的引擎。Spark已经成为关键的大数据分布式处理框架之一，可以通过多种方式进行部署。它为Java、Scala、Python和R编程语言提供原生绑定，支持SQL、流数据、机器学习和图形处理。
大塔湖
湖是一个存储库，它以原始格式存储大量原始数据，直到业务用户需要它。数字化转型计划和物联网的发展推动了数据湖的发展。数据湖旨在使用户在需要时更容易访问大量数据。
NoSQL数据库
传统的SQL数据库是为可靠的事务处理和临时查询而设计的，但它们有一些限制，如僵化的体系结构，这使它们不适合某些类型的应用程序。NoSQL数据库解决了这些限制，并以一种允许高操作速度和极大灵活性的方式存储和管理数据。许多是由寻求更好的方法来存储大型网站内容或处理数据的公司开发的。与SQL数据库不同，许多NoSQL数据库可以在数百或数千台服务器上水平扩展。
内存数据库
内存是一个数据库管理系统，主要依靠主存而不是磁盘进行数据存储。内存的速度比磁盘优化数据库快，这是使用大数据分析和创建数据仓库和数据集市的重要考虑因素。
大数据技能
大数据和大数据分析工作需要特定的技能，无论这些技能来自组织内部还是来自外部专家。
其中许多技能与关键的大数据技术组件相关，如Hadoop、Spark、NoSQL数据库、内存数据库和分析软件。
其他人专注于特定的学科，如数据科学、数据挖掘、统计和定量分析、数据可视化、通用编程以及数据结构和算法。还需要具备全面管理技能的人来查看大数据项目，直到项目完成。
鉴于大数据分析项目已经变得越来越普遍，并且缺乏具有这种技能的人，找到有经验的专业人员可能是组织面临的最大挑战之一。
大数据分析用例
大数据和分析可以应用于许多业务问题和用例。以下是一些例子:
客户分析。公司可以通过查看客户数据来改善客户体验，提高转化率，增加留存率。运营分析。提高运营绩效和更好地利用公司资产是许多公司的目标。大数据分析工具可以帮助企业找到更有效地运营和提高绩效的方法。防止欺诈。大数据工具和分析可以帮助组织识别可能表明欺诈行为的可疑活动和模式，并帮助降低风险。价格优化。公司可以利用大数据分析来优化其产品和服务的价格，从而帮助增加收入。
