描述性数据分析中遇到的具体问题及解决手段

核心提示问题定义采集原始数据前,数据分析过程实际上早已开始。事实上,数据分析总是始于要解决的问题,而这个问题需要事先定义。只有深入探究作为研究对象的系统之后,才有可能准确定义问题:这个系统可能是一种机制、应用或是一般意义上的过程。一般而言,研究工作

问题定义

在收集原始数据之前,数据分析过程实际上已经开始。其实数据分析总是从要解决的问题开始,这个问题需要提前定义。

只有将系统作为研究对象进行深入探讨,才能准确界定问题:这个系统可能是一个机制、一个应用,也可能是一个一般过程。总的来说,研究工作是为了更好地了解系统的运行模式,尤其是了解其运行规律,因为这些规律有助于我们做出预测或选择。

这个定义问题的步骤和产生的相关文档对于科学研究和商业问题都很重要,因为它们可以严格保证分析过程朝着目标结果前进。事实上,对系统进行全面或详细的研究有时是复杂的,一开始可能没有足够的信息。所以问题的定义,尤其是问题的规划,只会决定整个数据分析项目所遵循的准则。

在问题被定义和记录之后,下一步是进入数据分析的项目计划。在这一步中,需要找出高效完成数据分析项目需要哪些专业人员和资源,因此必须考虑一些与解决方案相关的问题。

数据析取

定义问题之后,在分析数据之前,首先要做的是获取数据。数据的选择必须基于建立预测模型的目的,这对数据分析的成功起着至关重要的作用。收集的样本数据必须尽可能反映实际情况,即能够描述系统对真实刺激的反应。事实上,如果原始数据收集不当,即使数据量很大,这些数据所描述的场景也往往与现实有出入或者有偏差。

因此,如果选取了不恰当的数据或者分析了不能很好代表系统的数据集,那么得到的模型就会偏离作为研究对象的系统。

数据的搜索和检索往往依赖于一种直觉,这种直觉超越了纯粹的技术研究和数据提取。还需要对数据的内在特征和形式有细致入微的理解,只有在问题的源领域有丰富的经验才能做到。

除了所需数据的质量和数量,另一个问题是找到并正确选择数据源。

如果工作室环境是实验室,数据源生成的数据用于实验。在这种情况下,很容易识别数据源的优点和缺点。这个时候,唯一需要注意的就是实验过程的设定。

无论哪个应用领域,都不可能用严格的实验方法来重构数据源所属的系统。很多领域的应用需要从周围环境中搜索数据,往往依赖于外部的实验数据,甚至通过访谈或调查来收集数据。在这种情况下,很难找到一个包含数据分析所有信息的数据源。经常需要从各种数据源收集信息,以弥补缺陷,识别矛盾,并指出数据集尽可能具有普遍性。

当你想找到一些有用的数据时,网络是一个很好的起点。然而,很难获得Web中的大部分数据。事实上,并不是所有的数据都以文件或数据库的形式存在,有些数据以这样或那样的格式存在于HTML页面中;有些内容很清楚,有些则不清楚。为了获取网页的内容,人们开发了一种Web爬行方法,通过识别网页中特定的HTML标签来收集数据。有些软件是专门用来抓取网页的。他们找到合格的标签,并从中提取目标数据。搜索提取完成后,得到专门用于数据分析的数据。

数据准备

在数据分析的所有步骤中,数据准备看似不太可能出现问题,但实际上,这一步需要更多的资源和时间来完成。数据通常来自具有不同形式和格式的不同数据源。因此,在分析数据之前,应该将所有这些不同的数据处理成可用的形式。

数据准备阶段的重点是数据的获取、清洗和标准化,并将数据转换成优化的,即准备好的形式,通常是表格形式,以便数据可以用计划阶段设定的分析方法进行处理。

必须解决数据中的许多问题,例如无效和不明确的数据、缺失值、重复字段和一些超出范围的数据。

 
友情链接
鄂ICP备19019357号-22