在实际的Hadoop项目开发中,仅仅掌握Hadoop的基本命令是远远不够的,但这恰恰是学习Hadoop的基础。在本节中,读者可以通过一个简单的项目案例,了解如何在本地设置开发环境、创建项目、运行和调试Hadoop应用。
1.构建本地开发环境

开发Hadoop项目时,需要有相应的开发环境来编写、调试和运行代码,开发环境包括操作系统、IDE、JDK等。
开发环境所需的操作系统类型可以是Mac OS、Linux和Windows。这里使用的开发环境对应的操作系统是Mac OS。读者也可以选择Linux或者Windows操作系统进行开发,这并不会影响到本次学习的内容。Java IDEs有很多,比如JBoss Developer Studio,Eclipse,IDEA等。读者可以根据自己平时的编码习惯进行选择。这里选择的开发环境的内容如表1所示。
表1开发环境
1.IDE环境准备
安装IDE后,打开
并且IDE进入Preferences,在弹出的对话框中找到Java模块,在这个模块下找到。
编译器子模块,并选择本地安装的
JDK版本,如图1所示。
图1选择IDE的编译版本
这里的Hadoop项目是基于Maven结构创建的。如果读者对Maven不熟悉,也可以使用普通的Java工程结构来创建。如果选择Maven结构来创建项目,那么Maven环境需要在本地进行配置。具体操作内容如下。
Mac OS操作系统配置:如果读者使用的是Mac OS操作系统,可以在~/中进行配置。bash _ profile目录文件。具体操作命令如下:
配置好Maven环境变量后,就可以输入source ~/。bash _ profile命令使其立即生效。之后可以在终端输入mvn -v命令进行验证;如果配置成功,Maven版本信息、JDK环境信息和本地操作系统信息都会打印在终端上。
Linux操作系统配置:Maven的配置方式和Mac OS下的Maven一样。读者可以参考Mac OS配置Maven环境变量。

Windows操作系统配置:如果读者的开发环境是Windows操作系统,可以在计算机|属性|高级系统设置|环境变量中设置Maven的环境变量。添加Maven环境变量信息后,打开cmd控制台,在控制台输入mvn-v命令进行验证;如果配置成功,Maven版本信息、JDK环境信息和本地操作系统信息都会打印在终端上。
完成Maven环境变量的配置后,打开IDE,进入Preferences,在弹出的对话框中找到Maven模块,找到该模块下的用户设置子模块,选择本地安装的Maven环境,如图2所示。
图2在IDE中配置Maven环境
2.工程创造
打开IDE,选择命令file | new | maven project | create a simple project创建一个项目,然后参照图3所示的内容填写。
图3 Maven项目的工程信息
2.操作和调试预览
第一部分,准备Hadoop项目开发环境。接下来,读者可以通过学习本节内容在本地运行第一个Hadoop应用程序。
1.奔跑
这里的Hadoop应用都是基于Java语言编写的,读者可以轻松运行编写的Hadoop应用,和普通的Java应用一样。本节以WordCount源代码为例进行调试运行,如代码1所示。
1字数源代码
读者可以将上述WordCount源代码移植到game-x-m项目中,然后在IDE中打开源代码文件,在编辑区单击鼠标右键,在弹出的快捷菜单中选择Run As|Java Application命令,完成代码操作。
2.排除故障

Hadoop项目调试非常简单,读者可以在源代码编辑区标记断点;然后在源代码编辑区右击鼠标,在弹出的快捷菜单中选择Debug As|Java Application command,完成代码调试操作。
Hadoop项目的创建、调试和运行将在下期详细介绍。本节只是一个概述预览。读者可以通过本节内容熟悉整个操作流程。
3.摘要
学习构建高可用的Hadoop集群是学习Hadoop技术的良好开端。这些问题的主要内容正好帮助读者实现这一目标。读者可以参考这些问题轻松操作Hadoop集群,编写简单的Hadoop应用,并在集群上运行调试。
这几期重点介绍Hadoop集群及其开发环境,分别介绍了Linux环境下高可用Hadoop集群的建立,Hadoop常用的基本命令,开发环境的准备和使用,为读者学习下一章的内容打下良好的基础。


