博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
搭建基于MyEclipse的Hadoop开发环境
阅读量:6316 次
发布时间:2019-06-22

本文共 1788 字,大约阅读时间需要 5 分钟。

 我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

闲话少说,走起!

 

 

 

 

第一步 安装MyEclipse的Hadoop插件

1 打开MyEclipse,查看是否已经安装过

window  ->  preferences 

没有显示Hadoop Map/Reduce,则说明MyEclipse是没有安装过Hadoop的插件

首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。

 

 

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0 

将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下,然后重启MyEclipse。

放进去

 

重启后,会出现下面的这个界面,即弹出Drop-in Changes Detected检测,点击ok即可,

即,出现了Hadoop Map/Reduce,说明在MyEclipse里安装Hadoop插件成功。

 

 

第二步 本地的Hadoop安装

1、hadoop-2.2.0-x64.rar的下载

首先,明确了本地的JDK是64位版本,所以需要下载对应位的hadoop运行包。其实,也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

 

2 、解压下载的文件包,存放在你希望的某个目录下,比如:D:\Software\hadoop-2.2.0

重启MyEclipse,菜单的Windows   ->   Preferences 中

会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\Software\hadoop-2.2.0)

解压前,

解压后,

 

 

 

3、配置环境变量

新建环境变量HADOOP_HOME,变量值为D:\Software\hadoop-2.2.0

修改Path变量,添加:

;D:\Software\hadoop-2.2.0\bin   注意分号

 

 

4、添加Map/Reduce Location

将Eclipse/MyEclipse切换到Map/Reduce视图,

底部操作区会出现Map/Reduce Locations项,如下图所示:

在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.

在弹出的界面中做如下设置:

50020 -> 50070      (50070是MapReduce的Web界面)

50040-> 9000  

zhouls -> hadoop

 

 

5、sbin/start-all.sh , 再 jps

 

 

6、 点击windows  ->  show view  ->  project Exploer ,可以出现以下

这就表明,hadoop与本地的MyEclipse搭建成功。

 

 

 

新建MapReduce项目

下面,新建一个

1、File  ->  New  ->  Map/Reduce Project 

 

 

2、将Map/Reduce Project 项目工程的名字设置为Hadoop

 

 

3、Open Associated Perspective选择界面,点击“Yes”

 

 

4、即出现Hadoop

 

 

5、新建包Package

  src   ->    New  Package 

Source  folder: Hadoop/src

Name:com.dajiangtai.hadoop.test

 

 

6、新建类名,WordCount

 

 

7、来看下WordCount自带的程序:

 

改之前,是

改之后,是

 

 

 

8、window -> show view -> other -> 

 

 

9、运行下程序。

 

 

10、

 

 

11、

 

 

12、在本地的Hadoop安装目录下的src目录里,将log4j.properties复制到其下。

 

 

 13、重启后的MyEclipse对应的位置。

然后,再执行WordCount.java

刷新,查询下结果

这个统计结果跟之前一致。

即表明搭建基于MyEclipse的Hadoop开发环境已经成功!

 

 

 

 

 

 

 

 

 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5071672.html,如需转载请自行联系原作者

 

 
你可能感兴趣的文章
Win8 安装msi文件遇到错误 code=2502/2503
查看>>
爬虫:保存linux网页教程为pdf格式
查看>>
mysql limit 优化
查看>>
无需密码通过ssh执行rsync来同步文件
查看>>
limit分页优化
查看>>
CodeIgniter源代码阅读(一)index.php
查看>>
DRBD双向同步
查看>>
UITableView--单组数据显示(纯手动代码实现)
查看>>
RxJava2的错误处理方案
查看>>
Lua 函数 类 Table --学习笔记
查看>>
史上最详细的Android系统SystemUI 启动过程详细解析
查看>>
virtual and cloud computer
查看>>
jquery获取选中select的文本,值等
查看>>
route更改网卡数据流向
查看>>
Arthas(阿尔萨斯)是阿里巴巴开源的 Java 诊断工具
查看>>
iOS开发拓展篇—静态库(转载自文顶顶的博客)
查看>>
Hadoop 2.8.5的job提交过程源码解析
查看>>
Chrome的功能使用
查看>>
软件-URL地址设计
查看>>
Eclipse 加速
查看>>