前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop环境的搭建过程中的问题(伪分布)

Hadoop环境的搭建过程中的问题(伪分布)

作者头像
星哥玩云
发布2022-06-30 21:33:35
3360
发布2022-06-30 21:33:35
举报
文章被收录于专栏:开源部署开源部署

Hadoop搭建流程网上有很多,以下是我在搭建Hadoop伪分布式环境是遇到的一些比较菜鸟的问题。

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

1、执行bin/hadoopnamenode –format时提示没有配置JAVA_HOME

linux自带的SDK并不是Sun公司的SDK,而是开源的OpenSDK。为了保险,还是决定重新配置java环境,使用SUN jdk。

2、执行启动命令bin/start-all.sh后出现:JAVA_HOMEis not set

但是执行java -version后可以看到java版本信息,证明系统的jdk没有配置错误。

再次检查hadoop-env.sh中的配置。发现路径虽然改了,但是那个语句还在注释里(#),我忘记把注释去掉了。(摔!)

3、执行jps发现没有启动NameNode以及JobTracker

www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps

5457SecondaryNameNode

7491Jps

5672TaskTracker

5323DataNode

根据网友提示,可能是由于运行hadoop的用户对/data/hadoop/name1这个目录没有访问权限。因此,进入root中执行上述命令运行hadoop,结果显示完全正确,只是每次启动一个java程序都要输入密码很麻烦。根据ppt提示进行了免密码ssh设置

4、输入hadoop文件命令的时候总是提示hadoop命令未找到,发现应该输入bin/hadoop所有的hadoop命令由bin/ hadoop脚本调用。

PS:(与云计算无关)之前jdk8出来了,我就配置在自己的ubuntu上了。但是安装eclipse和Android studio的时候发现各种问题。于是我又配置了系统自带的OpenJDK。然后eclipse和android studio就恢复正常了。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档