Hadoop的运行方式是由配置文件决定的(运行Hadoop时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除coresite.xml中的配置项。此外,伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行(官方教程如此),不过若没有配置hadoop.tmp.dir参数,则默认使用的临时目录为/tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行format才行。所以我们进行了设置,同时也指定dfs.namenode.name.dir和dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
https://www.mfisp.com/bin/hdfsnamenode-format
成功的话,会看到类似如下信息(首次格式化会有警告,阅读后可以忽略)
如果提示:Error:JAVA_HOMEisnotsetandcouldnotbefound可能是没有配置JAVA_HOME环境变量
vim~/.bashrc??#打开hadoop用户的环境变量,把下边几行粘进去
exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_241exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:$PATH??
如果还是出现Error:JAVA_HOMEisnotsetandcouldnotbefound.那么请hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”在里面找到“exportJAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如“exportJAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。3.开启2个守护进程(NameNode和DataNode)

source~/.bashrc??启动Hadoop
判断是否成功启动启动完成后,可以通过命令jps来判断是否成功启动,若成功启动则会列出如下进程:“NameNode”、”DataNode”和“SecondaryNameNode”(如果SecondaryNameNode没有启动,请运行sbin/stop-dfs.sh关闭进程,然后再次尝试启动尝试)。如果没有NameNode或DataNode,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。Hadoop无法正常启动的解决方法:一般可以查看启动日志来排查原因,注意几点:?启动时会提示形如
>“DBLab-XMU:startingnamenode,loggingto>/usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”
其中DBLab-XMU对应你的机器名,但其实启动日志信息是记录在/usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log所以应该查看这个后缀为.log的文件;
每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,对比下记录的时间就知道了。
一般出错的提示在最后面,通常是写着Fatal、Error、Warning或者JavaException的地方。
可以在网上搜索一下出错信息,看能否找到一些相关的解决方法。此外,若是DataNode没有启动,可尝试如下的方法(注意这会删除HDFS中原有的所有数据,如果原有的数据很重要请不要这样做):
针对DataNode没法启动的解决方法
cd/usr/local/hadoop?关闭rm-rhttps://www.mfisp.com/tmp?重新格式化NameNode?https://www.mfisp.com/sbin/start-dfs.sh?#重启?
本文来源:虚拟主机--Hadoop配置文件说明(hadoop运行的五大配置文件)
本文地址:https://www.idcbaba.com/zhuji/1381.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 1919100645@qq.com 举报,一经查实,本站将立刻删除。