Hadoop配置文件说明(hadoop运行的五大配置文件)

Hadoop配置文件说明(hadoop运行的五大配置文件)

浏览次数:
信息来源: 用户投稿
更新日期: 2025-09-27 18:18:24
文章简介

Hadoop的运行方式是由配置文件决定的(运行Hadoop时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除coresite.xml中的配置项。此外,伪分布式虽然只需要配置fs

2025阿里云双十一服务器活动

Hadoop的运行方式是由配置文件决定的(运行Hadoop时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除coresite.xml中的配置项。此外,伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行(官方教程如此),不过若没有配置hadoop.tmp.dir参数,则默认使用的临时目录为/tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行format才行。所以我们进行了设置,同时也指定dfs.namenode.name.dir和dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

https://www.mfisp.com/bin/hdfsnamenode-format

成功的话,会看到类似如下信息(首次格式化会有警告,阅读后可以忽略)

如果提示:Error:JAVA_HOMEisnotsetandcouldnotbefound可能是没有配置JAVA_HOME环境变量

vim~/.bashrc??#打开hadoop用户的环境变量,把下边几行粘进去

exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_241exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:$PATH??

如果还是出现Error:JAVA_HOMEisnotsetandcouldnotbefound.那么请hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”在里面找到“exportJAVA_HOME=${JAVA_HOME}”这行,然后,把它修改成JAVA安装路径的具体地址,比如“exportJAVA_HOME=/usr/lib/jvm/default-java”,然后,再次启动Hadoop。3.开启2个守护进程(NameNode和DataNode)

Hadoop配置文件说明,hadoop运行的五大配置文件

source~/.bashrc??启动Hadoop

判断是否成功启动启动完成后,可以通过命令jps来判断是否成功启动,若成功启动则会列出如下进程:“NameNode”、”DataNode”和“SecondaryNameNode”(如果SecondaryNameNode没有启动,请运行sbin/stop-dfs.sh关闭进程,然后再次尝试启动尝试)。如果没有NameNode或DataNode,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。Hadoop无法正常启动的解决方法:一般可以查看启动日志来排查原因,注意几点:?启动时会提示形如

>“DBLab-XMU:startingnamenode,loggingto>/usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”

其中DBLab-XMU对应你的机器名,但其实启动日志信息是记录在/usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log所以应该查看这个后缀为.log的文件;

每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,对比下记录的时间就知道了。

一般出错的提示在最后面,通常是写着Fatal、Error、Warning或者JavaException的地方。

可以在网上搜索一下出错信息,看能否找到一些相关的解决方法。此外,若是DataNode没有启动,可尝试如下的方法(注意这会删除HDFS中原有的所有数据,如果原有的数据很重要请不要这样做):

针对DataNode没法启动的解决方法

cd/usr/local/hadoop?关闭rm-rhttps://www.mfisp.com/tmp?重新格式化NameNode?https://www.mfisp.com/sbin/start-dfs.sh?#重启?

标签:
有助于选择控制面板的宝贵见解(控制面板中可以设置的有)
« 上一篇
返回列表
下一篇 »

如本文对您有帮助,就请抽根烟吧!