【Hadoop】配置文件

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认

配置值时，才需要修改自定义配置文件，更改相应属性值

（1）默认配置文件：

cd $HADOOP_HOME/share/hadoop

 common路径下的hadoop-common-x.x.x.jar

hdfs下的hadoop-hdfs-x.x.x.jar

mapreduce下的 hadoop-mapreduce-client-core-x.x.x.jar

yarn下的hadoop-yarn-common-x.x.x.jar

说明：
cores-site.xml : 负责全局的配置（common）

hdfs-site.xml：负责hdfs的配置

mapred-site.xml: 负责mapreduce的配置

yarn-site.xml:负责yarn的配置

hadoop-env.sh 记录脚本中要用到的环境变量，以运行脚本

log4j.properties 日志文件

(2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在

$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

配置文件的解压缩

jar -xvf name.jar

配置文件的查找

1. 命令模式查找

• / 作用：从上往下找
• ？ 作用：从下往上找

• * 是 指多个任意字符

• N 作用：当前位置向上找

• n 作用：当前位置向下找

• shift + * （光标靠近要查询的内容位置,在按shift+*）

2. cat查找

cat 文件名 | grep 内容

理论上可以所有机器都可以用同一套配置文件，

在实际开发中，新机器的硬件规格如果不同，则需要单独配置，hadoop2.x中并没有提供执行这个操作的工具。

由于使用脚本可能造成更新时间的不一致性，所以推荐用专门的工具管理集群。

来源：

(28条消息) hadoop查看默认的配置文件_hadoop默认配置文件_Andy86666的博客-CSDN博客

Hadoop权威指南