hadoop分布式部署

0.版本

本文hadoop用的是2.7.3

1. hosts文件

写在/etc/hosts文件中。之后将hostname写到etc/hadoop/slaves里面去。

2.配置hdfs

core-site.xml:

参数	配置
fs.defaultFS	hdfs://master:9000
io.file.buffer.size	131072

hdfs-site.xml:

参数	配置
dfs.replication	1
dfs.namenode.name.dir	/opt/hadoop-2.7.3/dfs/name

参数	配置
dfs.replication	1
dfs.datanode.data.dir	/opt/hadoop-2.7.3/dfs/data

3.配置slaves

etc/hadoop/slaves

4.启动hdfs

sbin/start-dfs.sh

启动之后50070可以看节点状态。

5.启动yarn

master:

sbin/yarn-daemon.sh start resourcemanager

slave :
etc/hadoop/yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

sbin/yarn-daemon.sh start nodemanager

yarn服务可以通过8088端口查看，也很方便。

6.启动MapReduce JobHistory Server

sbin/mr-jobhistory-daemon.sh start historyserver

默认端口19888.

7.web interfaces:

Daemon	Web Interface	Notes
NameNode	http://nn_host:port/	Default HTTP port is 50070.
ResourceManager	http://rm_host:port/	Default HTTP port is 8088.
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 19888