UBUNTU环境安装hadoop集群

UBUNTU环境
ubuntu-16.10-desktop-amd64.iso


虚拟机使用VMWare 12.5.2，可以把窗口关闭后台运行，VirturelBox每一个虚拟机启动后都弹出来一个新窗口，有窗口干净强迫症的我实在受不了。
网络NAT模式，共享网络，处于独立网段，可以固定IP，不影响对外连接


下载最新的安装程序，我当前版本
jdk-8u121-linux-x64.tar.gz
hadoop-2.7.3.tar.gz


1.定义主机，修改HOST文件
#为了防止主机名识别错误导致的问题，建议把默认的内容全部删除
$ sudo vi /etc/hosts
192.168.254.130 master
192.168.254.131 slave1
192.168.254.132 slave2
192.168.254.133 slave3




2、修改操作系统限制
#为了防止大并发的时候导致进程和打开文件数超出而出的问题，建议值改大一点，最大65536
$vi /etc/security/limits.conf
hadoop soft nofile 65536
hadoop hard nofile 65536
hadoop soft nproc 16384
hadoop hard nproc 16384


2.创建用户
$ sudo mkdir -p /data/hadoop
$ sudo groupadd hadoop
$ sudo useradd hadoop -d /data/hadoop -g hadoop
$ sudo chown -R hadoop:hadoop /data/hadoop/
$ sudo passwd hadoop


3安装SSH(默认不安装)
$ sudo apt-get install openssh-server
$ ps -ef|grep sshd
配置无密码登陆
$ ssh-keygen -t rsa #遇到提示一路回车，四台机器都做
①在master上将公钥放到authorized_keys里。命令：
$ cat id_rsa.pub >authorized_keys
②将master上的authorized_keys放到其他linux的~/.ssh目录下。（只需要把master的公钥分发出去即可）
命令： scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。
$ scp authorized_keys hadoop@slave1:~/.ssh
$ scp authorized_keys hadoop@slave2:~/.ssh
$ scp authorized_keys hadoop@slave3:~/.ssh


③修改authorized_keys权限，命令：
$chmod 644 authorized_keys


④测试是否成功
#没有提示密码，而直接进入，说明成功,每个都试一下，第一次会反一个确认信息，如果不确认，后后面启动的时候也会提示某个host认证失败
$ ssh hadoop@localhost
$ ssh hadoop@master
$ ssh hadoop@slave1
$ ssh hadoop@slave2
$ ssh hadoop@slave3


4配置环境
安装JDK
$ scp jdk-8u121-linux-x64.tar.gz hadoop@slave1:/data/hadoop/
$ scp jdk-8u121-linux-x64.tar.gz hadoop@slave2:/data/hadoop/
$ scp jdk-8u121-linux-x64.tar.gz hadoop@slave3:/data/hadoop/
$ tar -zxvf jdk-8u121-linux-x64.tar.gz


$ scp hadoop-2.7.3.tar.gz hadoop@slave1:/data/hadoop/
$ scp hadoop-2.7.3.tar.gz hadoop@slave2:/data/hadoop/
$ scp hadoop-2.7.3.tar.gz hadoop@slave3:/data/hadoop/
配置环境变量
$ vi .profile
# ~/.profile: executed by the command interpreter for login shells.
# This file is not read by bash(1),if ~/.bash_profile or ~/.bash_login
# exists.
# see /usr/share/doc/bash/examples/startup-files for examples.
# the files are located in the bash-doc package.


# the default umask is set in /etc/profile; for setting the umask
# for ssh logins,install and configure the libpam-umask package.
#umask 022


# if running bash
if [ -n "$BASH_VERSION" ]; then
# include .bashrc if it exists
if [ -f "$HOME/.bashrc" ]; then
. "$HOME/.bashrc"
fi
fi


# set PATH so it includes user's private bin directories
JAVA_HOME=/data/hadoop/jdk1.8.0_121
export JAVA_HOME
HADOOP_HOME=/data/hadoop/hadoop-2.7.3
export HADOOP_HOME
PATH="$HADOOP_HOME/bin:$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin:$PATH"
export PATH


$ chmod 644 .profile
$source ./.profile
$ java -version
5修改hadoop配置
配置文件基本都在~/hadoop-2.7.2/etc/hadoop
hadoop-env.sh
export JAVA_HOME=${JAVA_HOME} #环境变量如果有配置JAVA_HOME，省略此过程，建议再配置一下


core-site.xml
<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/hadoop-2.7.3/tmp</value>
</property>
</configuration>


hdfs-site.xml
<!-- 设置namenode的http通讯地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>master:50070</value>
</property>
<!-- 设置secondarynamenode的http通讯地址,只需要配置一个，当主节点死了，自动转到从节点上，如果不配置就只有一个节点（可以不配置） -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 设置namenode存放的路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/hadoop-2.7.3/name</value>
</property>
<!-- 设置datanode存放的路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/hadoop/hadoop-2.7.3/data</value>
</property>
</configuration>


mapred-site.xml
必须先
$mv mapred-site.xml.template mapred-site.xml


<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


yarn-site.xml


<configuration>
<!-- 设置 resourcemanager 在哪个节点-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

配置第二主节点(默认没有)
新建一个masters的文件,这里指定的是secondary namenode 的主机
#vi masters

slave1

配置从节点(仅master节点) #vi slaves slave1 slave2 slave3 分发配置文件 $scp core-site.xml hadoop@slave1:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp core-site.xml hadoop@slave2:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp core-site.xml hadoop@slave3:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp hdfs-site.xml hadoop@slave1:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp hdfs-site.xml hadoop@slave2:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp hdfs-site.xml hadoop@slave3:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp mapred-site.xml hadoop@slave1:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp mapred-site.xml hadoop@slave2:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp mapred-site.xml hadoop@slave3:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp yarn-site.xml hadoop@slave1:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp yarn-site.xml hadoop@slave2:/data/hadoop/hadoop-2.7.3/etc/hadoop/ $scp yarn-site.xml hadoop@slave3:/data/hadoop/hadoop-2.7.3/etc/hadoop/ 启动（只需要操作主节点） $ cd $HADOOP_HOME $ mkdir name data tmp #创建必要的数据目录 $./bin/hdfs namenode -format #格式化namenode $./sbin/start-dfs.sh #启动DFS $./sbin/start-yarn.sh #启动yarn 查看服务状态 $jps 通过浏览器测试hdfs： http://192.168.254.130:50070 http://192.168.254.131:50090