Ubuntu_Hadoop_v2.6环境搭建

参考http://www.powerxing.com/install-hadoop/

在原文基础上做了些许调整。

安装环境：
ubuntu 14.04 ，64位
下载：
Oracle JDK 1.7
hadoop2.6

0、新增操作系统用户

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

1、安装jdk。
将jdk的tar.gz包解压缩到/usr/lib/jvm/下，重命名为java，
在~/.bashrc中添加环境变量：

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

2、安装openssh server

sudo apt-get install openssh-server

3、设置SSH无密码登录

cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
sudo cat ./id_rsa.pub >> ./authorized_keys  # 加入授权,一定要加 sudo,否则可能仍需密码

在输入ssh localhost，无需密码就能直接登录了。

4、解压hadoop的 tar.gz包

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

5、hadoop的单机（非分布式）配置。
hadoop默认为单机模式，无需配置。

6、hadoop伪分布式配置。
修改hadoop安装文件夹/etc/hadoop/core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改hadoop安装文件夹/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

7、执行NameNode的格式化

./bin/hdfs namenode -format

8、开启NameNode和Datanode的守护进程

./sbin/start-dfs.sh

# 如果这里报错： JAVA_HOME is not set and Could not be found
# 但 echo $JAVA_HOME 确实已经设置过 JAVA_HOME了
# 是因为集群模式的一个问题，需要在 hadoop-env.sh 中将 $JAVA_HOME 重新声明

运行完毕。
可以访问http://IP:50070在线查看hdfs中的文件

9、启动YARN。
重命名mapred-site.xml文件

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

编辑mapred-site.xml文件

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

修改配置文件 yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

启动 YARN

./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

可在线查看YARN的任务运行情况。
http://IP地址:8088/