centos安装spark1.6

一.环境

• 软件环境
  centos7
  spark1.6
  jdk1.7
  scala2.10
• 硬件环境
  192.168.1.21(master,node21)
  192.168.1.22(slave,node22)
  192.168.1.23(slave,node23)

二.配置jdk、scala运行环境

• jdk安装（我习惯用tar.gz包）

tar -xzvf jdk1.7.tar.gz -C /opt/
mv /opt/jdk1.7 /opt/jdk

• scala安装

tar xzvf scala-2.10.4.tgz -C /opt
mv /opt/scala-2.10.4 /opt/scala

• 配置环境变量

vi /etc/profile
（添加下面的配置）
export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH

export SCALA_HOME=/opt/scala/
export PATH=$SCALA_HOME/bin:$PATH
##保存
source /etc/profile

• 测试

java -version
scala -version

三.spark安装

• 下载spark
  http://spark.apache.org/downloads.html
  

• 安装

tar -xzvf spark-1.6.0-bin-2.6.4.tgz -C /opt
mv /opt/spark-1.6.0-bin-2.6.4 /opt/spark

• 配置slaves

cd /opt/spark/conf
cp slaves.template slaves
vi slaves
(添加下面内容,填写hostname或者ip都可以，spark对两个都识别)
node22
node23

• 配置spark-env.sh

cd /opt/spark/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
(添加下面内容,不添加java_home，slaves节点会启动不了)
export JAVA_HOME=/opt/jdk

四.部署到slave节点上面

• jdk

scp -r /opt/jdk 192.168.1.22:/opt/
scp -r /opt/jdk 192.168.1.23:/opt/

• scala

scp -r /opt/scala 192.168.1.22:/opt
scp -r /opt/scala 192.168.1.23:/opt

• spark

scp -r /opt/spark 192.168.1.22:/opt
scp -r /opt/spark 192.168.1.23:/opt

• 环境变量

scp /etc/profile 192.168.1.22:/etc
scp /etc/profile 192.168.1.23:/etc
（在所有slave上,执行下面）
source /etc/profile

5.启动

master节点上执行

/opt/spark/sbin/start-all.sh

6.预览

http://192.168.1.21:8080/