scala配置+spark安装

发表于 | 分类于

本篇文章是基于安装好jdk/Hadoop的基础上的拓展.文章如下:
hadoop环境搭建（2.6版本）+JDK配置（1.8版本）+Eclipse安装+Eclipse_hadoop插件配置

##一.安装 Scala
Scala 官网地址为 http://www.scala-lang.org/。

####1)下载 scala-2.11.7.tgz。

####2)进入目录下解压,并移动到合适的位置(比如opt目录下):
tar -xzvf scala-2.11.7.tgz

####3)配置环境变量,编辑~/.bashrc,添加下面的内容。
sudo gedit ~/.bashrc

1
2
3
#scala envir
export SCALA_HOME=/xxxxxxxx  //写上你的目录比如/opt/scala-2.11.7
export PATH=${SCALA_HOME}/bin:$PATH

####4)使 bashrc 文件更新生效。

1
source ~/.bashrc

####5)在终端输入scala测试是否安装成功

###注:
不能使用apt-get install scala 这样安装是基于openjdk,问题很多.

##二.安装 Spark
进入官网下载对应 Hadoop 版本的 Spark 程序包
官网地址为 http://spark.apache.org/downloads.html。
这边下载最新版本1.41,2015年08月15日

####1)下载 spark-1.4.1-bin-hadoop2.6.tgz。

####2)解压并移动到合适的位置(比如opt目录下):。

1
2
tar -xzvf spark-1.4.1-bin-hadoop2.6.tgz
//为了方便,移动后改名为spark

####3)配置环境变量,编辑~/.bashrc,添加下面的内容。
sudo gedit ~/.bashrc

1
2
3
#spark
export SPARK_HOME=$HOME/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

####4)使 bashrc 文件更新生效。

1
source ~/.bashrc

####5)配置 conf/spark-env.sh 文件\
加上 export JAVA_HOME=/usr/lib/jvm/java-8u45-sun

####6)若出现权限问题,修改组权限为读写

####7)在sbin目录下,调用脚本start-all.sh开启服务