• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

ubuntu16.04下spark2.1.0安装

ml admin 3年前 (2017-04-12) 1479次浏览 0个评论 扫描二维码

简述

Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架,Spark,拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。由于 spark 带有 Python 的 API,而本人比较专于 Python 语言。因此在此分享一下我在配置 spark 的方法以及心得。

配置过程

步骤一:

下载 scala 压缩包,进入链接http://www.scala-lang.org/,点击 download 下载 scala,并解压到当前目录下。

最新版本安装好 Spark 以后,里面就自带了 scala 环境,不需要额外安装 scala,后面的 scala 环境也可以不用设置

下载 jdk 压缩包,进入链接http://www.oracle.com/technetwork/java/javase/downloads/index.html,下载最新版 jdk,若为 64 位系统请下载jdk-8u91-linux-x64.tar.gz(本人下载版本为 8u91,系统为 64 位),32 位系统下载jdk-8u91-linux-i586.tar.gz,下载完成后解压到当前目录下。

 

下载 spark 压缩包,进入链接https://spark.apache.org/downloads.html,选择当前最新版本人为 1.6.2,点击下载。

步骤二:

1.打开命令行窗口。

2.执行命令    sudo -i

3.进入到解压文件所在目录

4.将 j 解压文件转移到 opt 目录下

    执行 mv jdk1.8.0_91 /opt/jdk1.8.0_91   

    执行 mv scala-2.11.8  /opt/scala-2.11.8

    执行 mv spark-1.6.2-bin-hadoop2.6  /opt/spark-hadoop

步骤三:

配置环境变量,编辑/etc/profile,执行以下命令

sudo gedit /etc/profile

在文件最下方增加(注意版本):

#Seeting JDK JDK 环境变量

export JAVA_HOME=/opt/jdk1.8.0_91

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

#Seeting Scala Scala 环境变量

export SCALA_HOME=/opt/scala-2.11.8

export PATH=${SCALA_HOME}/bin:$PATH

#setting Spark Spark 环境变量

export SPARK_HOME=/opt/spark-hadoop/

#PythonPath 将 Spark 中的 pySpark 模块增加的 Python 环境中

export PYTHONPATH=/opt/spark-hadoop/python

保存文件, 重启电脑,使/etc/profile 永久生效,临时生效,打开命令窗口,执行 source /etc/profile  在当前窗口生效

步骤四:

测试安装结果

打开命令窗口,切换到 Spark 根目录


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明ubuntu16.04 下 spark2.1.0 安装
喜欢 (0)
admin
关于作者:
互联网行业码农一枚/业余铲屎官/数码影音爱好者/二次元

您必须 登录 才能发表评论!