• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

spark shell运行模式小记

bigdata admin 2年前 (2017-08-16) 1469次浏览 0个评论 扫描二维码

集群经常会增加相应的 node 节点,但是相应的环境有没有及时更新,有的时候因为某个节点环境没有配置好导致程序跑挂了,所以有的时候需要本地模式仅在 driver 跑相应的测试代码,记录一下当前的几种运行模式

  • 本地模式

Spark 单机运行,一般用于开发测试。

  • Standalone 模式

构建一个由 Master+Slave 构成的 Spark 集群,Spark 运行在集群中。

  • Spark on Yarn 模式

Spark 客户端直接连接 Yarn。不需要额外构建 Spark 集群。

  • Spark on Mesos 模式

Spark 客户端直接连接 Mesos。不需要额外构建 Spark 集群。

启动方式: spark-shell.sh(Scala)

spark-shell 通过不同的参数控制采用何种模式进行。 涉及两个参数:

1
2
3
4
--master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.
--deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
                            on one of the worker machines inside the cluster ("cluster")
                            (Default: client).

–master 参数用于指定采用哪种运行模式。
对于 Spark on Yarn 模式和 Spark on Mesos 模式还可以通过 –deploy-mode 参数控制 Drivers 程序的启动位置。

  • 进入本地模式:
./spark-shell --master local
./spark-shell --master local[2]  # 本地运行,两个 worker 线程,理想状态下为本地 CPU core 数
  • 进入 Standalone 模式:
./spark-shell --master spark://192.168.1.10:7077

备注:测试发现 MASTER_URL 中使用主机名替代 IP 地址无法正常连接(hosts 中有相关解析记录),即以下命令连接不成功:

./spark-shell --master spark://ctrl:7077  # 连接失败
  • Spark on Yarn 模式
1
2
3
4
5
6
7
./spark-shell --master yarn
./spark-shell --master yarn-client
#不支持这种模式
#./spark-shell --master yarn-cluster
./spark-shell --master yarn --deploy-mode client
#不支持这种模式
#./spark-shell --master yarn --deploy-mode cluster

备注:Yarn 的连接信息在 Hadoop 客户端的配置文件中指定。通过 spark-env.sh 中的环境变量 HADOOPCONFDIR 指定 Hadoop 配置文件路径。

  • Spark on Mesos 模式:
./spark-shell --master mesos://host:port
./spark-shell --master mesos://host:port --deploy-mode client
./spark-shell --master mesos://host:port --deploy-mode cluster

启动方式: pyspark(Python)

参数及用法与 Scala 语言的 spark-shell 相同,比如:

pyspark --master local[2]

参考 http://blog.cheyo.net/29.html


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明spark shell 运行模式小记
喜欢 (0)
admin
关于作者:
互联网行业码农一枚/业余铲屎官/数码影音爱好者/二次元

您必须 登录 才能发表评论!