• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

Hadoop 任务执行设置队列参考(转载)

bigdata admin 1年前 (2017-06-07) 1091次浏览 0个评论 扫描二维码

对于集群我们经常会启用公平调度或容量调度来满足多用户的需求,这个时候我们需要去设定相应的队列以及队列的优先级。这里以用到 MR 和 TEZ 引擎为例。我这里的队列如下:

1_1.png

拥有 marketing 和 operations 两个队列分别占用 30%和 70%的能力

总的来说设置如下:

作业提交到的队列:mapreduce.job.queuename/tez.queue.name

MR 作业优先级:mapreduce.job.priority

TEZ 作业提交到的队列:

程序类型MR 引擎TEZ 引擎
Java JAR 形式支持支持
Hive 形式支持支持
Pig 形式支持支持

 

Pig版本:

MR引擎

在 Pig 脚本中加入

SET mapreduce.job.queuename operations;

特别的执行脚本

su -l hdfs -c “/usr/hdp/2.2.6.0-2800/pig/bin/pig -l /tmp/pig.log /tmp/id.pig”

1_2.png

TEZ引擎

在 Pig 脚本中加入

SET mapreduce.job.queuename operations;

特别的执行脚本地方:

su -l hdfs -c “/usr/hdp/2.2.6.0-2800/pig/bin/pig -x tez -l /tmp/pig.log /tmp/id.pig”

Hive版本:

1_3.png

MR引擎

在 hive-site.xml 中添加

<property>

<name>mapred.job.queue.name</name>

<value>operations</value>

</property>

 

1_4.png

TEZ引擎

在 hive-site.xml 中添加

<property>

<name>tez.queue.name</name>

<value>operations</value>

</property>

1_5.png

JavaJAR版本:

MR引擎

举例:

su -l hdfs -c “/usr/hdp/current/hadoop-client/bin/hadoop jar /usr/hdp/2.2.6.0-2800/hadoop-mapreduce/hadoop-mapreduce-examples-2.6.0.2.2.6.0-2800.jar teragen -D mapreduce.job.queuename=operations 10000 test/teragenout”

 

1_6.png

 

Tez引擎

举例:

su -l hdfs -c “hadoop jar /usr/hdp/2.2.6.0-2800/tez/tez-examples-0.5.2.2.2.6.0-2800.jar orderedwordcount -D mapreduce.job.queuename=operations /user/hdfs/input/test.txt /user/hdfs/out”

 

1_7.png

转载自 http://www.cognoschina.net/Article/121905


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明Hadoop 任务执行设置队列参考(转载)
喜欢 (0)
admin
关于作者:

您必须 登录 才能发表评论!