• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

hive分桶

Qt admin 1年前 (2017-06-20) 1576次浏览 0个评论 扫描二维码

Hive 分桶

  • 分桶
    • 对于每一个表或者分区,Hive 可以进一步组织成桶,也就是更为细粒度的数据范围划分
    • Hive 是针对某一列进行分桶
    • Hive 采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中
  • 好处
    • 获得更高的查询处理效率
    • 使取样(sampling) 更高效
  • 分桶的使用
    • select * from bucketed_user
    • tablesample(bucket 1 out of 2 on id)
  • bucket join
    • set hive.optimize.bucketmapjoin = true;
    • set hive.optimize.bucketmapjoin.sortedmerge= true;
    • set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;
  • 样例:
    • create table bucketed_user(
    • id int,
    • name string
    • )
    • clustered by (id) sorted by (name) into 4 buckets
    • row format delimited fields terminated by ‘\t’ stored as textfile;
  • 分桶默认不开启 需开启
    • Set hive.enforce.bucketing= true;
  • 链接两个在(包含连接列)相同列上划分了桶的表,可以使用 Map 端链接(Map-side join)高效的实现。比如 Join 操作。对于 Join 操作两个表有一个相同的列,如果对着两个表都进行了桶操作。那么将保持相同列值得桶进行 Join 操作就可以,可以大大减少 Join 的数据量。
  • 对于 map 端连接的情况,两个表以相同方式划分桶。处理左边表内某个桶的 mapper 知道右边的表内相匹配的行在对应的桶内。因此,mapper 只需要获取那个桶(这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同,两个表的桶个数是倍数关系也可以。

Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明hive 分桶
喜欢 (0)
admin
关于作者:

您必须 登录 才能发表评论!