注册 登录
    • 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

2018年01月2日的内容

hive动态分区读写数据遇到的问题

1、map和reduce个数设置的问题map和reduce的个数不是越多越好,因为启动时都会消耗很长的时间,而且也要考虑资源问题。因此需要控制保证合适的个数用于执行任务–默认一个map的大小是100m,当然可以调整为500m或者1g都可以,根据实际情况调整set mapred.max.split.size=100000000;se……