将本地文件的数据加载到hive的ORC格式表时，出现以下报错： Diagnostic Messages for…

–1创建新表 create table dw_sal_profit_day_new like dw…

1、hive的分组和组内排序—语法 语法： row_number() over (partitio…

1、linux 看 /var/log/cron这个文件就可以，可以用tail -f /var/log/cron…

mustache语法 mustache 模板，用于构造html页面内容。在实际工作中，当同一个模板中想要调用不…

注意在-d 操作之后的string中变量的表示 date_now=$(date -d -2day +%Y%m%…

xgboost对所有的输入特征都是当做数值型对待，所以你给定的数据也要是指定的数据类型 对于数据缺失或者稀疏，…

XGBoost参数调优完全指南（附Python代码） 原文地址：Complete Guide to Param…

Introduction If you have been using GBM as a ‘black box…

问题由来 在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。 例如，考虑一下的三个特征： [&#82…

1. Join的基本原理 大家都知道，Hive会将所有的SQL查询转化为Map/Reduce作业运行于Hado…

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuff…

Hive 分桶 分桶 对于每一个表或者分区，Hive可以进一步组织成桶，也就是更为细粒度的数据范围划分 Hiv…

博主日常使用查询的工具就是hive，与mysql还是有很多共同之处，但是很多时候也要去hive官网查询相关信息…

列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点： 查询满足条件的…

最近写的脚本都需要向hive中传递相关参数，所以搜集一下网上的资料备注一下，也顺便学习一下。 使用Hive编写…

今天博主需要建立一个备份带分区的数据表，拷贝时若采用静态分区方式需要写N行语句，因此可以使用动态分区，节省大量…

在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实…