hive - 算法之道

Sql hive 高级聚合函数

HQL里着实还有很多未发掘的东东，平时写的SQL都感觉很简单。直到最近做些统计报表发现一些新大陆。 group…

Sql hive调优记录

最近有场讲座是关于hive的一个培训，也去听了一下，其中的某些点还是自己的盲区，平时也没注意到这些地方的优化，…

Sql Hive之行转列lateral view用法

一般写sql经常会遇到行转列或者列转行之类的操作，就像concat_ws之类的函数被广泛的使用，今天这个也是经…

Python pyhive在redhat部署问题

在自己的mac上面操作没有任何问题，具体的安装过程可以参考这个文章pyhive简明教程但是今天早上找运维大哥…

Sql HIVE与null判断相关函数

1.NVL函数 NVL函数的格式如下：NVL(expr1,expr2) 含义是：如果oracle第一个参数为空…

Sql hive日志

Hive中的日志分为两种 1. 系统日志，记录了hive的运行情况，错误状况。 2. Job 日志，记录了Hi…

Sql HIVE错误return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

今天在执行一个hive查询语句报下面错误： MapReduce Total cumulative CPU ti…

Sql hive regexp_extract函数

函数描述: regexp_extract(str, regexp[, idx]) – extracts a g…

Sql Caused by: java.io.IOException: Malformed ORC file

将本地文件的数据加载到hive的ORC格式表时，出现以下报错： Diagnostic Messages for…

Sql hive连接优化相关

1. Join的基本原理大家都知道，Hive会将所有的SQL查询转化为Map/Reduce作业运行于Hado…

Sql hive桶概念

Hive 分桶分桶对于每一个表或者分区，Hive可以进一步组织成桶，也就是更为细粒度的数据范围划分 Hiv…

Sql DML、DCL等基本概念

博主日常使用查询的工具就是hive，与mysql还是有很多共同之处，但是很多时候也要去hive官网查询相关信息…

Sql hive专题（1）-数据表创建

数据库的基本操作很多都是相差不大，从mysql到hive，基本上大部分语法都是相同的，除了一部分本质上的差异，…

Sql AWS之hive单机版环境安装

今晚终于在aws上把hive单机版的环境终于安装好了，现在记录一下安装环境的所有步骤，以后学习hive可以直接…

bigdata hive collect_set等集合函数

hive工作中用到的一些函数 1. concat(string s1, string s2, string s…

bigdata Hadoop 任务执行设置队列参考（转载）

对于集群我们经常会启用公平调度或容量调度来满足多用户的需求，这个时候我们需要去设定相应的队列以及队列的优先级。…

Sql HIVE自动生成索引

目前HIVE当中并没有相应的api用于自动生成相应的索引，在一般的sql中包含了identity函数可以用于自…

Sql HIVE正则表达式

随着HIVE的持续使用，现在业务上也需要匹配文本，一般的加减乘除之类以及统计聚合运算都满足不了了，如果是短的字…