• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

标签:hive

HIVE与null判断相关函数

HIVE与null判断相关函数

1.NVL 函数NVL 函数的格式如下:NVL(expr1,expr2)含义是:如果 oracle 第一个参数为空那么显示第二个参数的值,如果第一个参数的值不为空,则显示第一个参数本来的值。例如:SQL> select ename,NVL(comm, -1) from emp;ENAME NVL(COMM,-1)——- &……

hive日志

hive日志

Hive 中的日志分为两种1. 系统日志,记录了 hive 的运行情况,错误状况。2. Job 日志,记录了 Hive 中 job 的执行的历史过程。系统日志存储在什么地方呢 ?在 hive/conf/ hive-log4j.properties 文件中记录了 Hive 日志的存储情况,默认的存储情况:hive.root.logger=WARN,……

HIVE错误return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

HIVE错误return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

今天在执行一个 hive 查询语句报下面错误:MapReduce Total cumulative CPU time: 0 days 1 hours 0 minutes 8 seconds 970 msecEnded Job = job_1511596090231_19002 with errorsError during job, obtaining……

hive regexp_extract函数

hive regexp_extract函数

函数描述:regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp字符串正则表达式解析函数。— 这个函数有点类似于 substring(str from ‘regexp’)  ..参数解释:其中:str 是被解析的……

Caused by: java.io.IOException: Malformed ORC file

Caused by: java.io.IOException: Malformed ORC file

将本地文件的数据加载到 hive 的 ORC 格式表时,出现以下报错:Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive……

hive连接优化相关

hive连接优化相关

1. Join 的基本原理大家都知道,Hive 会将所有的 SQL 查询转化为 Map/Reduce 作业运行于 Hadoop 集群之上。在这里简要介绍 Hive 将 Join 转化为 Map/Reduce 的基本原理(其它查询的原理请参考这里)。假定有 user 和 order 两张表,分别如下:user 表:sidname1……

hive桶概念

hive桶概念

Hive 分桶分桶对于每一个表或者分区,Hive 可以进一步组织成桶,也就是更为细粒度的数据范围划分Hive 是针对某一列进行分桶Hive 采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中好处获得更高的查询处理效率使取样(sampling) 更高效分桶的使用select * from buckete……

DML、DCL等基本概念

DML、DCL等基本概念

博主日常使用查询的工具就是 hive,与 mysql 还是有很多共同之处,但是很多时候也要去 hive 官网查询相关信息,遇到最多了就是 ddl 等相关的名词,在这记录一下DDL数据定义方法,创建数据表,更改数据表相关信息,新增分区等等操作Data Definition Language (DDL) statements are used to def……

hive专题(1)-数据表创建

hive专题(1)-数据表创建

数据库的基本操作很多都是相差不大,从 mysql 到 hive,基本上大部分语法都是相同的,除了一部分本质上的差异,其他语法可以通用,今天就先学习下 hive 数据表的创建CREATE TABLE pokes (foo INT, bar STRING);hive> CREATE TABLE pokes (foo INT, bar STRING)……

AWS之hive单机版环境安装

AWS之hive单机版环境安装

今晚终于在 aws 上把 hive 单机版的环境终于安装好了,现在记录一下安装环境的所有步骤,以后学习 hive 可以直接在 aws 上面测试在hive 专题可以看到更多的学习资料哦hive 需要依赖于 hadoop 环境,因此我们先安装 hadoophadoop 安装java 环境安装yum search java|grep jdk首先查……

hive collect_set等集合函数

hive 工作中用到的一些函数1. concat(string s1, string s2, string s3)这个函数能够把字符串类型的数据连接起来,连接的某个元素可以是列值。如 concat( name, ‘:’, score) 就相当于把 name 列和 score 列用逗号连接起来了2. cast用法:cast(v……

Hadoop 任务执行设置队列参考(转载)

对于集群我们经常会启用公平调度或容量调度来满足多用户的需求,这个时候我们需要去设定相应的队列以及队列的优先级。这里以用到 MR 和 TEZ 引擎为例。我这里的队列如下:拥有 marketing 和 operations 两个队列分别占用 30%和 70%的能力总的来说设置如下:作业提交到的队列:mapreduce.job.queuename/tez……

HIVE自动生成索引

HIVE自动生成索引

目前 HIVE 当中并没有相应的 api 用于自动生成相应的索引,在一般的 sql 中包含了 identity 函数可以用于自动生成相应的索引,为了解决这个问题,在 apache 官网上提供了相应的解决方法,这个功能还是比较实用的,比如博主需要处理的字段数据中一部分是全部数字,但是有些数据是字符和数字的组合,需要对这些数据做相同的函数处理有的时候是无法做到的……

HIVE正则表达式

HIVE正则表达式

随着 HIVE 的持续使用,现在业务上也需要匹配文本,一般的加减乘除之类以及统计聚合运算都满足不了了,如果是短的字符串可以使用字符串相关的处理,但是如果是大量的文本都需要正则表达式从中提取出想要的内容,下面的例子都是 copy 过来的,作为相关函数的说明,会使用就好,来自 http://blog.csdn.net/bitcarmanlee/article/……

sql 日期转换函数

sql 日期转换函数

经常需要查询半年以内或者指定时间范围内的数据,一般情况下数据库中保存的都是时间戳,时间戳实际上就是 unix 时间,我们可以在正常的日期时间来回转换1、日期函数 UNIX 时间戳转日期函数:from_unixtime()函数格式返回值说明from_unixtimefrom_unixtime(bigint unixtime[, st……