• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

Hive内部表与外部表

Sql admin 2年前 (2017-04-25) 1378次浏览 0个评论 扫描二维码

今天开始从 Hive 表中查询数据,发现部分表是采用 External 外部表方式,过来记录下相关信息

Hive 中内部表与外部表的区别:
Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,
不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,
而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。

需要注意的是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在 load 时是不检查数据是否
符合 schema 的,hive 遵循的是 schema on read(读时模式),只有在读的时候 hive 才检查、解析具体的
数据字段、schema。
读时模式的优势是 load data 非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。
写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。

下面来看下 Hive 如何创建内部表:

1create table test(userid string);
2LOAD DATA INPATH '/tmp/result/20121213' INTO TABLE test partition(ptDate='20121213');

这个很简单,不多说了,下面看下外部表:

01hadoop fs -ls /tmp/result/20121214
02Found 2 items
03-rw-r--r--   3 june supergroup       1240 2012-12-26 17:15 /tmp/result/20121214/part-00000
04-rw-r--r--   1 june supergroup       1240 2012-12-26 17:58 /tmp/result/20121214/part-00001
05-- 建表
06create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
07-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为 where 条件,更为重要的是
08-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。
09alter table test add partition (ptDate='20121214') location '/tmp/result/20121214';
10-- 注意目录 20121214 最后不要画蛇添足加 /*,我就是 linux shell 用多了,加了这玩意,调试了一下午。。。

注意:location 后面跟的是目录,不是文件,Hive会把整个目录下的文件都加载到表中:

1create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age intname string, email string,sd string, ed string)  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';

否则,会报错误:

FAILED: Error in metadata: MetaException(message:Got exception: org.apache.Hadoop.ipc.RemoteException Java.io.FileNotFoundException: Parent path is not a directory: /hive/dw/record_2013-04-04.txt

最后提下还有一种方式是建表的时候就指定外部表的数据源路径,

但这样的坏处是只能加载一个数据源了:

CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’
LOCATION ‘/sunwg/test08′;
上面的语句创建了一张名字为 sunwg_test09 的外表,该表有 id 和 name 两个字段,
字段的分割符为 tab,文件的数据文件夹为/sunwg/test08
select * from sunwg_test09;
可以查询到 sunwg_test09 中的数据。
在当前用户 hive 的根目录下找不到 sunwg_test09 文件夹。
此时 hive 将该表的数据文件信息保存到 metadata 数据库中。
mysql> select * from TBLS where TBL_NAME=’sunwg_test09′;
可以看到该表的类型为 EXTERNAL_TABLE。
mysql> select * from SDS where SD_ID=TBL_ID;
在表 SDS 中记录了表 sunwg_test09 的数据文件路径为 hdfs://hadoop00:9000/hjl/test08。
# hjl 为 hive 的数据库名

实际上外表不光可以指定 hdfs 的目录,本地的目录也是可以的。
比如:
CREATE EXTERNAL TABLE test10(id INT, name string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’

LOCATION ‘file:////home/hjl/sunwg/’;


Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明Hive 内部表与外部表
喜欢 (0)
admin
关于作者:
互联网行业码农一枚/业余铲屎官/数码影音爱好者/二次元

您必须 登录 才能发表评论!