• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下
hive 高级聚合函数

hive 高级聚合函数

HQL里着实还有很多未发掘的东东,平时写的SQL都感觉很简单。直到最近做些统计报表发现一些新大陆。grouping setsgrouping sets相当于多个group by分组统计后再union的逻辑,那么你想统计多个维度的聚合就需要写多个子查询,使用grouping sets 可以轻松帮忙实现。按省份和地市统计新增数selectsheng……

hive调优记录

hive调优记录

最近有场讲座是关于hive的一个培训,也去听了一下,其中的某些点还是自己的盲区,平时也没注意到这些地方的优化,这些还是比较重要的,特此记录一下。并行优化set hive.exec.parallel=true;    //开启任务并行执行假设你有两个子查询然后需要join关联处理,并且两个子查询之间没有任何的关联,这个时候两个子查询可以并行执行,然后……

Hive之行转列lateral view用法

Hive之行转列lateral view用法

一般写sql经常会遇到行转列或者列转行之类的操作,就像concat_ws之类的函数被广泛的使用,今天这个也是经常要使用的拓展方法。Lateral View 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*f……

mongodb查询之数组查询

mongodb查询之数组查询

1、$all一般情况下数组中会有多个元素,使用all可以给出多个元素查询条件,对应的文档要全部包含查询条件中的数据才是匹配的文档。db.test.find({"fruit":{"$all":["apple","banana"]}}){ "_id&……

mongodb特定情况查询

mongodb特定情况查询

1、null查询db.test.find({"enemies":null}){ "_id" : ObjectId("5b042463c42e07823911338e"), "name" : 25.0, "friends&……

mongodb查询之查询条件

mongodb查询之查询条件

1、$gt $gte $lt $lte如果直接记忆这些不太好记,但是你要是知道其中的意思就好记了,gte 就是greater than equal 也就是大于等于的意思,这样好记多了db.test.find({ "friends" : {"$gte":32} }){ "_id&……

mongodb误操作查数据表操作日志

mongodb误操作查数据表操作日志

起因今天早上过来发现生产系统使用的 MongoDB 库被删掉了。说明可能是两种情况:一、误删,连操作者自己也没意识到做了一个删除操作;二、bug,在某个程序中存在一个 bug。后来定位到自己的代码出现BUG,赶紧代码修改然后测试今天的调度任务MongoDB 系统日志路径从配置文件中可以查看。MongoDB 进程信息中可以看到配置文件的位置:[roo……

mongodb查询入门(1)

mongodb查询入门(1)

说实话使用关系型数据库习惯了,一开始接触mongodb还是有点不太习惯,但是也发现了其有点,数据都是以文档的形式保存,那么数据保存的形式就是多样化了,例如现在推荐算法的数据都是以数组的形式保存的。查询mongodb是使用find函数来实现相关文档的查询操作。db.test.find({})上述代码中find中没有任何的参数那么会查询集合中所有……

mongodb增删改查之upsert

mongodb增删改查之upsert

upsert是一种特殊的更新方式,要是没有找到符合条件的文档,则会自动创建一个文档,否则更新对应的文档数据。看mongodb权威指南提到upsert会避免竞态问题,如果使用日常的思维去考虑这个问题,需要先去数据库中查找符合条件的文档,然后再根据更新信息更新数据,这个在多线程或者多进程的情况下产生资源竞争的情况,使用upsert可以很好的避免这种情况的发……

mongodb增删改查之数组数据集使用

mongodb增删改查之数组数据集使用

之前的一篇文章介绍更新数组的操作,现在如果我们的文档中存在一个数组,后续向其中添加新的数据,我们要确保数组中的数据都是不存在重复的,也是构造一个set集合,那么可以借助$addToSet方法(尼玛这些方法的命名都是驼峰法)看到这个方法的名字就知道保证数组集合是一个不存在重复的数据集,现在我们通过实际的操作来证明这个过程。源数据集{    R……

mongodb增删改查之数组修改器

mongodb增删改查之数组修改器

很多情况下字段的数据类型可能是数组,因此有的时候需要我们去修改数组的数据添加元素$push 如果数组已经存在则会向数组的最后加入新的数据,如果数组不存在那么会自动创建一个数组表示。原始数据如下:{    “_id” : ObjectId(“5afd34052c63ae1a943bdb27”), ……

moondb增删改查之$inc

moondb增删改查之$inc

上一篇文章$set介绍了文档内部数据的修改更新方式,这篇文章主要是讲解对数值进行增加和减少的操作与$set一样如果我们需要更新的字段并不存在那么$inc会自动为当前的文档增加一个字段就如前面所言,$inc只能作用于整形 长整型 或者双精度浮点型,其他类型上会出现失败。元数据{ "_id" : ObjectId(&q……

mongodb增删改查之$set

mongodb增删改查之$set

在上一篇文章中给出了使用文档替换的方法来实现数据的更新的,但是大部分情况下都是涉及文档内部的数据更新,所以可以使用$set的方式来实现。//db.test.findOne({}){ "_id" : ObjectId("5afd34052c63ae1a943bdb27"), "……

mongodb增删改查之改

mongodb增删改查之改

文档替换更新原始数据{ "_id" : ObjectId("5afd34052c63ae1a943bdb27"), "name" : "joe", "friends" : 32.0, "ene……

mongodb增删改查之删

mongodb增删改查之删

deleteOne删除符合条件的一条数据{ "_id" : ObjectId("5afd209e2c63ae1a943bdb20"), "bar" : "test"}{ "_id" : ObjectId(&q……

mongodb增删改查之增

mongodb增删改查之增

最早有一篇文章记录了如何安装mongodb,现在开始学习,发现看了一遍书立马就就忘了,还是自己动手操作一下首先开始增删改查吧!目前使用的软件是studio3t,用的感觉还不错不废话介入正题了。。。。。涉及到插入会有三个方法db.collection.insert()Creates a new document in a collecti……

hive动态分区读写数据遇到的问题

hive动态分区读写数据遇到的问题

1、map和reduce个数设置的问题map和reduce的个数不是越多越好,因为启动时都会消耗很长的时间,而且也要考虑资源问题。因此需要控制保证合适的个数用于执行任务–默认一个map的大小是100m,当然可以调整为500m或者1g都可以,根据实际情况调整set mapred.max.split.size=100000000;se……

hive sql执行顺序以及相关例子

hive sql执行顺序以及相关例子

日常使用的数据查询工具都是hive,了解一下hive sql执行顺序,其实与mysql之间的差异不是太大,参考mysql的执行顺序,hive的执行顺序如下fromonjoinwheregroup byhavingselectdistinctunionorder by举例explainselectcity,ad_type,devi……