• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下
mongodb增删改查之数组数据集使用

mongodb增删改查之数组数据集使用

之前的一篇文章介绍更新数组的操作,现在如果我们的文档中存在一个数组,后续向其中添加新的数据,我们要确保数组中的数据都是不存在重复的,也是构造一个 set 集合,那么可以借助$addToSet 方法(尼玛这些方法的命名都是驼峰法)看到这个方法的名字就知道保证数组集合是一个不存在重复的数据集,现在我们通过实际的操作来证明这个过程。源数据集{    &……

mongodb增删改查之数组修改器

mongodb增删改查之数组修改器

很多情况下字段的数据类型可能是数组,因此有的时候需要我们去修改数组的数据添加元素$push 如果数组已经存在则会向数组的最后加入新的数据,如果数组不存在那么会自动创建一个数组表示。原始数据如下:{    “_id” : ObjectId(“5afd34052c63ae1a943bdb27”), ……

moondb增删改查之$inc

moondb增删改查之$inc

上一篇文章$set介绍了文档内部数据的修改更新方式,这篇文章主要是讲解对数值进行增加和减少的操作与$set 一样如果我们需要更新的字段并不存在那么$inc 会自动为当前的文档增加一个字段就如前面所言,$inc 只能作用于整形 长整型 或者双精度浮点型,其他类型上会出现失败。元数据{ "_id" : ObjectId……

mongodb增删改查之$set

mongodb增删改查之$set

在上一篇文章中给出了使用文档替换的方法来实现数据的更新的,但是大部分情况下都是涉及文档内部的数据更新,所以可以使用$set 的方式来实现。//db.test.findOne({}){ "_id" : ObjectId("5afd34052c63ae1a943bdb27"), "……

mongodb增删改查之改

mongodb增删改查之改

文档替换更新原始数据{ "_id" : ObjectId("5afd34052c63ae1a943bdb27"), "name" : "joe", "friends" : 32.0, "ene……

mongodb增删改查之删

mongodb增删改查之删

deleteOne删除符合条件的一条数据{ "_id" : ObjectId("5afd209e2c63ae1a943bdb20"), "bar" : "test"}{ "_id" : ObjectId(&q……

mongodb增删改查之增

mongodb增删改查之增

最早有一篇文章记录了如何安装 mongodb,现在开始学习,发现看了一遍书立马就就忘了,还是自己动手操作一下首先开始增删改查吧!目前使用的软件是 studio3t,用的感觉还不错不废话介入正题了。。。。。涉及到插入会有三个方法db.collection.insert()Creates a new document in a collec……

hive动态分区读写数据遇到的问题

hive动态分区读写数据遇到的问题

1、map 和 reduce 个数设置的问题map 和 reduce 的个数不是越多越好,因为启动时都会消耗很长的时间,而且也要考虑资源问题。因此需要控制保证合适的个数用于执行任务–默认一个 map 的大小是 100m,当然可以调整为 500m 或者 1g 都可以,根据实际情况调整set mapred.max.split.size=1……

hive sql执行顺序以及相关例子

hive sql执行顺序以及相关例子

日常使用的数据查询工具都是 hive,了解一下 hive sql 执行顺序,其实与 mysql 之间的差异不是太大,参考 mysql 的执行顺序,hive 的执行顺序如下fromonjoinwheregroup byhavingselectdistinctunionorder by举例explainselectcity,ad_t……

一次小失误记录sql count

一次小失误记录sql count

这篇文章会出现是因为在统计一个数据的时候随手写了 count,一时忘记 count 对 null 的处理,类似其他的空字符串也是不涵盖的,所以 copy 一篇过来记录一下SQL COUNT() 函数COUNT() 函数返回匹配指定条件的行数。SQL COUNT() 语法SQL COUNT(column_name) 语法COUNT(column……

HIVE与null判断相关函数

HIVE与null判断相关函数

1.NVL 函数NVL 函数的格式如下:NVL(expr1,expr2)含义是:如果 oracle 第一个参数为空那么显示第二个参数的值,如果第一个参数的值不为空,则显示第一个参数本来的值。例如:SQL> select ename,NVL(comm, -1) from emp;ENAME NVL(COMM,-1)——- &……

hive日志

hive日志

Hive 中的日志分为两种1. 系统日志,记录了 hive 的运行情况,错误状况。2. Job 日志,记录了 Hive 中 job 的执行的历史过程。系统日志存储在什么地方呢 ?在 hive/conf/ hive-log4j.properties 文件中记录了 Hive 日志的存储情况,默认的存储情况:hive.root.logger=WARN,……

HIVE错误return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

HIVE错误return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

今天在执行一个 hive 查询语句报下面错误:MapReduce Total cumulative CPU time: 0 days 1 hours 0 minutes 8 seconds 970 msecEnded Job = job_1511596090231_19002 with errorsError during job, obtaining……

hive regexp_extract函数

hive regexp_extract函数

函数描述:regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp字符串正则表达式解析函数。— 这个函数有点类似于 substring(str from ‘regexp’)  ..参数解释:其中:str 是被解析的……

Caused by: java.io.IOException: Malformed ORC file

Caused by: java.io.IOException: Malformed ORC file

将本地文件的数据加载到 hive 的 ORC 格式表时,出现以下报错:Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive……

hive连接优化相关

hive连接优化相关

1. Join 的基本原理大家都知道,Hive 会将所有的 SQL 查询转化为 Map/Reduce 作业运行于 Hadoop 集群之上。在这里简要介绍 Hive 将 Join 转化为 Map/Reduce 的基本原理(其它查询的原理请参考这里)。假定有 user 和 order 两张表,分别如下:user 表:sidname1……

hive桶概念

hive桶概念

Hive 分桶分桶对于每一个表或者分区,Hive 可以进一步组织成桶,也就是更为细粒度的数据范围划分Hive 是针对某一列进行分桶Hive 采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中好处获得更高的查询处理效率使取样(sampling) 更高效分桶的使用select * from buckete……

DML、DCL等基本概念

DML、DCL等基本概念

博主日常使用查询的工具就是 hive,与 mysql 还是有很多共同之处,但是很多时候也要去 hive 官网查询相关信息,遇到最多了就是 ddl 等相关的名词,在这记录一下DDL数据定义方法,创建数据表,更改数据表相关信息,新增分区等等操作Data Definition Language (DDL) statements are used to def……