• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

最新发布 第3页

算法之道机器学习、Python和算法爱好者

ip地址相关解释

最近在分析电商网站在各个国家地区的特征,由于埋点记录只有 ip,所以需要解析 ip 获取对应的国家地区等信息在网上找了一个开源的数据库,提供的格式有 mmdb 和 csv 等格式,mmdb 是二进制文件。在看 csv 文件中记录 ip 的格式是这个样子的,算是学习了,说白了计算机网络了解的不够xx.xx.xx.2/24   最简单的说明这个 24 ……

协程的全局变量无需加锁

请问下面的输出是?import eventletimport threadingcount = 0def count_10000(): global count for i in xrange(10000): count += 1def count_in_threads(): ……

spark获取指定分区数据

使用 mapPartitionsWithIndex 如下所示// Create (1, 1), (2, 2), ..., (100, 100) dataset// and partition by key so we know what to expectval rdd = sc.parallelize((1 to 100) map (i =&……

pyhive在redhat部署问题

在自己的 mac 上面操作没有任何问题,具体的安装过程可以参考这个文章pyhive 简明教程但是今天早上找运维大哥在我们的线上服务器部署时就出现报错,主要的错误如下所示thrift.transport.TTransport.TTransportException: Could not start SASL: Error in sasl_client_……

pyhive使用简明教程

博主使用的是 pyhive,目前发现 github 作者还在一直维护当中附上链接pyhive作为工具,我们直接使用就好了,当然你的服务器也要开启对用的服务,后面我们才可以通过客户端连接使用在 macos 下面可以通过安装下面的包即可pip install pyhivepip install thiftpip install saslpi……

sklearn中tsne可视化

sklearn中tsne可视化

声明:manifold:可以称之为流形数据。像绳结一样的数据,虽然在高维空间中可分,但是在人眼所看到的低维空间中,绳结中的绳子是互相重叠的不可分的。参考sklearn 官方文档对数据降维比较熟悉的朋友可以看这篇博客t-SNE 实践——sklearn 教程数据降维与可视化——t-SNEt-SNE 是目前来说效果最好的数据降维与可视化方法,但是它……

openmp与mpi

openmp与mpi

I’ve been taking the course Parallel Computing this semester, and I’m also participating in some student cluster competitions. Therefore, I wanted to configure OpenMP and MPI on my……

mongodb查询之数组查询

mongodb查询之数组查询

1、$all一般情况下数组中会有多个元素,使用 all 可以给出多个元素查询条件,对应的文档要全部包含查询条件中的数据才是匹配的文档。db.test.find({"fruit":{"$all":["apple","banana"]}}){ "_i……

mongodb特定情况查询

mongodb特定情况查询

1、null 查询db.test.find({"enemies":null}){ "_id" : ObjectId("5b042463c42e07823911338e"), "name" : 25.0, "friends……

mongodb查询之查询条件

mongodb查询之查询条件

1、$gt $gte $lt $lte如果直接记忆这些不太好记,但是你要是知道其中的意思就好记了,gte 就是 greater than equal 也就是大于等于的意思,这样好记多了db.test.find({ "friends" : {"$gte":32} }){ "_id……

mongodb误操作查数据表操作日志

起因今天早上过来发现生产系统使用的 MongoDB 库被删掉了。说明可能是两种情况:一、误删,连操作者自己也没意识到做了一个删除操作;二、bug,在某个程序中存在一个 bug。后来定位到自己的代码出现 BUG,赶紧代码修改然后测试今天的调度任务MongoDB 系统日志路径从配置文件中可以查看。MongoDB 进程信息中可以看到配置文件的位置:[ro……

机器学习和深度学习课程笔记打印版

机器学习和深度学习课程笔记打印版

Coursera 深度学习教程中文笔记课程概述https://mooc.study.163.com/university/deeplearning_ai#/c这些课程专为已有一定基础(基本的编程知识,熟悉Python、对机器学习有基本了解),想要尝试进入人工智能领域的计算机专业人士准备。介绍显示:“深度学习是科技业最热门的技能之一,本课程将帮你掌握……

mongodb查询入门(1)

mongodb查询入门(1)

说实话使用关系型数据库习惯了,一开始接触 mongodb 还是有点不太习惯,但是也发现了其有点,数据都是以文档的形式保存,那么数据保存的形式就是多样化了,例如现在推荐算法的数据都是以数组的形式保存的。查询mongodb 是使用 find 函数来实现相关文档的查询操作。db.test.find({})上述代码中 find 中没有任何的参数那么会……

mongodb增删改查之upsert

mongodb增删改查之upsert

upsert 是一种特殊的更新方式,要是没有找到符合条件的文档,则会自动创建一个文档,否则更新对应的文档数据。看 mongodb 权威指南提到 upsert 会避免竞态问题,如果使用日常的思维去考虑这个问题,需要先去数据库中查找符合条件的文档,然后再根据更新信息更新数据,这个在多线程或者多进程的情况下产生资源竞争的情况,使用 upsert 可以很好的避……

mongodb增删改查之数组数据集使用

mongodb增删改查之数组数据集使用

之前的一篇文章介绍更新数组的操作,现在如果我们的文档中存在一个数组,后续向其中添加新的数据,我们要确保数组中的数据都是不存在重复的,也是构造一个 set 集合,那么可以借助$addToSet 方法(尼玛这些方法的命名都是驼峰法)看到这个方法的名字就知道保证数组集合是一个不存在重复的数据集,现在我们通过实际的操作来证明这个过程。源数据集{    &……

mongodb增删改查之数组修改器

mongodb增删改查之数组修改器

很多情况下字段的数据类型可能是数组,因此有的时候需要我们去修改数组的数据添加元素$push 如果数组已经存在则会向数组的最后加入新的数据,如果数组不存在那么会自动创建一个数组表示。原始数据如下:{    “_id” : ObjectId(“5afd34052c63ae1a943bdb27”), ……

moondb增删改查之$inc

moondb增删改查之$inc

上一篇文章$set介绍了文档内部数据的修改更新方式,这篇文章主要是讲解对数值进行增加和减少的操作与$set 一样如果我们需要更新的字段并不存在那么$inc 会自动为当前的文档增加一个字段就如前面所言,$inc 只能作用于整形 长整型 或者双精度浮点型,其他类型上会出现失败。元数据{ "_id" : ObjectId……

mongodb增删改查之$set

mongodb增删改查之$set

在上一篇文章中给出了使用文档替换的方法来实现数据的更新的,但是大部分情况下都是涉及文档内部的数据更新,所以可以使用$set 的方式来实现。//db.test.findOne({}){ "_id" : ObjectId("5afd34052c63ae1a943bdb27"), "……