• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

最新发布 第4页

算法之道机器学习、Python和算法爱好者

mongodb增删改查之改

mongodb增删改查之改

文档替换更新原始数据{ "_id" : ObjectId("5afd34052c63ae1a943bdb27"), "name" : "joe", "friends" : 32.0, "ene……

mongodb增删改查之删

mongodb增删改查之删

deleteOne删除符合条件的一条数据{ "_id" : ObjectId("5afd209e2c63ae1a943bdb20"), "bar" : "test"}{ "_id" : ObjectId(&q……

mongodb增删改查之增

mongodb增删改查之增

最早有一篇文章记录了如何安装 mongodb,现在开始学习,发现看了一遍书立马就就忘了,还是自己动手操作一下首先开始增删改查吧!目前使用的软件是 studio3t,用的感觉还不错不废话介入正题了。。。。。涉及到插入会有三个方法db.collection.insert()Creates a new document in a collec……

glom帮你轻松处理结构化数据

This post introduces glom, Python’s missing operator for nested objects and data.If you’re an easy sell, full API docs and tutorial are already available at glom.rea……

DataFrame数据合并与连接(merge,join,concat)

merge  通过键拼接列pandas 提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同 DataFrame 中的行连接起来语法如下merge(left, right, how='inner', on=None, left_o……

pandas中遍历DataFrame行

有如下 Pandas DataFrame:import pandas as pdinp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}]df = pd.DataFrame(inp)print df上面代码输出: c1 c20 10 100……

Facebook开源python代码编译错误检查插件

编辑器器中 Pyre ErrorsPyre is integrated with VSCode and Nuclide which allows you to catch your errors in real-time.Pyre 已经通过插件的方式集成在 vscode 编辑器中,使用 vscode 编写代码的同学可以使用了VSCodeAft……

Mac下Anaconda多版本开发配置

python3 势不可挡了,博主也要开始转移到 python3.6 了,2.7 版本暂时也不想删除,还是保留吧!所以才会有这篇文章利用 Anaconda 做 python 多开发环境多版本的配置以下教程会创建两个版本的 python 开发环境,分别是一个默认的 2.7.12 和一个 3.6首先你需要熟悉一下 Anaconda 的基础命令,同时安装的……

iTerm2让SSH免密码登录

iTerm2 和 Mac 自带的 Terminal 差不多,但是功能更强大,无论透明度、字体、配色、分屏等都可以设置,除了这些花哨的功能外,最近新学了一招,就是可以通过 Profiles 的设置打开就执行写好的脚本,让自动免输入密码登录远程服务器。脚本内容如下:#!/usr/bin/expect -f set user <用户名>……

macos下mongodb单机配置

Mac 下配置 Mongobrew install mongodbMongoDB 服务的启动配置文件方式安装完成后自动创建一个名为 mongodb.conf 的配置文件,和那些小工具放在同一个目录中,文件的内容如下:MongoDB 3.6.4systemLog: destination: file path: /usr/lo……

python多进程event进程间通信

 嘿嘿,有的时候两个人一起干活还是需要交流的,就算是博主一值都拿生产饼干的例子来作为说明的材料,上一篇文章使用信号量表示控制同时干活的进程的数量,现在需要两个人干活的时候需要多交流交流,这个可以通过 event 实现进程之间的通信首先我们先看下 Event 类的定义class Event(object): def __init_……

python多进程信号量(Semaphore)

上一个Lock 是控制资源的访问权限,谁拿到了锁才会去干活,信号量主要控制同时访问资源的进程的数量,比如生产饼干的任务一次只能两个人在车间里面干活,到点了这两个人撤了睡觉去了,在来两个人顶替,或者其中有个人临时有事也得找一个人来顶替干活。下面举个例子来说明import multiprocessingimport timedef worker……

python多进程Lock锁

无论是使用多线程或者多进程都会涉及资源的争夺,比如在多个任务同时读写一个文件,任务就是不断的争夺文件的读写控制权。其中一个任务读写,其他任务就不能执行相同的操作。所以我们使用锁的概念,举个通俗易懂的例子吧!我们的任务就是在一间房子里生产饼干,A 任务抢先拿了锁,那么 A 把门锁住了,其他的都进不来,大约过了一个小时,A 任务执行完毕了要去干别的事情,这个……

python多进程multiprocess理解

目前的工作任务大部分都是在基于分布式操作,前提是当前这个任务可以分布式操作,如果不可以的话也得通过单机操作,单机操作为了更好的利用机器的资源,适当使用多进程或者多线层可以一定程度上提升计算效率。大家都知道 python 存在 GIL 全局锁,所以多线程并不是真的多线程,每次实际上只有一个线程在运作。这个只是一般意义上的说法,比如遇到文件 IO 读写,GI……

python增强命令行神器

ptpythonA better Python REPLpip install ptpythonPtpython is an advanced Python REPL. It should work on all Python versions from 2.6 up to 3.5 and work cross platform (Linu……

PersonalRank算法以及实现

PersonalRank算法以及实现

先举个例子上面的二部图表示 user A 对 item a 和 c 感兴趣,B 对 a b c d 都感兴趣,C 对 c 和 d 感兴趣。本文假设每条边代表的感兴趣程度是一样的。现在我们要为 user A 推荐 item,实际上就是计算 A 对所有 item 的感兴趣程度。在 personal rank 算法中不区分 user 节点和 item ……

Spark中Container killed by YARN for exceeding memory limits

昨天在 yarn 集群上跑代码遇到这个问题,现在发现 spark 代码写好是重要的一方面,spark submit 参数设置也起着重要的作用Container killed by YARN for exceeding memory limits,直白的意思就是超出内存限制了,查看 yarn 集群的设置,在 yarn 的配置表 yarn.schedul……

大数据常见错误解决方案

1、用./bin/spark-shell 启动 spark 时遇到异常:java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries!解决方法:add export SPARK_……