• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

标签:Python

log likelihood相似度python实现

在上一篇文章中介绍了 log likehood 相似度函数,这里在贴上代码,这份代码是参考了 mahout 代码实现,想看 mahout 在这个源码实现的可以去看 Apache 官方源码,也是比较好理解的。话不多说直接上代码,也是比较简单,熵是非归一化的,区别于常规的熵计算 def entropy(*elements): sum = 0……

pyhive在redhat部署问题

在自己的 mac 上面操作没有任何问题,具体的安装过程可以参考这个文章pyhive 简明教程但是今天早上找运维大哥在我们的线上服务器部署时就出现报错,主要的错误如下所示thrift.transport.TTransport.TTransportException: Could not start SASL: Error in sasl_client_……

pyhive使用简明教程

博主使用的是 pyhive,目前发现 github 作者还在一直维护当中附上链接pyhive作为工具,我们直接使用就好了,当然你的服务器也要开启对用的服务,后面我们才可以通过客户端连接使用在 macos 下面可以通过安装下面的包即可pip install pyhivepip install thiftpip install saslpi……

DataFrame数据合并与连接(merge,join,concat)

merge  通过键拼接列pandas 提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同 DataFrame 中的行连接起来语法如下merge(left, right, how='inner', on=None, left_o……

pandas中遍历DataFrame行

有如下 Pandas DataFrame:import pandas as pdinp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}]df = pd.DataFrame(inp)print df上面代码输出: c1 c20 10 100……

Facebook开源python代码编译错误检查插件

编辑器器中 Pyre ErrorsPyre is integrated with VSCode and Nuclide which allows you to catch your errors in real-time.Pyre 已经通过插件的方式集成在 vscode 编辑器中,使用 vscode 编写代码的同学可以使用了VSCodeAft……

Mac下Anaconda多版本开发配置

python3 势不可挡了,博主也要开始转移到 python3.6 了,2.7 版本暂时也不想删除,还是保留吧!所以才会有这篇文章利用 Anaconda 做 python 多开发环境多版本的配置以下教程会创建两个版本的 python 开发环境,分别是一个默认的 2.7.12 和一个 3.6首先你需要熟悉一下 Anaconda 的基础命令,同时安装的……

python多进程event进程间通信

 嘿嘿,有的时候两个人一起干活还是需要交流的,就算是博主一值都拿生产饼干的例子来作为说明的材料,上一篇文章使用信号量表示控制同时干活的进程的数量,现在需要两个人干活的时候需要多交流交流,这个可以通过 event 实现进程之间的通信首先我们先看下 Event 类的定义class Event(object): def __init_……

python多进程信号量(Semaphore)

上一个Lock 是控制资源的访问权限,谁拿到了锁才会去干活,信号量主要控制同时访问资源的进程的数量,比如生产饼干的任务一次只能两个人在车间里面干活,到点了这两个人撤了睡觉去了,在来两个人顶替,或者其中有个人临时有事也得找一个人来顶替干活。下面举个例子来说明import multiprocessingimport timedef worker……

python多进程Lock锁

无论是使用多线程或者多进程都会涉及资源的争夺,比如在多个任务同时读写一个文件,任务就是不断的争夺文件的读写控制权。其中一个任务读写,其他任务就不能执行相同的操作。所以我们使用锁的概念,举个通俗易懂的例子吧!我们的任务就是在一间房子里生产饼干,A 任务抢先拿了锁,那么 A 把门锁住了,其他的都进不来,大约过了一个小时,A 任务执行完毕了要去干别的事情,这个……

python多进程multiprocess理解

目前的工作任务大部分都是在基于分布式操作,前提是当前这个任务可以分布式操作,如果不可以的话也得通过单机操作,单机操作为了更好的利用机器的资源,适当使用多进程或者多线层可以一定程度上提升计算效率。大家都知道 python 存在 GIL 全局锁,所以多线程并不是真的多线程,每次实际上只有一个线程在运作。这个只是一般意义上的说法,比如遇到文件 IO 读写,GI……

python增强命令行神器

ptpythonA better Python REPLpip install ptpythonPtpython is an advanced Python REPL. It should work on all Python versions from 2.6 up to 3.5 and work cross platform (Linu……

Python偶遇glob

今天在看一个代码的时候发现 glob,源代码是需要将子目录里面所有带指定后缀名的文件检索出来,我们并不关心文件的名字,只关心文件后缀名。代码中给出了 glob 函数的操作,通过给出正则表达式匹配所有的文件并返回列表,找到则不为空。有了这个就不需要自己去便利每一个子目录了。。。。Python 的包真的是多,知道能省很多时间,不知道又要自己造轮子了。。。。。……

技术篇-每日一篇0x5-python工厂模式

前面介绍过单例模式,单例模式的思想就是一个对象只有一个实例,当你想创建多个实例的时候也只会返回已存在的实例,并不会给你再次创建,这个会解决大量的实例常见和 gc 回收带来的消耗。不需要的额外的频繁操作。今天来说一说工厂模式。既然是工厂,那么干的事情就会很多了,而且效率高,我们要维护一个工厂如果干事不利索那还办啥工厂,你说是不是,早就倒闭了。。。。。说……

技术篇–每日一篇0x4-python单例模式

方法一:使用装饰器装饰器维护一个字典对象 instances,缓存了所有单例类,只要单例不存在则创建,已经存在直接返回该实例对象。def singleton(cls): instances = {} #看到有人在这有疑问,为啥 instances 会有缓存功能?函数调用结束时所有变量不是释放? #正解:只有程序运行结束……

二部图解析以及python代码实现

二部图解析以及python代码实现

许多网站都喜欢让用户点击“喜欢/不喜欢”,“顶/反对”,也正是这种很简单的信息也可以利用起来对用户进行推荐!这里介绍一种基于网络结构的推荐系统!由于推荐系统深深植根于互联网,用户与用户之间,商品与商品之间,用户与商品之间都存在某种联系,把用户和商品都看作节点,他(它)们之间的联系看作是边,那么就很自然地构建出一个网络图,所以很多研究者利用这个网络图进行个性……

Numpy数组解惑(转载)

一、Numpy1.1 轴、维度及秩1.1.1 轴numpy 数组中的轴不太容易理解,但是却非常重要。官方定义为:轴即维度(In Numpy dimensions are called axes.)。对于二维数组,0 轴即代表数组的行,1 轴代表数组的列,对二维数组:>>>arr1 = np.array([[1, 2, 3], [……

快速熟悉numpy,101 个 NumPy 的常用代码

The goal of the numpy exercises is to serve as a reference as well as to get you to apply numpy beyond the basics. The questions are of 4 levels of difficulties with L1 being the e……