• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下
tornado+apscheduler定时任务

tornado+apscheduler定时任务

好久没有更新了,工作忙网站都长草了,最近这两天搞一个调度任务,定时从 HIVE 抽数,使用 tornado 写个服务实现类似的功能。使用自带的间隔回调函数在发送请求没办法达到异步的效果,但是也不想在外部设置 cron 热痱任务,最后的目的就是将这些柔到一个代码里面,所以才有了这篇文章,下面给出的是示例使用 apscheduler 定时任务,可以使用 i……

Greenlet小记(转载)

Greenlet小记(转载)

很多年前有一段时间对协程很感兴趣,于是去研究 Greenlet 的实现原理,记录在 google code 上(google code 关停后导出到 Github 上了),这两天跟某人介绍这个东西的时候翻出来,自己都不是很明白了,果然贴代码的笔记不是好笔记… 决定再写一篇更偏向原理的原理我们知道,操作系统会给每一个线程分配一个独立的堆栈,它们各自独……

python设计模式–命令模式

python设计模式–命令模式

今天小崔和小雷出门去餐厅吃饭,为了庆祝一下。来到餐厅之后,服务员过来拿着菜单,小崔看着菜单 12345 点了 5 个菜,确定了这顿饭的菜单之后,服务员把这些菜单交到后厨,后厨按照给出的菜单一道一道的做出来。这个点菜到做菜的过程就是命令模式的实现,客户端就是小崔和小雷,发出菜单的请求,他们不关心这些菜是怎么做成的。服务员就是指挥者的角色,将菜单转交给后厨,每……

python-pdb调试

python-pdb调试

为啥会想起来用 pdb?公司的网实在是太慢了,pycharm 设置远程调试总是要上传某些文件导致无法调试,只能在文件中加入 pdb 调试代码。pdb 是 ptyhon 内置的一个调试库,是调试 python 代码的好帮手,本文是对其用法的详细介绍。QuickStart待调试的代码内容文件名:test.py:# coding:utf-8imp……

python设计模式–职责链模式

python设计模式–职责链模式

小明开了一家店,今天像以前一样出门去采购豆瓣酱,店里生意不好的时候去小摊买个五瓶就够了,要是生意还行的话就要去小店里去买个 5 到 15 瓶,生意特别好的时候就要去超市批发 30 瓶。小明就是一个客户端,出门买豆瓣酱就是一个请求,要是买的豆瓣酱的个数小于五那么就近去小摊就能买到,要是需求是五到十五瓶那么就要去小店里买了,再多的话就要去超市里买了,只有大超市……

python设计模式–代理模式

python设计模式–代理模式

有的时候访问一个网站比较慢的时候,比如 google 需要通过第三方代理然后才能访问,整个的流程如下图所示:在设计模式中当然也存在代理模式,常见的有以下几个方面当需要为一个对象再不同的地址空间提供局部的代表时此时的代理模式称为远程代理:为一个对象在不同的地址空间提供局部代表。目的:隐藏一个对象存在于不同地址空间的事实;远程机器可能具有更好……

python设计模式–享元模式

python设计模式–享元模式

享元模式最核心的地方应该就是“享”,共享一个通用的东西,在你有不同的要求时也可以达到不同的实现。下面举个栗子上面这个例子大家通用的功能就是绘制圆形,但是我们可以绘制不同颜色的圆形,那么这个就可以使用享元模式来优化,其实这个功能太简单了,不需要设计模式也可以来实现。仅以此举例说明下面给出享元模式的术语描述,当然会结合上面的给的例子来描述专业术语的含义……

python设计模式–装饰器模式

python设计模式–装饰器模式

感觉这个不像是设计模式,在 python 的语法糖中包含了一种叫装饰器的东西,正好与设计模式的这个玩意名字也是相同的,其实你读了这篇文章也会发现这两个说的也是同一个东西,没什么区别。装饰器如果记得不太清楚的话可以看我这篇文章,相信你应该可以看得懂python 装饰器探究套用之前装饰器的一篇文章中介绍装饰器部分时,装饰器主要解决的是一些公共部分的代码复用的……

python设计模式-适配器模式

python设计模式-适配器模式

适配器模式主要解决的问题保留旧版本的接口的基础上,新开发的接口能够兼容到旧版本的系统上。其实我们重构旧版本的代码也可以实现相应功能的开发,但是这就违背的了开放与封闭原则,因此我们不会轻易去修改旧代码,除非你要重构旧版本的代码,都是通过增量式开发,同时兼容旧版本。设计模式这东西只有在你要优化当前系统的时候才会使用到,不可能一开始全部的系统都是以设计模式的……

scipy稀疏矩阵模块

scipy稀疏矩阵模块

今天在使用 lightfm 的时候,输入的数据类型可以是稀疏矩阵,一开始尝试先构造列表然后类型转换为系数矩阵,发现运行到中途进程被 kill 掉了,才发现这个 dok_matrix 神奇的类1.sparse 模块初探python 中 scipy 模块中,有一个模块叫 sparse 模块,就是专门为了解决稀疏矩阵而生。本文的大部分内容,其实就是基于 spa……

python-sort函数key解析

python-sort函数key解析

sort 之美后来去看了下 sort 的函数说明,包括 cmp, key, reverse 参数究竟怎么去用,又写了几个例子,以为这下子对 sort 可谓是理解透彻了。比如要要根据值的大小输出字典内容,那么就可以像下面这样优雅地解决:>>> d = {1: 'z', 2:'y', 3: 'x'}>>> prin……

python-建造者模式

python-建造者模式

此前学习了单例模式和工厂模式,准备最近把 16 种设计模式都学习一遍,至于使用起来还有一段距离。建造者顾名思义需要我们去造点什么东西出来,当然需要打造的东西需要一步一步来实现,不可能一步登天,只有当各个部分打造好以后才会组成一个完整的东西。建造者只负责打造东西,究竟打造什么东西还是需要别人来发出造东西的指令,这个指令包含了需要打造的内容,这样就引出了指挥……

matplotlib绘制分组数据

matplotlib绘制分组数据

直接看 ipynb 数据吧!……

pymongo连接主从集群之副本集

pymongo连接主从集群之副本集

现在要把测试服务器的所有数据迁移到线上服务器,线上服务器使用了主从机制,目前来说就两台机器,也许以后会更多现在要把测试服务器的所有数据迁移到线上服务器,线上服务器使用了主从机制,目前来说就两台机器,也许以后会更多现在打算使用 pymongo 连接线上的服务来实现数据的读取,看了下官方的文档,通过运维给的 mongodb url 来连接读写,发现直接报 ……

log likelihood相似度python实现

log likelihood相似度python实现

在上一篇文章中介绍了 log likehood 相似度函数,这里在贴上代码,这份代码是参考了 mahout 代码实现,想看 mahout 在这个源码实现的可以去看 Apache 官方源码,也是比较好理解的。话不多说直接上代码,也是比较简单,熵是非归一化的,区别于常规的熵计算 def entropy(*elements): sum = 0……

协程的全局变量无需加锁

协程的全局变量无需加锁

请问下面的输出是?import eventletimport threadingcount = 0def count_10000(): global count for i in xrange(10000): count += 1def count_in_threads(): ……

pyhive在redhat部署问题

pyhive在redhat部署问题

在自己的 mac 上面操作没有任何问题,具体的安装过程可以参考这个文章pyhive 简明教程但是今天早上找运维大哥在我们的线上服务器部署时就出现报错,主要的错误如下所示thrift.transport.TTransport.TTransportException: Could not start SASL: Error in sasl_client_……

pyhive使用简明教程

pyhive使用简明教程

博主使用的是 pyhive,目前发现 github 作者还在一直维护当中附上链接pyhive作为工具,我们直接使用就好了,当然你的服务器也要开启对用的服务,后面我们才可以通过客户端连接使用在 macos 下面可以通过安装下面的包即可pip install pyhivepip install thiftpip install saslpi……