pyhive在redhat部署问题
在自己的 mac 上面操作没有任何问题，具体的安装过程可以参考这个文章pyhive 简明教程但是今天早上找运维大哥在我们的线上服务器部署时就出现报错，主要的错误如下所示thrift.transport.TTransport.TTransportException: Could not start SASL: Error in sasl_client_……
pyhive使用简明教程
博主使用的是 pyhive，目前发现 github 作者还在一直维护当中附上链接pyhive作为工具，我们直接使用就好了，当然你的服务器也要开启对用的服务，后面我们才可以通过客户端连接使用在 macos 下面可以通过安装下面的包即可pip install pyhivepip install thiftpip install saslpi……
mongodb误操作查数据表操作日志
起因今天早上过来发现生产系统使用的 MongoDB 库被删掉了。说明可能是两种情况：一、误删，连操作者自己也没意识到做了一个删除操作；二、bug，在某个程序中存在一个 bug。后来定位到自己的代码出现 BUG，赶紧代码修改然后测试今天的调度任务MongoDB 系统日志路径从配置文件中可以查看。MongoDB 进程信息中可以看到配置文件的位置：[ro……
glom帮你轻松处理结构化数据
This post introduces glom, Python’s missing operator for nested objects and data.If you’re an easy sell, full API docs and tutorial are already available at glom.rea……
DataFrame数据合并与连接（merge,join,concat)
merge 通过键拼接列pandas 提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同 DataFrame 中的行连接起来语法如下merge(left, right, how='inner', on=None, left_o……
pandas中遍历DataFrame行
有如下 Pandas DataFrame：import pandas as pdinp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}]df = pd.DataFrame(inp)print df上面代码输出： c1 c20 10 100……
Facebook开源python代码编译错误检查插件
编辑器器中 Pyre ErrorsPyre is integrated with VSCode and Nuclide which allows you to catch your errors in real-time.Pyre 已经通过插件的方式集成在 vscode 编辑器中，使用 vscode 编写代码的同学可以使用了VSCodeAft……
Mac下Anaconda多版本开发配置
python3 势不可挡了，博主也要开始转移到 python3.6 了，2.7 版本暂时也不想删除，还是保留吧！所以才会有这篇文章利用 Anaconda 做 python 多开发环境多版本的配置以下教程会创建两个版本的 python 开发环境，分别是一个默认的 2.7.12 和一个 3.6首先你需要熟悉一下 Anaconda 的基础命令，同时安装的……
python多进程event进程间通信
嘿嘿，有的时候两个人一起干活还是需要交流的，就算是博主一值都拿生产饼干的例子来作为说明的材料，上一篇文章使用信号量表示控制同时干活的进程的数量，现在需要两个人干活的时候需要多交流交流，这个可以通过 event 实现进程之间的通信首先我们先看下 Event 类的定义class Event(object): def __init_……
python多进程信号量(Semaphore)
上一个Lock 是控制资源的访问权限，谁拿到了锁才会去干活，信号量主要控制同时访问资源的进程的数量，比如生产饼干的任务一次只能两个人在车间里面干活，到点了这两个人撤了睡觉去了，在来两个人顶替，或者其中有个人临时有事也得找一个人来顶替干活。下面举个例子来说明import multiprocessingimport timedef worker……
python多进程Lock锁
无论是使用多线程或者多进程都会涉及资源的争夺，比如在多个任务同时读写一个文件，任务就是不断的争夺文件的读写控制权。其中一个任务读写，其他任务就不能执行相同的操作。所以我们使用锁的概念，举个通俗易懂的例子吧！我们的任务就是在一间房子里生产饼干，A 任务抢先拿了锁，那么 A 把门锁住了，其他的都进不来，大约过了一个小时，A 任务执行完毕了要去干别的事情，这个……
python多进程multiprocess理解
目前的工作任务大部分都是在基于分布式操作，前提是当前这个任务可以分布式操作，如果不可以的话也得通过单机操作，单机操作为了更好的利用机器的资源，适当使用多进程或者多线层可以一定程度上提升计算效率。大家都知道 python 存在 GIL 全局锁，所以多线程并不是真的多线程，每次实际上只有一个线程在运作。这个只是一般意义上的说法，比如遇到文件 IO 读写，GI……
python增强命令行神器
ptpythonA better Python REPLpip install ptpythonPtpython is an advanced Python REPL. It should work on all Python versions from 2.6 up to 3.5 and work cross platform (Linu……
Python偶遇glob
今天在看一个代码的时候发现 glob，源代码是需要将子目录里面所有带指定后缀名的文件检索出来，我们并不关心文件的名字，只关心文件后缀名。代码中给出了 glob 函数的操作，通过给出正则表达式匹配所有的文件并返回列表，找到则不为空。有了这个就不需要自己去便利每一个子目录了。。。。Python 的包真的是多，知道能省很多时间，不知道又要自己造轮子了。。。。。……
技术篇-每日一篇0x5-python工厂模式
前面介绍过单例模式，单例模式的思想就是一个对象只有一个实例，当你想创建多个实例的时候也只会返回已存在的实例，并不会给你再次创建，这个会解决大量的实例常见和 gc 回收带来的消耗。不需要的额外的频繁操作。今天来说一说工厂模式。既然是工厂，那么干的事情就会很多了，而且效率高，我们要维护一个工厂如果干事不利索那还办啥工厂，你说是不是，早就倒闭了。。。。。说……
技术篇–每日一篇0x4-python单例模式
方法一：使用装饰器装饰器维护一个字典对象 instances，缓存了所有单例类，只要单例不存在则创建，已经存在直接返回该实例对象。def singleton(cls): instances = {} #看到有人在这有疑问，为啥 instances 会有缓存功能？函数调用结束时所有变量不是释放？ #正解：只有程序运行结束……
Numpy数组解惑(转载)
一、Numpy1.1 轴、维度及秩1.1.1 轴numpy 数组中的轴不太容易理解，但是却非常重要。官方定义为：轴即维度（In Numpy dimensions are called axes.）。对于二维数组，0 轴即代表数组的行，1 轴代表数组的列，对二维数组：>>>arr1 = np.array([[1, 2, 3], [……
快速熟悉numpy，101 个 NumPy 的常用代码
The goal of the numpy exercises is to serve as a reference as well as to get you to apply numpy beyond the basics. The questions are of 4 levels of difficulties with L1 being the e……
