• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

tornado+apscheduler定时任务

好久没有更新了,工作忙网站都长草了,最近这两天搞一个调度任务,定时从 HIVE 抽数,使用 tornado 写个服务实现类似的功能。使用自带的间隔回调函数在发送请求没办法达到异步的效果,但是也不想在外部设置 cron 热痱任务,最后的目的就是将这些柔到一个代码里面,所以才有了这篇文章,下面给出的是示例使用 apscheduler 定时任务,可以使用 i……

Item2安装SZ和RZ问题

Item2安装SZ和RZ问题

安装 brewbrew是 Mac OS 上的一个包管理工具,可以使用它来安装接下来要使用到的 iTerm,wget 等工具。Mac 默认安装了 ruby,打开终端执行如下命令:/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/mast……

Xgbfi特征重要性分析(xgboost扩展)

Xgbfi特征重要性分析(xgboost扩展)

Xgbfi用于训练好的 xgboost 模型分析对应特征的重要性,当然你也可以使用 fmap 来观察What is Xgbfi?Xgbfi is a XGBoost model dump parser, which ranks features as well as feature interactions by different metrics.……

树莓派挂载gpt分区硬盘

在树莓派上已经搭建好了 aria2,可以愉快的随时随地下载电影了,所以又把抽屉里面的 1T 移动硬盘拿出来接上树莓派,先看下硬盘的分区情况sudo parted -l从上面可以看到这个分区情况,我直接挂载 sdc2 理论上可以的,如果驱动满足的情况下哈哈,不出意外还是出现了错误,提示 exfat 格式不支持通过安装下面的就可以支持了……

威尔逊置信区间排序

威尔逊置信区间排序

对于召回的一些数据如何给这些数据来排名,然后根据这个排名来显示数据,这就需要使用“威尔逊区间”了。 首先我们讨论的情况是每个项目只有两种选择,且项目之间是相互独立的,就是项目符合“二项分布”的。 如[1]中所举的例子中可以看出,无论得分情况为得分 = 赞成票 – 反对票还是得分 = 赞成票 / 全部票都会出现错误的情况。 有一种计算得……

keras任意中间层结果输出

最近使用 keras 写了一点代码,输入是正负样本,loss 使用的是交叉熵,但是最终我只需要网络对给定的样本的预测分数就可以了,也就是输入只有一个样本,不存在正负样本对的情况。如果你的模型就一个输入一个输出,那么通过以下的方式你可以拿到你想要的输出from keras import backend as K# with a Sequenti……

Keras过拟合相关解决办法

这种过拟合的处理称为正则化。 我们来学习一些最常用的正则化技术,并将其应用于实践中。1.缩小神经网络的规模防止过拟合最简单的方法是缩小模型的规模:模型中的可学习的参数数量(由层数和每层节点数决定)。 在深度学习中,模型中参数的数量通常被称为模型的能力。 直观地说,拥有更多参数的模型具有更强的记忆能力,甚至可以可以轻松地学习训练样本与其目标之间的类似字典的……

Greenlet小记(转载)

很多年前有一段时间对协程很感兴趣,于是去研究 Greenlet 的实现原理,记录在 google code 上(google code 关停后导出到 Github 上了),这两天跟某人介绍这个东西的时候翻出来,自己都不是很明白了,果然贴代码的笔记不是好笔记… 决定再写一篇更偏向原理的原理我们知道,操作系统会给每一个线程分配一个独立的堆栈,它们各自独……

树莓派3B+ aria配置

安装 aria2首先安装相应软件sudo apt install -y aria2 创建文件夹 mkdir -p ~/.config/aria2/添加一个 aria 配置文件 vim ~/.config/aria2/aria2.config这个路径你随便设置完全看你的心情config 的配置可以使用以下#后台运行daemon=tru……

树莓派腾讯云(宝塔面板) frp 实现内网穿透

前言准备做个小东西,但是没有公网 IP 无法在外网访问。这里使用 frp 实现内网穿透,无需公网 IP 即可 SSH 连接。准备一台有公网 IP 的服务器frp步骤要修改的配置文件 frps.ini 为 server , frpc.ini 为 client服务端1234567# 下载安装,选择合适架构的包……

神经网络训练11条新手最容易犯的错误

根据自己工作中失败的教训,整理了一份神经网络出错原因清单,一共 11 条。量子位搬运过来,各位被神经网络虐待的时候,可以按图索骥。当然,也祝你们看了这 11 条之后,功力大进,炼丹顺利。1. 忘了数据规范化What?在使用神经网络的过程中,非常重要的一点是要考虑好怎样规范化(normalize)你的数据。这一步不能马虎,不正确、仔细完成规范化的……

Tensorflow exceeds 10% of system memory解决方法

在训练一个模型的时候遇到这样的问题在 tensorflow 的 github 上面也发现有人遇到类似的问题,贴上链接https://github.com/tensorflow/tensorflow/issues/18736解决方法Try reducing batch_size attribute to a small number减小 ……

树莓派3b+ u盘系统启动

在网上搜了一大圈,都是那种使用 tf 配合 u 盘启动,实在是太麻烦。。。。从官方树莓派 3 开始就可以使用 u 盘作为系统盘启动了,当时的文章中提到 u 盘兼容性存在问题,不同的 u 盘主控不一样,有些可能无法启动,看了博客上闪迪的兼容性还不错,这次就在京东上买了一个闪迪 16g 的 usb3.0 的 u 盘,树莓派 3b+可惜都是 usb2.0,期待……

LightGbm之直方图优化理解

LightGbm之直方图优化理解

简单介绍一下吧,lightgbm 是微软推出的 gbdt 相关的机器学习库,一开源就受到很多开发者的喜爱吧,主要是运行速度快并且节省内存,同时训练的精度也很高,感觉集中了所有的优势。在此之前用陈天奇的 xgboost 居多,也是神器。xgboost 采用了预排序的方法来处理节点分裂,在计算机领域要么就是空间换时间,或者时间换空间(这个也不是绝对,你可以通过某……

beta分布原理

beta分布原理

说道这个分布,之前有段时间再看 LDA 的原理了解过,最近组内用人用贝叶斯和威尔逊区间等用于 CTR 平滑做推荐排序,目前 ABTEST 效果不是太好,提升也不是太大。然后分析了下不好的原因,顺带了解了下其中涉及到的这个 BETA 分布内容。相信大家学过统计学的都对 正态分布 二项分布 均匀分布 等等很熟悉了,但是却鲜少有人去介绍beta 分布的。用一……

tensorflow中指定GPU设置

 最近开始用 pair-wise ranknet 实现排序,开始写一写 tensorflow 代码查看机器上 GPU 情况命令: nvidia-smi功能:显示机器上 gpu 的情况命令: nvidia-smi -l功能:定时更新显示机器上 gpu 的情况 其中左上侧有 0、1、2、3 的编号,表示 GPU 的编号,在……

python设计模式–命令模式

今天小崔和小雷出门去餐厅吃饭,为了庆祝一下。来到餐厅之后,服务员过来拿着菜单,小崔看着菜单 12345 点了 5 个菜,确定了这顿饭的菜单之后,服务员把这些菜单交到后厨,后厨按照给出的菜单一道一道的做出来。这个点菜到做菜的过程就是命令模式的实现,客户端就是小崔和小雷,发出菜单的请求,他们不关心这些菜是怎么做成的。服务员就是指挥者的角色,将菜单转交给后厨,每……

python-pdb调试

为啥会想起来用 pdb?公司的网实在是太慢了,pycharm 设置远程调试总是要上传某些文件导致无法调试,只能在文件中加入 pdb 调试代码。pdb 是 ptyhon 内置的一个调试库,是调试 python 代码的好帮手,本文是对其用法的详细介绍。QuickStart待调试的代码内容文件名:test.py:# coding:utf-8imp……