• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

最新发布 第2页

算法之道机器学习、Python和算法爱好者

学习keras 0x08–tf.data四种迭代器

tf.data四种迭代器日常使用中单次迭代器应该是是用最多的,一般情况下数据量都是比较大,遍历一遍就搞定了。还是需要了解一下其他的迭代器,其实也是有相应的场合会需要这么去处理。MNIST的经典例子本篇博客结合 mnist 的经典例子,针对不同的源数据:csv数据和tfrecord数据,分别运用 tf.data.TextLineDataset() 和 t……

ssh-keygen生成rsa公钥问题

最近在配置一下ssh的公私钥,因为系统需要制定私钥的开头就是begin rsa 的方式,如果是openssh 就不支持,在使用网上的教程直接使用gitbash 然后ssh-keygen但是结果生成的私钥中都是指定了openssh,虽然你使用 -t rsa 的方式,如果希望出现begin rsa 其实是要按照旧版加密协议来生成,所以在使用ssh-keygen的……

深度学习为什么需要大数据?

深度学习为什么需要大数据?

这个是一个朋友面试时遇到的问题,这个问题个人觉得算是一个开放性的问题,同时需要你对深度学习有着宏观的认识,并且有相关的实践经验。深度学习给人直观的感觉就是模型复杂,超多的参数需要去学习,如果训练的样本比较少,那么很容易过拟合。附带可以联系到bias和variance的讨论,也是可以从VC维去理解。模型论证角度知乎上有一个回答,这里引用一下对于cla……

keras学习 0x07-Tfrecord 读取

很久没更新了,都已经忘记的差不多了,说实话是自己偷懒了,最近一段时间周末其实也是有时间来更新的。上一篇文章写的还是怎么生成tfrecord,这次准备从tfrecord中读数据。读写的方式可以使用 tf.data 或者使用 python io 方法来读取,不过建议还是使用 tf.data 来实现数据的读写。import tensorflow as tf……

Keras学习-0x06-Tfrecord相关

前面的描述中讲完了序列模型和函数式模型的理论,对于keras而言后面所有模型代码的实现都是基于这两种方式来实现,所以这也是有讨论,接下来就是要从每一点去学习,自己计划的方式是从input到output依次来学习,所以最先开始讲的就是输入数据相关,总的顺序是这样,每一步都可以发散很多点来了解。先从tfrecord学习开始。tfrecord也是官方推荐的一种数……

redis_py_cluster读取redis遇到too many connections问题

最近项目中需要自己去往redis里面写数据,redis集群读写需要使用到redis_py_cluster这个python包,这中间遇到不少问题,其中就有数据序列化问题,有人使用spark 中的json序列化方式,与python还不兼容,最后是不序列化直接存字符串的方式解决了不同语言之间的兼容问题,但是自己在读写redis的时候遇到了too many conn……

Keras从零学习-函数式多输入与多输出-0x05

在工程实践中单输入的场景还是比较少的,这种单输入的理解仅是单个Input,并不是特征为1哈。关于多输入这块还是有点歧义,比如我们有多种类型的特征,那么每一种特征处理的方式不一样,在工程实现也是使用多个Input来实现,可以参考我之前写的这篇文章keras多输入官网给了一个例子,tweet预测赞数的一个例子,在给出的模型中是定义了两个单独的输入。从上图也……

Keras从零学习-函数式模型-0x4

序列模型的好处就是简单易理解,上一篇文章介绍了序列模型的简单使用模型定义序列模型但是函数式模型定义会让你定义模型更加灵活。为什么称之为函数式,是因为你发现你在定义网路的时候就是在写各种函数的调用,所以看起来就是不断调用的函数来操作神经网络。先看一个简单的例子(来源keras官网)from keras.layers import Input, Dense……

Keras从零学习-模型定义(序列模型)-0x03

之前的文章是使用感知机作为引导,文章中也涉及到一点点的keras代码示例,从这篇开始主要以讲解keras代码为主,暂时主要讲解api的使用,如果涉及到很低层的原理相关,我自己理解多少会写多少,水平有限。回到正题,这一节主要是讲一下Keras定义模型的第一种方法:序列模型定义你可以把它当做一个流水线你定义的模型就是按照流水线的方式,一个接着一个衔接在……

Keras从零学习-多层感知机-0x02

多层感知机顾名思义,相比于单层感知机多了很多网络层,可以参考下图:上面图中中间插入了两层网络,在DL中又称之为隐层,与之相关的名词就是输入层和输出层。感知机输出的结果非0即1,对于结果的判断存在很大的跳跃,这中间没有任何的过度。从数据层面来说,你的数据特征如果波动一点可能输出的结果就会从0到1,所以在做推理预测的时候有的时候会发现一些case预测的……

Keras从零学习-感知机-0x01

学习神经网络一般都是从感知机开始着手学习,那先从keras构建一个感知机开始。感知机算法的原理比较简单上面的公式中w 对应着权重,x就是你输入的特征,比如广告的分类信息,b表示偏置信息。当然满足条件大于0则为1否则为0.这里引入一个激活函数的概念,单层感知器使用的是sign符号函数,如果改为sigmoid函数那么就与逻辑回归是一样了。from k……

keras从零学习-安装指引-0x00

安装方法在安装 Keras 之前,请安装以下后端引擎之一:TensorFlow,Theano,或者 CNTK。我们推荐 TensorFlow 后端。如果你要从源码上编译可以参考这篇文 mac下编译tensorflow你也可以考虑安装以下可选依赖:cuDNN (如果你计划在 GPU 上运行 Keras,建议安装)。HDF5 和 h5py (如果你需……

关于subprocess执行脚本输出定向问题

博主使用这个模块,主要想利用这个去循环执行hive脚本,调用shell去执行,同时也要适当的时候将结果输出到指定的位置。一、subprocess运行python的时候,我们都是在创建并运行一个进程。subprocess.call()父进程等待子进程完成返回退出信息(returncode,相当于Linux exit code)subprocess.……

hive调优记录

hive调优记录

最近有场讲座是关于hive的一个培训,也去听了一下,其中的某些点还是自己的盲区,平时也没注意到这些地方的优化,这些还是比较重要的,特此记录一下。并行优化set hive.exec.parallel=true;    //开启任务并行执行假设你有两个子查询然后需要join关联处理,并且两个子查询之间没有任何的关联,这个时候两个子查询可以并行执行,然后……

Hive之行转列lateral view用法

Hive之行转列lateral view用法

一般写sql经常会遇到行转列或者列转行之类的操作,就像concat_ws之类的函数被广泛的使用,今天这个也是经常要使用的拓展方法。Lateral View 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*f……

Embedding向量化的一些理解

Embedding向量化的一些理解

:grin:有个同事某一天问我embedding向量化的过程,巴拉巴拉一堆,在日常写代码就两步构建向量矩阵查询但是向量化的真正意图是什么?或者说为什么要进行向量化?个人觉得应该先从onehot说起,在日常的工程中经常会遇到各种各样的id类特征,这些特征类别量很大,比如用户的id会有好多亿,如果你直接使用onehot那么你的特征在这一个上面就已经上……

关于keras多输入的一些问题

tf2.0是要力推keras,最近将之前的代码改造成keras(挤时间自己改的,还在测试),这中间看着keras官方文档加上搜索,有些点其实还是存在一定的疑问。其实主要的问题就是在这模型输入输出这块,keras在构造网络这块还是比较简单的,看着官网的例子关于函数式api提供的例子都是非常的简单。基本上套路就是一个Input 然后FC之类的就到Output……

GRU原理白话解析

GRU原理白话解析

接上一篇描述RNN网络说道gradient vanish的问题,要解决这个问题,那么gru/lstm是解决其问题的,说的抽象一点是解决这个问题,实在一点就是要解决记忆问题。基本原理假设给你一个很长很长的文章,一开始你读了很多行还记得前面写了啥,大概描述内容都记得,但是越往后面渐渐的你发现之前的内容是啥记得不太清了,gru就可以帮助你一直记住你想要记住的东……