• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

2019年07月的内容

关于subprocess执行脚本输出定向问题

博主使用这个模块,主要想利用这个去循环执行hive脚本,调用shell去执行,同时也要适当的时候将结果输出到指定的位置。一、subprocess运行python的时候,我们都是在创建并运行一个进程。subprocess.call()父进程等待子进程完成返回退出信息(returncode,相当于Linux exit code)subprocess.……

hive调优记录

hive调优记录

最近有场讲座是关于hive的一个培训,也去听了一下,其中的某些点还是自己的盲区,平时也没注意到这些地方的优化,这些还是比较重要的,特此记录一下。并行优化set hive.exec.parallel=true;    //开启任务并行执行假设你有两个子查询然后需要join关联处理,并且两个子查询之间没有任何的关联,这个时候两个子查询可以并行执行,然后……

Hive之行转列lateral view用法

Hive之行转列lateral view用法

一般写sql经常会遇到行转列或者列转行之类的操作,就像concat_ws之类的函数被广泛的使用,今天这个也是经常要使用的拓展方法。Lateral View 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*f……

Embedding向量化的一些理解

Embedding向量化的一些理解

:grin:有个同事某一天问我embedding向量化的过程,巴拉巴拉一堆,在日常写代码就两步构建向量矩阵查询但是向量化的真正意图是什么?或者说为什么要进行向量化?个人觉得应该先从onehot说起,在日常的工程中经常会遇到各种各样的id类特征,这些特征类别量很大,比如用户的id会有好多亿,如果你直接使用onehot那么你的特征在这一个上面就已经上……

关于keras多输入的一些问题

tf2.0是要力推keras,最近将之前的代码改造成keras(挤时间自己改的,还在测试),这中间看着keras官方文档加上搜索,有些点其实还是存在一定的疑问。其实主要的问题就是在这模型输入输出这块,keras在构造网络这块还是比较简单的,看着官网的例子关于函数式api提供的例子都是非常的简单。基本上套路就是一个Input 然后FC之类的就到Output……

GRU原理白话解析

GRU原理白话解析

接上一篇描述RNN网络说道gradient vanish的问题,要解决这个问题,那么gru/lstm是解决其问题的,说的抽象一点是解决这个问题,实在一点就是要解决记忆问题。基本原理假设给你一个很长很长的文章,一开始你读了很多行还记得前面写了啥,大概描述内容都记得,但是越往后面渐渐的你发现之前的内容是啥记得不太清了,gru就可以帮助你一直记住你想要记住的东……

MTL有效性

MTL有效性

我们假设我们有两个相关的任务A和B,依赖一个共享的隐藏层表示F。1、Implicit data augmentationMTL可以有效增加用于模型训练的样本量。由于所有任务难免会有一些噪声,当我们在任务A上训练模型, 我们的目标是学习针对任务A的一个好的表示,可以完全避免依赖数据的噪音,而且泛化效果好。由于不同的任务有不同的噪声模式,一个自动学习两个任务……

网站图标下载

网站图标下载

不知从何时起有不少人邮件问我网站的鼠标图片之类的资源,今天就打包一份供下载,文末回复刷新即可下载相关附件(ps:骗一波回复)亚丝娜镇楼……