2019年07月的内容
关于subprocess执行脚本输出定向问题
博主使用这个模块，主要想利用这个去循环执行hive脚本，调用shell去执行，同时也要适当的时候将结果输出到指定的位置。一、subprocess运行python的时候，我们都是在创建并运行一个进程。subprocess.call()父进程等待子进程完成返回退出信息(returncode，相当于Linux exit code)subprocess.……
07-31 立刻查看
Hive之行转列lateral view用法
一般写sql经常会遇到行转列或者列转行之类的操作，就像concat_ws之类的函数被广泛的使用，今天这个也是经常要使用的拓展方法。Lateral View 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*f……
07-24 立刻查看
Embedding向量化的一些理解
:grin:有个同事某一天问我embedding向量化的过程，巴拉巴拉一堆，在日常写代码就两步构建向量矩阵查询但是向量化的真正意图是什么？或者说为什么要进行向量化？个人觉得应该先从onehot说起，在日常的工程中经常会遇到各种各样的id类特征，这些特征类别量很大，比如用户的id会有好多亿，如果你直接使用onehot那么你的特征在这一个上面就已经上……
07-20 立刻查看
关于keras多输入的一些问题
tf2.0是要力推keras，最近将之前的代码改造成keras(挤时间自己改的，还在测试)，这中间看着keras官方文档加上搜索，有些点其实还是存在一定的疑问。其实主要的问题就是在这模型输入输出这块，keras在构造网络这块还是比较简单的，看着官网的例子关于函数式api提供的例子都是非常的简单。基本上套路就是一个Input 然后FC之类的就到Output……
07-13 立刻查看
