2019年07月的内容
关于subprocess执行脚本输出定向问题
博主使用这个模块，主要想利用这个去循环执行 hive 脚本，调用 shell 去执行，同时也要适当的时候将结果输出到指定的位置。一、subprocess运行 python 的时候，我们都是在创建并运行一个进程。subprocess.call()父进程等待子进程完成返回退出信息(returncode，相当于 Linux exit code)subp……
07-31 立刻查看
Hive之行转列lateral view用法
一般写 sql 经常会遇到行转列或者列转行之类的操作，就像 concat_ws 之类的函数被广泛的使用，今天这个也是经常要使用的拓展方法。Lateral View 语法lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias……
07-24 立刻查看
Embedding向量化的一些理解
:grin:有个同事某一天问我 embedding 向量化的过程，巴拉巴拉一堆，在日常写代码就两步构建向量矩阵查询但是向量化的真正意图是什么？或者说为什么要进行向量化？个人觉得应该先从 onehot 说起，在日常的工程中经常会遇到各种各样的 id 类特征，这些特征类别量很大，比如用户的 id 会有好多亿，如果你直接使用 onehot 那么你的特征……
07-20 立刻查看
关于keras多输入的一些问题
tf2.0 是要力推 keras，最近将之前的代码改造成 keras(挤时间自己改的，还在测试)，这中间看着 keras 官方文档加上搜索，有些点其实还是存在一定的疑问。其实主要的问题就是在这模型输入输出这块，keras 在构造网络这块还是比较简单的，看着官网的例子关于函数式 api 提供的例子都是非常的简单。基本上套路就是一个 Input 然后 FC ……
07-13 立刻查看
