注册 登录
    • 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

《寂寞》罗兰

有人说,一个人的时候叫寂寞。没有倾诉,没有倾听。所有的一切都淹没在时光一寸寸的挪移里,无边无际,无声无息,徐徐沉入深邃的幽寂与落寞的心海里。——摘自 365读书 云公子今晚,抄写罗兰的作品——《寂寞》。你一定也有过这种感觉,当你心事重重渴望找一个人聊聊的时候,那个可以聊的人来了,可是你们却并没有聊什么。当然,聊是聊了,可是他聊他的,你也试着开始聊你的,……

动态分区高效拷贝数据

–1创建新表create table dw_sal_profit_day_new like dw_sal_profit_day;–2将HDFS的数据文件复制一份到新表目录hdfs dfs -cp /user/hive/warehouse/apl_operation_sys_index_report_db.db/dw_sal_……

hive组内排序

1、hive的分组和组内排序—语法语法:row_number() over (partition by 字段a order by 计算项b desc ) rankrank是排序的别名partition by:类似hive的建表,分区的意思;order by :排序,默认是升序,加desc降序;这里按字段a分区,对计算项b进行降序排序……

查看定时任务执行情况

1、linux看 /var/log/cron这个文件就可以,可以用tail -f /var/log/cron观察2、unix在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail 这些文件就可以看到正在执行的任务了。3、mail任务在 /var/spool/mail/root 文件中,有crontab……

mustache语法

mustache语法mustache 模板,用于构造html页面内容。在实际工作中,当同一个模板中想要调用不同的函数来渲染画面,在已经自定义好了的前提下,可以在渲染页面时对传入的参数进行手动判断。【在不好判断的情况下,我们可以通过改变传入参数来进行判断】跟小白我来看看该模板的语法吧。Mustache 的模板语法很简单,就那么几个:1……

shell today关键字坑

注意在-d 操作之后的string中变量的表示date_now=$(date -d -2day +%Y%m%d)fifteen_day_ago=$(date -d “$date_now-15days” +%Y%m%d)之前犯了一个错误就是today是date中的关键字出现了以下语句day_ago=$(date -d ……

xgboost对one-hot编码特征特征选择时遇到的问题

xgboost对所有的输入特征都是当做数值型对待,所以你给定的数据也要是指定的数据类型对于数据缺失或者稀疏,xgboost都可以自己处理纠结于one-hot编码问题主要是将分类信息转化为一定长度索引的二进制数据假设当前的数据类型是annimal={‘panda’,’cat’,’dog’}经过one-hot编码可能就变成[[1,0,0],[0,……

xgboost调参–转载

XGBoost参数调优完全指南(附Python代码)原文地址:Complete Guide to Parameter Tuning in XGBoost (with codes in Python)译注:文内提供的代码和运行结果有一定差异,可以从这里下载完整代码对照参考。另外,我自己跟着教程做的时候,发现我的库无法解析字符串类型的特征,所以只用其中一部分……

GB参数微调

IntroductionIf you have been using GBM as a ‘black box’ till now, may be it’s time for you to open it and see, how it actually works!This article is inspired by Owen Zhang’s (Chi……

听,那些宁静的生命

爱听,却不是黑白琴键流淌的灵动音符,亦不是“万籁此俱寂,但余钟磬音”的禅宗之道,更不是惊涛拍案、千堆雪卷的天籁绝响。爱听,应该是“于无声处听惊雷”的寂静之音,是喧嚣中的淡泊之道,更是“大音希声,大象无形”的生命之歌。生命中总有悲喜,喜于其生命之所获,悲于其生命之所缺。缺与获之间遥遥相隔,却总有一些敢于叩问命运的生灵在一次次的瞬间给予我们打动心扉的隽永。岁月……

邀约不来,忧愁上身

——多年后的黄昏日落,我在秋天的庭院听风,也在寂静的山林遥望星空。三个月前的一天,夏末秋初,天空中下着绵绵的小雨,空气闷热而潮湿。那是七月的雨,夏天最后的痕迹。雨后是入职的喜悦和两个多月来跌跌撞撞后的欣慰。一切都是全新的开始。全新的领域、全新的职责,全新的创业、全新的产品,以及全新的不确定。谈不上对产品是否看好,但感动于创业者的人文理想和文化情怀,在一……

秋天在霜降后远去,冬日正款款而来

​​​——在冬夜里煮酒,温柔且深情。四季之中独爱冬季,特别是北方的隆冬。清晨醒来,隔着窗子上的窗花望出去,地面上已经积了一层厚厚的白雪。身体不禁打了一个寒颤,心里念叨着下雪了,怪不得这么冷。蜷缩着身体继续缩回温暖的被窝,干脆再睡一个回笼觉吧。床铺温热,暖意袭来,天气寒冷的时候,周身能被一团暖绒绒包裹,实在是一种幸福。快到中午的时候,明亮清冷的阳光照得大……

one-hot编码

问题由来在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。例如,考虑一下的三个特征:[“male”, “female”][“from Europe”, “from US”, “from Asia”][“us……

hive连接优化相关

1. Join的基本原理大家都知道,Hive会将所有的SQL查询转化为Map/Reduce作业运行于Hadoop集群之上。在这里简要介绍Hive将Join转化为Map/Reduce的基本原理(其它查询的原理请参考这里)。假定有user和order两张表,分别如下:user表:sidname1apple2orange……

mapreduce之shuffle操作

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我……

hive桶概念

Hive 分桶分桶对于每一个表或者分区,Hive可以进一步组织成桶,也就是更为细粒度的数据范围划分Hive是针对某一列进行分桶Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中好处获得更高的查询处理效率使取样(sampling) 更高效分桶的使用select * from bucketed_u……

DML、DCL等基本概念

博主日常使用查询的工具就是hive,与mysql还是有很多共同之处,但是很多时候也要去hive官网查询相关信息,遇到最多了就是ddl等相关的名词,在这记录一下DDL数据定义方法,创建数据表,更改数据表相关信息,新增分区等等操作Data Definition Language (DDL) statements are used to define the……

hive文件存储格式对比

列式存储和行式存储上图左边为逻辑表,右边第一个为行式存储,第二个为列式存储。 行存储的特点: 查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快。 列存储的特点: 因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能……