注册 登录
    • 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

最新发布 第2页

算法之道机器学习、Python和算法爱好者

mac命令行ipython显示matplotlib问题

本机上安装了anaconda,在notebook上可以正常使用matplotlib,但是在命令行却不行在命令行ipython下输入%matplotlib 提示需要pyqt4,但是当前的安装的版本是5.X,因此可以通过以下设置方法可以实现图像的显示……

HIVE与null判断相关函数

1.NVL函数NVL函数的格式如下:NVL(expr1,expr2)含义是:如果oracle第一个参数为空那么显示第二个参数的值,如果第一个参数的值不为空,则显示第一个参数本来的值。例如:SQL> select ename,NVL(comm, -1) from emp;ENAME NVL(COMM,-1)——- ̵……

hive日志

Hive中的日志分为两种1. 系统日志,记录了hive的运行情况,错误状况。2. Job 日志,记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢 ?在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况,默认的存储情况:hive.root.logger=WARN,DRFAhive……

HIVE错误return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法

今天在执行一个hive查询语句报下面错误:MapReduce Total cumulative CPU time: 0 days 1 hours 0 minutes 8 seconds 970 msecEnded Job = job_1511596090231_19002 with errorsError during job, obtaining d……

hive regexp_extract函数

函数描述:regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp字符串正则表达式解析函数。— 这个函数有点类似于 substring(str from ‘regexp’)  ..参数解释:其中:str是被解析的字……

python 你不知道的“else”

文章来自fluntpython ……

Python中super的用法(新式类与经典类(旧式类)的区别)

在python2.2版本之前,直接调用超类的方法,后来改成通过super来调用,原因是为了解决多重继承中的钻石形状问题。Python里的super只能用在新式类中,不能用于以前的经典类,如果基类是经典类则会出现这个错误。解决的方法是FatherClass只要有一个超类是Object就OK了。当时我就很蒙蔽,于是再次寻找新式类与经典类的区别。经过自己敲代码终于……

libsvm文件格式

libsvm数据格式libsvm使用的训练数据和检验数据文件格式如下: [label] [index1]:[value1] [index2]:[value2] … [label] [index1]:[value1] [index2]:[value2] …label 目标值,就是说class(属于哪一类),就是你要分类的种类,通常是一些整数。ind……

Caused by: java.io.IOException: Malformed ORC file

将本地文件的数据加载到hive的ORC格式表时,出现以下报错:Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hive.io.……

《寂寞》罗兰

有人说,一个人的时候叫寂寞。没有倾诉,没有倾听。所有的一切都淹没在时光一寸寸的挪移里,无边无际,无声无息,徐徐沉入深邃的幽寂与落寞的心海里。——摘自 365读书 云公子今晚,抄写罗兰的作品——《寂寞》。你一定也有过这种感觉,当你心事重重渴望找一个人聊聊的时候,那个可以聊的人来了,可是你们却并没有聊什么。当然,聊是聊了,可是他聊他的,你也试着开始聊你的,……

动态分区高效拷贝数据

–1创建新表create table dw_sal_profit_day_new like dw_sal_profit_day;–2将HDFS的数据文件复制一份到新表目录hdfs dfs -cp /user/hive/warehouse/apl_operation_sys_index_report_db.db/dw_sal_……

hive组内排序

1、hive的分组和组内排序—语法语法:row_number() over (partition by 字段a order by 计算项b desc ) rankrank是排序的别名partition by:类似hive的建表,分区的意思;order by :排序,默认是升序,加desc降序;这里按字段a分区,对计算项b进行降序排序……

查看定时任务执行情况

1、linux看 /var/log/cron这个文件就可以,可以用tail -f /var/log/cron观察2、unix在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail 这些文件就可以看到正在执行的任务了。3、mail任务在 /var/spool/mail/root 文件中,有crontab……

mustache语法

mustache语法mustache 模板,用于构造html页面内容。在实际工作中,当同一个模板中想要调用不同的函数来渲染画面,在已经自定义好了的前提下,可以在渲染页面时对传入的参数进行手动判断。【在不好判断的情况下,我们可以通过改变传入参数来进行判断】跟小白我来看看该模板的语法吧。Mustache 的模板语法很简单,就那么几个:1……

shell today关键字坑

注意在-d 操作之后的string中变量的表示date_now=$(date -d -2day +%Y%m%d)fifteen_day_ago=$(date -d “$date_now-15days” +%Y%m%d)之前犯了一个错误就是today是date中的关键字出现了以下语句day_ago=$(date -d ……

xgboost对one-hot编码特征特征选择时遇到的问题

xgboost对所有的输入特征都是当做数值型对待,所以你给定的数据也要是指定的数据类型对于数据缺失或者稀疏,xgboost都可以自己处理纠结于one-hot编码问题主要是将分类信息转化为一定长度索引的二进制数据假设当前的数据类型是annimal={‘panda’,’cat’,’dog’}经过one-hot编码可能就变成[[1,0,0],[0,……

xgboost调参–转载

XGBoost参数调优完全指南(附Python代码)原文地址:Complete Guide to Parameter Tuning in XGBoost (with codes in Python)译注:文内提供的代码和运行结果有一定差异,可以从这里下载完整代码对照参考。另外,我自己跟着教程做的时候,发现我的库无法解析字符串类型的特征,所以只用其中一部分……

GB参数微调

IntroductionIf you have been using GBM as a ‘black box’ till now, may be it’s time for you to open it and see, how it actually works!This article is inspired by Owen Zhang’s (Chi……