注册 登录
    • 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下
动态分区高效拷贝数据

动态分区高效拷贝数据

–1创建新表create table dw_sal_profit_day_new like dw_sal_profit_day;–2将HDFS的数据文件复制一份到新表目录hdfs dfs -cp /user/hive/warehouse/apl_operation_sys_index_report_db.db/dw_sal_……

hive组内排序

hive组内排序

1、hive的分组和组内排序—语法语法:row_number() over (partition by 字段a order by 计算项b desc ) rankrank是排序的别名partition by:类似hive的建表,分区的意思;order by :排序,默认是升序,加desc降序;这里按字段a分区,对计算项b进行降序排序……

查看定时任务执行情况

查看定时任务执行情况

1、linux看 /var/log/cron这个文件就可以,可以用tail -f /var/log/cron观察2、unix在 /var/spool/cron/tmp文件中,有croutXXX001864的tmp文件,tail 这些文件就可以看到正在执行的任务了。3、mail任务在 /var/spool/mail/root 文件中,有crontab……

shell today关键字坑

shell today关键字坑

注意在-d 操作之后的string中变量的表示date_now=$(date -d -2day +%Y%m%d)fifteen_day_ago=$(date -d “$date_now-15days” +%Y%m%d)之前犯了一个错误就是today是date中的关键字出现了以下语句day_ago=$(date -d ……

xgboost调参–转载

xgboost调参–转载

XGBoost参数调优完全指南(附Python代码)原文地址:Complete Guide to Parameter Tuning in XGBoost (with codes in Python)译注:文内提供的代码和运行结果有一定差异,可以从这里下载完整代码对照参考。另外,我自己跟着教程做的时候,发现我的库无法解析字符串类型的特征,所以只用其中一部分……

Deep Learning TensorFlow实践:mnist手写识别(二)

Deep Learning TensorFlow实践:mnist手写识别(二)

mnist_inference.py实现参数设置,前向网络的计算:#!/usr/bin/python#-*- coding:utf-8 -*- ############################ #File Name: mnist_inference.py#Author: yang#Mail: milkyang20……

Deep Learning TensorFlow实践:mnist手写识别(一)

Deep Learning TensorFlow实践:mnist手写识别(一)

代码如下:#!/usr/bin/python#-*- coding:utf-8 -*- ############################ #File Name: Softmax_Regression.py#Author: yang#Mail: milkyang2008@126.com #Created Time……

mathjax 测试

mathjax 测试

本博客支持mathjax操作数据学公式啦!具体使用可以看以下两个实例(1)第一种是一行显示公式,就是不与文字在同一行使用语法规范$$sum_{i=1}^n a_i=0$$效果如下$$\sum_{i=1}^n a_i=0$$(2)第二种是行内公式使用语法规范\(ax^2 + bx + c = 0\)这句话是行内测试\(ax^2 + b……

Tensorflow for Line Regression

Tensorflow for Line Regression

回归问题是机器学习中一类重要的问题,可以作为一种预测系统或者作为推荐系统的模型,这里不重点讨论回归的理论,读者可自行百度。本文讨论的是对于一种系统:比如推荐系统或者预测系统,我们如何来挑选模型,及对模型的评价。假设我们真实的模型是: y = 4*x + 3,用这个模型我们生成一系列带噪声的样本。实际中我们并不知道真实模型是什么样,那如何去根据数据找模型呢?……

hive分桶

hive分桶

Hive 分桶分桶对于每一个表或者分区,Hive可以进一步组织成桶,也就是更为细粒度的数据范围划分Hive是针对某一列进行分桶Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中好处获得更高的查询处理效率使取样(sampling) 更高效分桶的使用select * from bucketed_use……

QT程序打包

QT程序打包

0:Qt程序发布理论知识和相关工具Qt程序在发布时只需要把需包含的dll动态链接库文件放在需要发布程序同一目录即可那么如何找到可运行程序,依赖哪些dll动态链接库文件呢?网上有人用depend.exe这个程序的开我们的可运行程序,就可以找到该程序依赖于哪些动态链接库了博主用depend.exe试了一下,效果并不好,实际上Qt5.6已经为我们准备好……

Qt-DOM之xml操作

Qt-DOM之xml操作

qt提供了三种方式解析xml,不过如果想实现对xml文件进行增、删、改等操作,还是DOM方式最方便。  QT += core xmlQT -= guiTARGET = xmltestCONFIG += consoleCONFIG -= app_bundleTEMPLATE……

Qt数据库-QSqlRelationalTableModel

Qt数据库-QSqlRelationalTableModel

基本理论QSqlTableModel与QSqlRelationalTableModel,它们没有太大的不同,唯一的就是后者在前者的基础之上添加了外键(或者叫外码)的支持。QSqlRelationalTableModel,该类为单张的数据库表提供了一个可编辑的数据模型,它支持外键。 参考代码:#ifndef WIDGET_H#def……

QT网络编程(0x01)-TCP

QT网络编程(0x01)-TCP

本来今天学习到多线程的一个实例,这个实例是基于多线程抓取服务器时间,这中间运用到TCP网络编程这块,之前看过TCP那块(其实忘记差不多了,现在回过头来看看)。 TCP三次握手 TCP建立连接的三次握手就是这个样子了,其实这篇文章关注的并不是三次握手。本篇文章主要是说建立C/S模型即客户端与服务端进行通信,通过一个小例子来说……