bigdata - 第2页 - 算法之道

bigdata SparkSql系列(7/25) 去重方法

消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法，二者的区别在于，di…

bigdata SparkSql系列(6/25) collect 使用

Spark collect() 和 collectAsList() 是用于将 RDD/DataFrame/Da…

bigdata SparkSql系列(5/25) case when 使用

case when 这种用法基本上每一类编程语言里都会有，scala 里面常见的就是 case 语法，也就是条…

bigdata SparkSql系列(4/25) 删除列

这个系列好久没更新了，一个字懒，两个字很懒。这篇比较简单，主要的 API 就是 drop 函数。 val st…

bigdata 一次spark任务异常记录

昨晚一直在运行的spark任务出现了异常，运行了这么久恰恰这个时候出现了异常。最直观的现象就是任务出现延迟，…

bigdata SparkSQL系列(1/25)–创建DataFrame

博主日常在工作中使用spark sql进行数据分析比较多，常见的还会借助hive。从Tfrecord里面读数据…

bigdata Hadoop 复制的两个方法

直奔主题，目前在Hadoop 集群上我常用的执行Copy的命令就是 cp，前两天复制一批数据，如果可以直接搬走…

bigdata Spark DataFrame合并遇到的问题

情况：需要合并多个DataFrame ，存在部分DataFrame 的 columns 比其他的要多的情况，…

bigdata Spark UDF 使用中看似问题的问题

这篇文章的由来是最近在做数据负采样方面的工作，看了些论文准备自己着手对样本直接操作，常规的使用工具就是Spar…

bigdata keras任意中间层结果输出

最近使用keras写了一点代码，输入是正负样本，loss使用的是交叉熵，但是最终我只需要网络对给定的样本的预测…

bigdata Keras过拟合相关解决办法

这种过拟合的处理称为正则化。我们来学习一些最常用的正则化技术，并将其应用于实践中。 1.缩小神经网络的规模 …

bigdata spark获取指定分区数据

使用 mapPartitionsWithIndex 如下所示 // Create (1, 1), (2, 2)…

bigdata Spark中Container killed by YARN for exceeding memory limits

昨天在yarn集群上跑代码遇到这个问题，现在发现spark代码写好是重要的一方面，spark submit参数…

bigdata 大数据常见错误解决方案

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException…

bigdata 推荐系统老司机的十一条经验

一年一度的ACM Recsys会议在9月份已经胜利闭幕，留下一堆slides和tutorials等着我们去学习…

bigdata spark写hive表遇到的字段问题

问题：spark版本1.6，将dataframe写到hive表中，hive表事先已经在库中建立好…

bigdata spark问题集锦

今天刚打了一个jar包放在yarn集群运行报了错误，干脆整个文章记录所有遇到的问题 1、Lost Execut…

bigdata 深度学习关键词

batch: batch是批。深度学习每一次参数的更新所需要损失函数并不是由一个{data：label}获得的…