keras任意中间层结果输出
最近使用keras写了一点代码，输入是正负样本，loss使用的是交叉熵，但是最终我只需要网络对给定的样本的预测分数就可以了，也就是输入只有一个样本，不存在正负样本对的情况。如果你的模型就一个输入一个输出，那么通过以下的方式你可以拿到你想要的输出from keras import backend as K# with a Sequential ……
Keras过拟合相关解决办法
这种过拟合的处理称为正则化。 我们来学习一些最常用的正则化技术，并将其应用于实践中。1.缩小神经网络的规模防止过拟合最简单的方法是缩小模型的规模：模型中的可学习的参数数量（由层数和每层节点数决定）。 在深度学习中，模型中参数的数量通常被称为模型的能力。 直观地说，拥有更多参数的模型具有更强的记忆能力，甚至可以可以轻松地学习训练样本与其目标之间的类似字典的……
spark获取指定分区数据
使用 mapPartitionsWithIndex 如下所示// Create (1, 1), (2, 2), ..., (100, 100) dataset// and partition by key so we know what to expectval rdd = sc.parallelize((1 to 100) map (i =&……
Spark中Container killed by YARN for exceeding memory limits
昨天在yarn集群上跑代码遇到这个问题，现在发现spark代码写好是重要的一方面，spark submit参数设置也起着重要的作用Container killed by YARN for exceeding memory limits，直白的意思就是超出内存限制了，查看yarn集群的设置，在yarn的配置表 yarn.scheduler.maximu……
大数据常见错误解决方案
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries!解决方法：add export SPARK_LOC……
推荐系统老司机的十一条经验
一年一度的ACM Recsys会议在9月份已经胜利闭幕，留下一堆slides和tutorials等着我们去学习。翻看今年的各种分享，其中老司机Xavier Amatriain的分享引起了我的兴趣：Lessons Learned from Building Real-Life Recommender Systems。主要分享了作为推荐系统老司机的他，多……
spark写hive表遇到的字段问题
问题：spark版本1.6，将dataframe写到hive表中，hive表事先已经在库中建立好了，所以不需要重复建表，在使用saveAsTable函数保存时，hive的表字段名都被重写为_1之类解决方法：出现上述问题的原因是dataframe没有schema，也就是dateframe的列名称，对应数据表的字段名，如果你的dataframe没……
spark实现gbdt和lr
spark对python开放的接口实在是有限，只有scala是亲生的。查了下scala的包和函数，发现提供的真全，博主从零开始撸scala代码，边写边查的节奏，给出以下example代码给大家参考import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGSimp……
mac下编译安装TensorFlow
前言如果直接通过pip install tensorflow安装Tensorflow的话，在运行时可能会有这种警告W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions,……
技术篇-每日一篇0x3-Keras 发布官方中文文档
今年1月，Keras作者、谷歌AI研究员François Chollet在推特上发出召唤：讲中文的Keras用户们，是否有人愿意帮忙一起搞个Keras文档的中文版？一个多月后，官方中文文档来了。Keras 是 Google 的一位工程师 François Chollet 开发的一个框架，它能够以 TensorFlow, CNTK, 或者 Thea……
网易云课堂-深度学习笔记0x1
深度学习目前基本上已经被很多行业使用，博主每天也会逛技术论坛或者sf等网站都会对此有有很多的文章讨论，从工作以来由于接触的平台原因，深度学习暂时使用不到，但是技术一直在持续的发展。之前看过吴恩达教授斯坦福的机器学习课程，现在在网易的云课堂上也有了深度学习的课程，正好也当是入门，对这个技术有入门的了解，现在从事的大数据行业也会用得上。今天快速学习了神经网……
技术篇-每日一篇0x1
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主……
slope one python版与spark sql版本代码分享
slopeone原理Slope One 是一种很简单的类比类似的算法， 其实大体意思 就是A B 不同的用户 对不同的 item1 item2 打分那么 一个新用户C 对item的打分，就是 该用户的打分 减去 其他用户打分的平均 就是C用户对未知tem的打分他有个很好的有点，数据少的时候效果也很好。useritem1item2A……
spark训练rm推荐模型cholesky分解异常分析
最近隔壁的小伙伴跑模型出现了类似以下的错误，当然最主要的错误在下面的红色标识出来client token: N/Adiagnostics: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in……
mapreduce之shuffle操作
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我……
特征选择（7）-基于树模型的选择
上一篇文章使用基于模型的方法进行特征选择，其中主要描述了使用正则项、lasso等方法实现的特征选择，这篇文章是这个主题的最后一篇，主要是通过树模型来选择特征。常见的决策树模型原理基本知道，从单棵树到多棵树，过渡到随机森林和GBDT,这些在实际中都有很大用途，尤其是在陈天奇博士的xgboost中，完全将决策树提升到一个新的层次。sklearn函数剖析&n……