No implicit argument of type:Encoder[ ]” in Spark

119次阅读
没有评论

No implicit argument of type:Encoder[ ]” in Spark

今天在写一个spark脚本的时候出现的异常报错,在idea里面有错误的提示,执行的时候报上面的错误。 代码的大概逻辑如下所示

    val data=df.map(row=>{

    ....各种逻辑
    (a,b,c)
    }).toDF("a","b","c")

代码的逻辑就是对df这个dataframe按行作相应的处理,并且返回一个tuple,最终通过toDF来重新生成一个dataframe。

解决方法

import spark.implicits._

问题的关键就是隐式转换。 关于隐式转换想要了解可以看下这篇文章scala impicit语法

admin
版权声明:本站原创文章,由admin2021-10-11发表,共计297字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)