×

scala

SparkRDD——行动算子(sparkrdd常用算子)

魔趣吧【wwwmoqu8com】 魔趣吧【wwwmoqu8com】 发表于2024-05-13 浏览4532 评论0
一、行动算子定义 spark的算子可以分为trans action算子 以及 action算子 ,即变换/转换 算子。如果执行一个RDD算子并不触发作业的提交,仅仅只是记录作业中间处理过程,那么这就是trans action算子 ,相反如果执行这个 RDD 时会触发 Spark Context 提交 Job 作业,那么它就是 action算子及行动算子。 总结来说就是在Spark中,转换算子并不会马上进行运算的,即所谓的“惰性运算”,而是在遇到行动算子时才会执行相应的语句的,触发Spark的