scala+mysql,The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
提交作业时,出现连接不上的问题
在本地IDEA生成jar包,放到虚拟机上执行提交任务时,出现以下错误。 下面展示一些 报错片段。
Exception in thread "main" java.sql.SQLN
yarn集群模式提交Flink任务时,无法查看日志,数据传输都正常,taskManager的日志无法显示,找不到方法。
F12查看接口报错,
具体报错如下:
Exception on server side:
org.apache.flink.util.FlinkException: The file LOG is not available on the TaskExecutor.
at org.apache.flink.runtime.taskexecutor.TaskExecu
我们知道在Spark中RDD是一个特别重要的概念,可以说spark所有的逻辑都需要依赖RDD,这篇我们简单聊聊Spark中的RDD,spark中RDD的定义如下:
abstract class RDD[T: ClassTag](
@transient private var _sc: SparkContext,
@transient private var deps: Seq[Dependency[_]]
) extends Serializable with Loggin