首页 | # Spark-SQL 欧美风 总结汇报 通用 总结计划 静态 宽屏 黄色 紫色 工作总结计划 简约现代 ppt ppt模板 幻灯片模板 ppt模板免费下载素材 Адреса зеркал также можно запросить в сл... ... 还有 18 人发表了评论 加入6253人围观
scala Spark读取多目录 (spark读取多目录文件) Kung 发表于2024-06-30 浏览6091 评论0 项目场景: 上游任务按类型生成json文件存放到hdfs上,会生成很多目录。 下游任务需要读取这些目录下得文件,生成df进行处理。 解决方案: 目录结构: 1.sparkContext 方式一 val session: SparkSession = SparkSession.builder().master("local[*]").appName("read_Muti_catalogue").getOrCreate() val sc: SparkC