Scala 第一章章节目标 掌握变量,字符串的定义和使用 掌握数据类型的划分和数据类型转换的内容 掌握键盘录入功能 理解Scala中的常量,标识符相关内容 1.输出语句和分句 1.1输出语句 方式一：换行输出 格式：println(数据) 方式二：不换行输出 格式：print(数据) 1.2 分号 Scala语句中，单行代码最后的分号可写可不写.如果是多行代码写在-行, 则中间的分号不能省略,最后-条代码的 分号可省略不写. [外链图片转存失败,

1 两种模式区别 Spark Application提交运行时部署模式Deploy Mode，表示的是Driver Program运行的地方，要么是提交应用的Client：client，要么是集群中从节点（Standalone：Worker，YARN：NodeManager）：cluster。 这里我做个简单总结下面的话:client模式就是driver运行在本地一般不用各种问题,cluster模式driver运行在Yarn集群中,性能较好,Cluster和Client模式

这里有两种方法，第一个是通过命令窗口终止，第二个是使用任务管理器。 1、端口被占用，可以用cmd（window+R） 第一步：输入netstat -ano，找到被占用的端口号   也可以输入netstat -aon|findstr "端口号"，来获取 例如：netstat -aon|findstr 8080   第二步：tasklist|findstr "查询出的 listening"，也就是刚刚查询出的13812，输入后查到了占用8080端口的程序。   第三步：

Spark Core：Scala单词计数 1、实验描述 利用Scala语言开发Spark WordCount程序 实验时长： 45分钟 主要步骤： 创建spark项目 编写wordcount 示例程序 运行Scala 程序 查看实验结果 2、实验环境 虚拟机数量：3(一主两从，主机名分别为：master、slave01、slave02) 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Spark版本：Apache Spark 2

Scala（scalable language可扩展可伸缩语言） 前言 博主是数据科学与大数据技术专业的学生，而当下正流行的大数据分析引擎Spark是由Scala这门语言编写的，所以博主决定试着掌握这门语言并且记录一下自己学习scala这门语言的日常，好记性不如烂笔头，也希望在学习过程中做的笔记能对CSDN的小伙伴们有所帮助，笔记来源不一，仅供个人学习使用，侵私删谢谢。 1.Spark简述、应用场景 Spark----新一代内存级大数据计算框架，是大数据的重要内容，是一种快速、通用

Spark Streaming概述 Overview Spark Streaming 是核心 Spark API 的扩展，它支持实时数据流的可扩展、高吞吐量、容错流处理。数据可以从许多来源（如 Kafka、Kinesis 或 TCP 套接字）获取，并且可以使用复杂的算法进行处理，这些算法由 map、reduce、join 和 window 等高级函数表示。最后，可以将处理后的数据推送到文件系统、数据库和实时仪表板。事实上，你可以在数据流上应用 Spark 的机器学习和图形处理算法。

目录 0. 相关文章链接 1. 环境准备和数据准备 2. Maven依赖 3. 核心代码 0. 相关文章链接 数据湖 文章汇总 1. 环境准备和数据准备 对Hudi的环境准备和数据准备，可以参考博主的另一篇博文，这里就不多描述了，博文连接：数据湖之Hudi（9）：使用Spark向Hudi中插入数据 2. Maven依赖 在另一篇博文中有Maven依赖，但在这里还是补充一下 <repositories> <repository>

Spark博大精深，不是一朝一日能搞明白的。。。以后的稿子可能不会写的灰常详细了，相信需要参考的读者懂的都懂。。。 需要查看笔者之前的稿子。。。Spark依赖的东西太多了。。。本文依旧是基于之前搭建的虚拟机集群。 为了节省部署时间，对某些配置顺序做了修改。 上传及解压 cd /export/software/ rz #上传spark-2.4.5-bin-hadoop2.7.tgz tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /expor

        spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。 （一）反射机制推断Schema         在Windows系统下开发Scala 代码,可以使用本地环境测试,因此首先需要在本地磁  盘准备文本数据文件，这里将HD FS中的/spark/person.txt文件下载到本地

1.首先找到资源下载地址： https://studygolang.com/dl 2.下载完毕后(下图是下载好的文件) 新建一个文件夹install_path，当作安装目录 此处的install_file 是下载的资源文件，install_path是安装后产生的文件 3.双击打开下载好的文件，一路next ,自定义安装路径 (这里我的安装路径是install_path) 4.widows 版本的不需要我们自己手动配置环境变量 安装过程中，系统自动为我们配置了环境变量 到我们的环境变量

一、java版flink-wordcount-离线计算版 1.1maven构建flink，加入依赖 <!-- flink包依赖配置-start --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${fli

Spark 作为一个数据处理框架和计算引擎 1 Spark-Local 模式 1.1 解压缩文件  将 spark-2.1.1-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中。  tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/apps/ cd /opt/apps/ mv spark-2.1.1-bin-hadoop2.7 spark-local  1.2 启动 Local 环境  1) 进入