目录 一、在线运行Scala 二、选择Scala版本 三、在Windows上安装Scala （一）、到Scala官网下载Scala ​（二）、安装Scala （三）、配置Scala环境变量 （四）、测试Scala是否安装成功 1、查看Scala版本 2、启动Scala，执行语句 五、在Linux上安装Scala （一）、到Scala官网下载Scala （二）、安装Scala 1、上传scala安装包到master虚拟机 2、解压scala安装包到指定目录 （三）、配

1、HDFS的写入流程： 详细步骤： client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传； client 请求第一个 block 该传输到哪些 DataNode 服务器上； NameNode 根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的 DataNode 的地址，如：A，B，C； client 请求3台 DataNode 中的一台A上传数据（本质上是一个 RPC

一、选择Scala版本 在master虚拟机上安装Spark2.1.1 二、Windows上安装Scala 到Scala官网下载Scala （1）Scala2.11.12下载网址： https://www.scala-lang.org/download/2.11.12.html （2）单击单击【Scala-2.11.12.msi】超链接，将Scala下载下来 安装Scala （1）双击，进入安装向导，按提示进行操作，完成Scala的安装 配置Scala环境变量 （1）设置

1 Pair RDD 键值对RDD是Spark中许多操作所需要的常见数据类型。spark为包含键值对类型的RDD提供了一些专有的操作，这些RDD被称为pair RDD。比如，pair RDD提供reduceByKey()方法，可以分别归约每个键对应的数据。 在spark中有很多种创建pair RDD的方式，比如很多存储键值对的数据格式会在读取时直接返回由其健值对数据组成的pair RDD。此外，当需要把一个普通的RDD转为pair RDD时，可以调用map()函数来实现，传递的函数需

Spark https://spark.apache.org/docs Apache Spark as a central tool for mining and analytics in big data. Spark使用DAG（有向无环图）模型作为其执行模型， 并且主要使用内存计算的方式进行任务计算。 Spark基于一套统一的数据模型（RDD）和编程模型（Transformation/Action）。 Spark是Apache软件基金会的顶级项目， 在Hadoop Ma

1 下载Spark 下载和解压缩，首选下载预编译版本的Spark，访问：Spark download，选择包类型为：“Pre-built for Apache Hadoop 3.2 and later"，然后直接下载Spark包：spark-3.1.2-bin-hadoop3.2.tgz。下载好后，对包进行解压缩，并且进入到spark目录中： cd ~ tar -xf spark-3.1.2-bin-hadoop3.2.tgz cd spark-3.1.2-bin-hadoop3.

1、reduceByKey   reduceByKey 是按key进行计算，操作的数据是每个批次内的数据（一个采集周期），不能跨批次计算。如果需要实现对历史数据的跨批次统计累加，则需要使用updateStateByKey算子或者mapWithState算子。 package com.sparkscala.streaming import org.apache.log4j.{Level, Logger} import org.apache.spark.streaming.dstream.{

zeppelin简单介绍： Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。支持多种数据引擎，如hive、spark等。还支持多种编程语言，如python、Scala等。 zeppelin安装前的准备工作： 1、虚拟机安装配置好jdk，如果不会安装可以跳转到脚本安装jdk保姆级教程 2、虚拟机安装配置好Hadoop，如果不会配置安装可以跳转到Hadoop配置保姆级教程 3、虚拟机安装配置好Hive，如果不会安装可以跳转到脚本安装hive保姆级教程 4、下载

前言 本文介绍Spark三大数据结构之一的RDD的行动算子，通过配合案例使读者更加深刻的了解各大行动算子的作用及其使用方法； Spark 知识系列文章    此处罗列了有关Spark相关知识的其他文章，有需要的可以进行点击查阅。    Spark 之 Spark框架及部署    Spark 之Spark三大数据结构    Spark 之 RDD转换算子    Spark 之 SparkSQL    Spark 之 SparkStreaming 一

一、 分支控制 if-else 让程序有选择的的执行，分支控制有三种：单分支、双分支、多分支 1、(单)分支 1）基本语法 if (条件表达式) { 执行代码块 } 说明：当条件表达式为 ture 时，就会执行{ }的代码。 2）案例实操 package chapter04 import scala.io.StdIn object Test01_IfElse { def main(args: Array[String]): Unit = {

目录 一.Spark 安装地址 1.官网地址 2.文档查看地址 3.下载地址 二.Spark 运行模式  三.Spark 安装 1.在官网下载spark安装包 2.上传至Linux环境并解压安装 3.修改配置文件 4.JobHistoryServer配置 5.启动 6.测试  7.Spark Shell 下一节 一.Spark 安装地址 1.官网地址 http://spark.apache.org/ 2.文档查看地址 https://s

概述 Spark在SQL查询方面的性能优化主要分为四个方向七个方面 开发交互方向 新的Explain格式 所有join支持hints 动态优化 自适应查询执行 动态分区裁剪 Catalyst提升 增强嵌套列的裁剪和下推 增强聚合的代码生成 基础设施更新 支持新的Scala和Java版本 一、动态优化 1.自适应查询执行：通过使用运行时的统计信息 1）根据统计信息设置reducer的数量来避免内存和I/O资源的浪费 对reducer的个数进行了优化：避免reduder 空转资源浪费