?个人主页：不叫猫先生 ?‍♂️作者简介：专注于前端领域各种技术，热衷分享，期待你的关注。 ?系列专栏：vue3从入门到精通 ?个人签名：不破不立 一、原地算法 在谈sort之前，我们先了解一下原地算法，什么事原地算法呢？所谓原地算法就是说基于原有的数据结构进行一定的操作修改，而不借助额外的空间。使用原地算法时，其内存干净，空间复杂度是O(1)，可以减少没必要的内存，避免造成内存浪费和冗余。当然，减小内存损耗会带来算法复杂度和时间消耗的增加，所以是一个Tradeoff。T

1、RDD介绍 Spark的核心是建立在统一的弹性分布式数据集（Resilient Distributed Datasets，RDD）之上的，这使得Spark的各个组件可以无缝的进行集成，能够在同一个应用程序中完成大数据处理。 RDD实际上是对一个分布式数据集的抽象，从物理存储上看，一个数据集可能被分为多个分区，各个分区都有可能存放在不同的存储/计算节点上，而RDD则是在该数据集上的一个抽象，代表了整个数据集，但这个RDD并不会从物理上将数据放在一起。 有了RDD这个抽象，用户可

  1. Spark的shuffle阶段发生在阶段划分时，也就是宽依赖算子时。     宽依赖算子不一定发生shuffle。 2. Spark的shuffle分两个阶段，一个使Shuffle Write阶段，一个使Shuffle read阶段。 3. Shuffle Write阶段会选择分区器，比如HashPartitioner，RangePartitioner，或者使自定义分区器   也会根据一些条件，来选择到底使用哪一个Writer对象               unsafeshuf

案例 假设我们写一个wordcount的程序： sc. textFile("hdfs://hadoop102:8020/spark-input/word.txt") .flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_+_) .saveAsTextFile("hdfs://hadoop102:8020/spark-out/wcout") 观看job： 划分了两个stage，因为出现了shuffle： 一共是4个task，第