Scala初级实践——统计手机耗费流量（1） 【实验描述】 本实验主要使用Scala语言来实现对手机流量的计算。在该实验中，共有四个需求： 1）统计每一个手机号耗费的总上行流量、下行流量、总流量 2）将统计结果按照手机归属地不同号段(手机号前3位)输出到不同文件中 3）根据需求1）产生的结果再次对总流量进行排序。 4）按照要求2）每个手机号段输出的文件中按照总流量内部排序。 【实验目的】 掌握Scala编程环境的配置安装，能够掌握Scala基本语法，掌握面向对象的编程思想，

目录 首先我们在spark官网上下载spark安装包 上传  配置spark-env.sh 配置slaves  配置historyserver  分发  启动Spark Master 和Slaves以及HistoryServers 首先我们在spark官网上下载spark安装包 https://spark.apache.org/downloads.html 在最下面版本存档里找到与我们之前搭建的Hadoop2.7.5版本对应的spark2.2.0安装包 等待下载

目录 1.准备环境          2.安装spark并配置环境 3.安装scala并配置环境 4.安装编辑器idea 5.编写Spark Scala应用程序实现单词计数统计 6.Spark On Yarn配置 1.准备环境 虚拟机：vmware workstation16 linux版本：centOS 7 linux 分布式环境：hadoop 3.1.1 （1）创建三台虚拟机，并准备好linux环境和hadoop，确保hadoop集群能成功运行 hadoop

一、虚拟机配置 网络配置 记录一下三个信息，用作配置IPADDR(ip地址)、NETMASK（子网掩码）、GATEWAY(网关) 上面是ip和掩码，在网络编辑器里面的net模式查看自己的网关： 输入 vi /etc/sysconfig/network-scripts/ifcfg-ens33 做如下修改 修改完成以后，重启网卡 service network restart 此时，无论是ping本地，还是ping百度，都可以连上网 设置中文输入法 在设置里面

一、SpringBoot启动的时候，会构造一个SpringApplication的实例，构造SpringApplication的时候会进行初始化的工作，初始化的时候会做以下几件事： 1、把参数sources设置到SpringApplication属性中，这个sources可以是任何类型的参数. 2、判断是否是web程序，并设置到webEnvironment的boolean属性中. 3、创建并初始化ApplicationInitializer，设置到initializers属性中 。 4、创建并

Docker环境搭建与使用 【参考网址】 【官网】 一、Docker简介 1、什么是Docker Docker是一个开源的应用容器引擎，基于Go语言 并遵从Apache2.0协议开源。 Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux 机器上，也可以实现虚拟化。 容器是完全使用沙箱机制，相互之间不会有任何接口（类似iPhone的app）,更重要的是容器性能开销极低。 Docker从17.03版本之

输出单科成绩为100分的学生ID 使用union()合并多个RDD scala> val rdd1=sc.parallelize(List(('a',1),('b',2),('c',3))) rdd1: org.apache.spark.rdd.RDD[(Char, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:24 scala> val rdd2=sc.parallelize(

在前人的基础上，进行总结学习，发现bug，修改bug。 系统平台：Ubuntu14.04TLS（64位） Hadoop环境：Hadoop2.7.1 Eclipse：Neon.2 Release(4.6.2) Eclipse插件：hadoop-eclipse-plugin-2.7.1.jar 一.编译环境搭建 1.在eclipse上安装Hadoop插件 把下载好的hadoop-eclipse-plugin-2.7.1.jar文件拷贝到eclipse安装目录中的plugins文件

众所周知，大数据正在以惊人的速度增长，几乎触及各行各业，许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据，当然这么做的目的不只是管理和控制数据，而是要分析和挖掘其中的价值，来促进业务的发展。

这一节我们主要来学习一下什么是中间件，为什么使用中间件和主要中间件的分类。 中间件是什么 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/ 服务器的操作系统之上，管理计算机资源和网络通讯。是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口，但通过中间件相互之间仍能交换信息。 执行中间件的一个关键途径是信息传递。通过中间件，应用程序可以工作于多平台或 OS 环境。 中间件是介于操作系统和应用软件