一、注释 Scala 注释使用和 Java 完全一样。 注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再 用代码去体现。 1）基本语法 （1）单行注释：// （2）多行注释：/* / （3）文档注释：/* */ 2）案例实操 package com.atguigu.chapter02 object TestNotes { def main(args: Array[String]): Unit = { //（1）单行

目录 添加spark的相关依赖和打包插件 步骤1 打开pom.xmlà添加的以下依赖，点击右下角enable auto-import自动下载 步骤2 右击main下的Scala文件先创建一个package并命名为cn.itcast 步骤3 创建WordCount.scala文件用于词频统计  alt+回车：选择导入包 步骤3 创建WordCount.scala文件用于词频统计  alt+回车：选择导入包 注意：需要事先在D盘创建word文件夹下的w

选择版本 spark依赖的是hadoop和Java spark、hadoop和python的适配 hadoop2.x都是基于java7开发的 hadoop3.x是基于java8开发的https://spark.apache.org/downloads.html 里面有各种依赖的关系 第二种方法：下载：在spark官网的最后一行蓝色，有老版本下载的链接 文件有两个： spark大小大概200M，小的不是 如果带hadoopX版本，才是能够hadoop执行的。 hadoop是执行had

目录 一.以本地模式执行spark程序 创建Maven项目，新建资源文件夹 步骤1 打开右上角的Fileànewàproject 步骤2 选择mavenànext 步骤3 填写groupld、artifctldànext 步骤4 填写项目名称和选择放置位置 步骤5 在main目录下创建scala文件，右击ànewàdirectory，命名为Scala 步骤6 右击Scala文件，选择【Mark Directory as】à【sources root】表示将文

                                      实验报告 ①.spark集群基础 查看自己三个节点环境的ip地址:ip addre Master: Slave1: Slave2: 切换hadoop用户查看master能否切换另外两台slave然后配置另外两台可以自由切换 配置成刚才三个节点的ip地址 配置另外两个节点的免密快速访问（修改配置需要管理员root权限才能修改）   ②.Sp

大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

一.数组 对编写程序语言来说，数组（Array）都是重要的数据结构之一，主要用来储存数据类型相同的元素。 1.数组定义与使用 Scala中的数组分为定长数组和变长数组，这两种数组的定义方式如下： new Array[T](数组长度)    //定义定长数组 ArryBuffer[T]()                 //定义变成数组 Scala数组的简单使用： 2.数组遍历 二.元组 Scala元组的定义：对多个不同类型的一种简单封装，它将不同的值用括号

1、HDFS的写入流程： 详细步骤： client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传； client 请求第一个 block 该传输到哪些 DataNode 服务器上； NameNode 根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的 DataNode 的地址，如：A，B，C； client 请求3台 DataNode 中的一台A上传数据（本质上是一个 RPC

访问权限 1）说明 在Java中，访问权限分为：public，private，protected和默认。在Scala中，你可以通过类似的修饰符达到同样的效果。但是使用上有区别。 （1）Scala 中属性和方法的默认访问权限为public，但Scala中无public关键字。 （2）private为私有权限，只在类的内部和伴生对象中可用。 （3）protected为受保护权限，Scala中受保护权限比Java中更严格，同类、子类可以访问，同包无法访问。 （4）private[包名]增加

介绍Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware(商品硬件)上运行，horizontally scalable(水平可扩展)，并支持 highly available(高可用)性操作。

一、概述 Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习大数据开发, 需要掌握Scala这门语言，当然Spark的兴起，也带动Scala语言的发展！官方文档：https://www.scala-lang.org/ 二、Scala发展历史 联邦理工学院的马丁·奥德斯基（Martin Odersky）于2001年开始设计Scal

Scala 第一章章节目标 掌握变量,字符串的定义和使用 掌握数据类型的划分和数据类型转换的内容 掌握键盘录入功能 理解Scala中的常量,标识符相关内容 1.输出语句和分句 1.1输出语句 方式一：换行输出 格式：println(数据) 方式二：不换行输出 格式：print(数据) 1.2 分号 Scala语句中，单行代码最后的分号可写可不写.如果是多行代码写在-行, 则中间的分号不能省略,最后-条代码的 分号可省略不写. [外链图片转存失败,