1、HDFS的写入流程： 详细步骤： client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传； client 请求第一个 block 该传输到哪些 DataNode 服务器上； NameNode 根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的 DataNode 的地址，如：A，B，C； client 请求3台 DataNode 中的一台A上传数据（本质上是一个 RPC

配置hadoop集群常见报错汇总1、使用hdfs namenode -format 格式化报错找不到JAVAHOME 该问题只需在对应的窗口导入JAVAHOME即可，注意，此处为对应环境安装的JDK路径，笔者为/usr/local/java [hadoop@hadoop0 var]$ export JAVA_HOME=/usr/local/java 鉴于每次执行都要导入，建议直接在对应的/XXX/hadoop-xxx/etc/hadoop/hadoop-env.sh 添加如下语句，可以免去这个麻

一. 环境： 1.Ubuntu20 2.Hadoop3.1.4 3.Jdk1.8_301 二. 具体步骤 拉取最新版本ubuntu 镜像 利用挂载将jdk,hadoop 等安装包通过xftp 或者使用命令行scp 命令传到挂载目录。 进入ubuntu 镜像容器docker exec -it 容器id /bin/bash 更新apt-get 系统源apt-get update 更新完后可以下载一些必须工具，如vim 安装sshd 在开启分布式Hadoop 时，需要用到ss

一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。  （2）修改core-site.xml文件。             该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /ex

一、引言 首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下： Hadoop(3.1.1) Ubuntu Linux(64位系统) 二、安装ssh服务 ubuntu中默认是没有安装ssh server的，只有 ssh client,可以使用如下命令安装： sudo apt-get install ssh openssh-server

问题描述 Flink接入kafka数据写入hdfs集群，正常运行一段时间20min到1h作业后报错，failed挂掉。 报错信息 检查点问题： Flink job failed with “Checkpoint Coordinator is suspending. 2020-12-26 20:58:54 org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBacko

WordCount 的具体步骤可参考上一篇：Spark 第一个项目（WordCount） 本篇可作为上一篇的扩展！ 上一篇程序：WorkCount 本篇程序：WorkCountApplication 1. WordCount 1.1 修改程序 对上一篇的程序进行修改： package wcApplication import org.apache.spark.{SparkConf, SparkContext} object WorkCountApplicat

1.0 背景 基于上一篇博客的背景, 要求,在一个dataframe中按照不同的时间跨度对item_id进行groupby来统计,最后生成不同时间跨度的df 示例: 从图一转为图二 图一: 图二 2.0 实现方式 2.1 实现基础和一些小原则 在使用Scala完成Spark作业时,应尽量注意一些原则,保证具有Scala风格: 尽量不要定义可变的变量var; 尽量不要写for循环,基本都可以通多map,reduce来完成; 各个方法之间无需通过传递spark参数来传递sp

scala apply方法 apply方法既不是主构造函数，也不是辅助构造函数，他只是一个语法糖方便创建对象。 没有在伴随对象实现apply的方法，必须用new关键字创建对象 apply方法必须实现在伴随对象里面 class Person(name: String, age: Int) {    def this() {        this("chen", 10)   }    val a = 10    println("语句块")    def func(

Spark开发环境搭建 1）Scala环境 1. 前置说明 安装与配置Scala开发环境。 实验平台直达链接 Scala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。随着开发者对Scala的兴趣日增，以及越来越多的工具支持，无疑Scala语言将成为你手上一件必不可少的工具。 2. 解压配置 在Scala各版本安装包直达链接根据平台选择下载Scala的安装包 # 创建 app 目录 并解压 scala包 mkdir /app &