首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format 并尝试重启hdfs。   发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了   在sbin目录下，我又重新关闭+启动了一波集群    ./start-all.sh 发现此时可以解决仍然无效  查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一

关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 一、配置workers [atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers 增加以下内容： hadoop102 hadoop103 hadoop104 [atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc 二、启动集群 2.1 第一启动，

RDD编程初级实践 基于《Spark编程基础（Scala版）》 前言 前面已经基于docker搭建好spark集群，集群为一台master和两台slave，主机为windows系统，集群搭建在linux下。 一、实验目的 1.熟悉Spark的RDD基本操作及键值对操作； 2.熟悉使用RDD编程解决实际具体问题的方法。 二、实验内容和要求 1.spark-shell交互式编程 2.编写独立应用程序实现数据去重 3.编写独立应用程序实现求平均值问题 三、实验步

今天来讨论一下spark里面的闭包问题，当用户提交了一个用scala语言写的Spark程序，首先这个Spark程序就是一个“Application”，程序里面的mian函数就是“Driver Program”，dirver程序的可能运行在客户端，也有可有可能运行在spark集群中，这取决于spark作业提交时参数的选定，比如，yarn-client和yarn-cluster就是分别运行在客户端和spark集群中。在driver程序中会有RDD对象的相关代码操作，它们是在Worker节点上面运行的

一.大数据 广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境) 狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址) 二.组成 Hadoop由以下三个部分组成： 1.hdfs  存储数据(主要是网盘存储) 2.mapreduce  计算作业(生产上不使用，但设计理念指导着其他框架) 3.yarn  资源(CPU、内存memory)和作业的调度 实际上大数据也是这三个东西：

一. 实验目的   学习spark的安装与验证，掌握其主要开发技术。 二. 实验内容   1） 基于ubuntukylin16.04(10)，安装spark,形成ubuntukylin16.04(11)   2） 基于ubuntukylin16.04(11)，安装sbt0.13.15，形成ubuntukylin16.04(14)   3） 基于ubuntukylin16.04(14)，参考http://dblab.xmu.edu.cn/blog/1307-2/，完成spark应

Spark单节点部署 1. 找到安装文件 1 find / -name spark*.tgz 2. 解压文件到指定目录 1 tar -zxvf ~/experiment/file/spark-2.2.0-bin-hadoop2.7.tgz -C /opt 3. 重命名 1 mv /opt/spark-2.2.0-bin-hadoop2.7 /opt/spark 4. 配置环境变量 1 vim /e

前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi

1 引言 目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构，以Ceph、Swift、GlusterFS为代表。对具体分布式存储产品选型的时候，要根据其背后的核心架构来分析它本来的原貌，然后才能决定其是否适合我们的具体场景。 2 主流分布式存储技术对比分析 2.1 GFS & HDFS GFS和HDFS都是基于文件

目录 写在前面 一、创建虚拟机，安装Centos 二、VMware VMnet8模式共享主机网络配置 三、克隆集群节点HadoopSlave1与HadoopSlave2 四、Linux系统配置 五、Hadoop的部署配置 六、Hadoop集群的启动 写在前面        搭建Hadoop集群的过程比较复杂，本文旨在给大家一个参考过程，也欢迎大家在评论区交流自己的心得体会及遇到的问题。       搭建Haoop分布式集群所需环境：VMware，CentOS，Hadoop，

hadoop historyserver启动，无法访问，查看报错等问题 1、historyserver无法启动 2、historyserver已启动，可以看到进程，web无法访问url 3、historyserver已启动，可以访问日志，提示可能未完成日志聚集 记录下hadoop遇到的问题 1、historyserver无法启动 mapred-site.xml 文件里配置的server111节点，所以只能在server111节点启动，其他节点均不能启动 2、

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7） Hadoop集群搭建过程参考：二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5