文章目录 Kudu架构 一、​​​​​​​Kudu存储模型及概念 二、​​​​​​​​​​​​​​Kudu table存储原理 Kudu架构 一、​​​​​​​Kudu存储模型及概念 Kudu有自己的数据存储模型，不依赖于HDFS、Hive、HBase其他大数据组件。Kudu有自己的集群，数据存储在Kudu自己的集群Tablet Server中。 Kudu的存储模型是有结构的表，表中有主键，并且主键唯一，不能重复。 事务支持上与HBase类似，只支持行级ACID事务。

1.ClickHouse架构设计 1.1 ClickHouse的核心特性 MPP (Massively Parallel Processing)，即大规模并行处理，将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与hadoop相似)。 多个节点通过网络进行连接，协同工作，完成相同的任务（分布式存储，分布式计算） 每个节点只访问自己的本地资源（内存、存储等） 它是一种完全无共享（Share Nothing）结构，因而扩展能力非常好。

目录 一、 配置Scala环境 1. 下载解压 2. 配置环境变量 3. 验证是否安装成功 二、 安装Spark 1. 下载解压spark-3.0.1-bin-without-hadoop.tgz 2. 配置环境变量 3. 配置文件 3.1 先复制一份spark-env.sh文件 3.2 编辑spark-env.sh 3.3 配置slaves文件（节点信息） 4. 向各节点发放配置 5. 启动Spark 6. 验证是否启动成功 6.1 查看进程 6.2 通过exa

zeppelin简单介绍： Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。支持多种数据引擎，如hive、spark等。还支持多种编程语言，如python、Scala等。 zeppelin安装前的准备工作： 1、虚拟机安装配置好jdk，如果不会安装可以跳转到脚本安装jdk保姆级教程 2、虚拟机安装配置好Hadoop，如果不会配置安装可以跳转到Hadoop配置保姆级教程 3、虚拟机安装配置好Hive，如果不会安装可以跳转到脚本安装hive保姆级教程 4、下载

LD is tigger forever，CG are not brothers forever， throw the pot and shine forever. Modesty is not false, solid is not naive, treacherous but not deceitful, stay with good people, and stay away from poor people. talk is cheap, show others the c

配置hadoop集群常见报错汇总1、使用hdfs namenode -format 格式化报错找不到JAVAHOME 该问题只需在对应的窗口导入JAVAHOME即可，注意，此处为对应环境安装的JDK路径，笔者为/usr/local/java [hadoop@hadoop0 var]$ export JAVA_HOME=/usr/local/java 鉴于每次执行都要导入，建议直接在对应的/XXX/hadoop-xxx/etc/hadoop/hadoop-env.sh 添加如下语句，可以免去这个麻

一、部署前的准备 创建三台虚拟机并且设置虚拟机的ip，名称： 创建好虚拟机，设置ip 设置ip地址首先点击vm上的编辑按钮下虚拟网络编辑器查看VMnet8的ip地址是多少，比如我这ip地址为192.168.223.0，那么我的虚拟机的ip地址前3位就需要设置为192.168.223。 然后打开虚拟机登录，输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33进行设置。点击 i 进行编辑 第一步，设置为静态，更改成BOOTPROTO=stat

编写程序出现 (null) entry in command string: null chmod 0700 原因之一是在windows 系统下没有配置环境变量，步骤如下： 下载hadoop： http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common  解压完后，bin里面还缺少了winutils.exe和hadoop.dll 需要额外下载 下载地址：https://pan.baidu.com/s/1WvU6hQX8stfvy

一、Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 如果本机操作系统是Windows，如果在程序中使用了Hadoop相关的东西，比如写入文件到HDFS，则会遇到该异常 出现这个问题的原因，并不是程序的错误，而是用到了hadoop相关的服务，解决办法： 1、在本机上解压对应版本的hadoop压缩包 不太清楚别的版本压缩包行不行，bin里面要有winutils.exe 如果没有，请自行前往下载对应

Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。

Hadoop（伪分布）+ Spark（Local）软件安装及环境配置 前言 为了对数据进行分析，我们必须进行环境搭建。对于初学者来说，我们一般用Linux搭建环境，本文介绍的就是在Ubuntu上搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境。 一、安装虚拟机 1.下载Ubuntu16.04镜像 镜像源文件：下载地址 提取码：ontd 下载完成之后，进行虚拟机安装及配置，镜像位置选择下载好的Ubuntu16.04镜像。 二、Hadoo