×

scala

spark实时流处理日志数据（1）（分布式环境，python，flume，kafka，sparkstreaming，sparksql，hbase，scala）

Calm Calm 发表于2024-06-23 浏览5860 评论0
实时流处理日志数据的介绍 基于完全分布式的hadoop环境。主要的大数据组件有spark，scala，flume，kafka，sparkstreaming，Python，hbase。 1 基本框架流程 日志数据：需要用py模拟实时的产生数据。(也可以爬取得到) flume：接收产生的日志数据 kafka：消费flume接收的数据到sparkstreaming进行处理（idea，sparkAPI） sparkstreaming：对数据进行预处理和计算（算子），将结果通过sparksqlA

分布式

(大数据方向）分布式实验七：HBase数据库搭建以及常用命令（分布式数据库Hbase）

忽然一转身 忽然一转身 发表于2024-06-21 浏览5166 评论0
目录 阅读须知 本篇博客是Hbase的搭建教程以及基础Hbase语句的使用教程 一.HBase简介 二.HBASE伪分布式搭建 一.解压hbase 二.配置环境变量 三.配置 hbase-env.sh 四.配置 hbase-site.xml 五.启动HBase 三.hbase shell 四.基本任务1使用 HBase Shell 命令完成下列任务 1.创建表 2.列出信息 3.向已经创建好的表添加和删除指定的列族或列 4.清空指定表的所有记录数据 5.统计表的行

restful

SpringBoot集成Phoenix，创建RESTful接口获取Hbase数据

無言以對 無言以對 发表于2024-06-20 浏览6416 评论0
本文使用SpringBoot框架搭建项目，集成Phoenix，创建RESTful接口获取Hbase数据。完整代码已放在GitHub上：phoenix-service 在上篇文章HBase创建表以及使用Phoenix操作查询Hbase中，我们已经创建好了hbase表test1： 下面我们开始创建接口获取hbase数据。 项目结构： 开发环境准备： 1.从集群拷贝以下文件：core-site.xml、hbase-site.xml、hdfs-site.xml文件放到resources文件夹下 2.

分布式

Hbase3.0.0及Hadoop3.3.1集群搭建(一)（hadoop3.3.0兼容hbase多少）

下岗青年 下岗青年 发表于2024-06-20 浏览5847 评论0
1.概述 HBase是Hadoop数据库，一种分布式、可扩展的大数据存储。当您需要对大数据进行随机、实时的读/写访问时，推荐使用HBase。该项目的目标是在商用硬件集群上托管非常大的表——数十亿行 X 数百万列。HBase 是一个开源、分布式、版本化、非关系型数据库，基于 Google 的Bigtable 等的结构化数据的分布式存储系统开发。正如 Bigtable 利用 Google 文件系统提供的分布式数据存储一样， HBase 在 Hadoop 和 HDFS 之上提供了类似 Bigtab

mysql

数据库中DML,DDL,DCL,DQL指的是什么意思（数据库ddl和dml是什么意思）

Nick Nick 发表于2024-06-17 浏览11770 评论0
1)DQL(Dimensional Query Language)            数据查询语言DQL基本结构是由SELECT子句，FROM子句，WHERE子句组成的查询块：SELECT <字段名表>FROM <表或视图名>WHERE <查询条件> 2).DML（data manipulation language）：           DML用来对数据库里的数据进行操作的语言,;例如SELECT、UPDATE、INSERT、DELETE  3)

分布式

hbase踩坑记---HMaster启动后不久就消失（hbase-2.2.4版本）

枫叶?飘飘 枫叶?飘飘 发表于2024-06-17 浏览7902 评论0
版本介绍： hadoop-3.1.3 hbase-2.2.4 问题简述： 在学习HBase的过程中，安装后启动，开始是可以看见HMaster进程的，但是几秒后就消失了，反复尝试了几次，都是同样的情况，也就是启动失败。 问题分析： 因为HBase与hadoop的兼容性是一个重要的问题，因此我先考虑版本问题，查阅hbase官网,如下图： 版本兼容是没有问题的，不过这个问题仍然是是使用hbase需要重点关注的。 然后，在查看自己安装流程的过程中，我发现在hbase-site.xml配置中： &

分布式

Ubuntu安装Hbase数据库

夏沫浅笑 夏沫浅笑 发表于2024-06-12 浏览5045 评论0
一、下载解压安装Hbase 自行下载Hbase版本(实验所用为1.1.2) Hbase官网：Index of /dist/hbase 百度云盘 提取码：hoa0 1.解压Hbase，并修改其名称 sudo tar -zxf hbase-1.1.2-bin.tar.gz -C /usr/local cd /usr/local sudo mv hbase-2.2.2/ hbase sudo chown -R hadoop hbase/ 2.配置环境变量 编辑~/.bashrc文件，