×

分布式

浅谈zookeeper在clickhouse中的使用(zookeeper clickhouse)

wmwlgzs wmwlgzs 发表于2024-05-30 浏览8485 评论0
对于大多数分布式软件而言,数据的一致性问题是其必须要考虑的内容,zookeeper是最常见的也是使用最广泛的一个解决数据一致性问题的工具,clickhouse在其分布式方案的设计中也引入了zookeeper的使用,并强依赖于此。本文根据最近的一些项目经验,从原理和实践上来简单总结一下zookeeper在clickhouse中的使用吧~~ 1. zookeeper的用途 zookeeper从存储的角度来看类似于一颗文件树,每个节点称之为znode,基本的工作原理类似于消息的发布订阅模

spring cloud

SpringCloud Zookeeper 配置用户名密码 源码分析

hello hello 发表于2024-05-30 浏览5402 评论0
最近公司为了访问安全,给Zookeeper 设置了用户名密码,这样SpringCloud用Zookeeper 作为注册中心的服务就访问不了,网上搜了很多也没讲如何配置的,都是讲Zookeeper 如何设置密码的。按惯例是解决了,不然也不会心血来潮写个文章来记录下~! 一、SpringCloud注册中心配置 1、引用jar包 <dependency> <groupId>org.springframework.cloud</groupId>

分布式

【kafka专栏】kafka3.0版本不再需要zookeeper,替代方案是什么?(kafka为什么需要zookeeper)

timeduoduoba timeduoduoba 发表于2024-05-29 浏览7678 评论0
在2.8版本之前,kafka都是强依赖zookeeper这个分布式服务协调管理工具的。在kafka2.8版本开始尝试从服务架构中去掉zookeeper,到了3.0版本这个工作基本上完成,这是kafka的一个非常重要的里程碑。 如果想要理解kafka3.0的新架构设计,实际上我们还是有必要理解kafka2.x版本中中zookeeper的作用是什么?为什么要在3.0版本中去掉?使用什么技术代替了kafka? 一、zookeeper保存哪些元数据信息? 在kafka2.x版本中,zo

restful

使用SpringFramework+CXF实现rest服务

刚需队长? 刚需队长? 发表于2024-05-29 浏览5731 评论0
什么是REST REST 全称是 Representational State Transfer(表述性状态转移),它是 Roy Fielding 博士在 2000 年写的一篇关于软件架构风格的论文。许多知名互联网公司开始采用这种轻量级 Web 服务,大家习惯将其称为 RESTful Web Services,或简称 REST 服务。 REST 本质上是使用 URL 来访问资源的一种方式。总所周知,URL 就是我们平常使用的请求地址了,其中包括两部分:请求方式 与 请求路径,比较常见的

spring

MyBatis-Plus 中 Mapper 重载踩坑指南(mybatis mapper可以重载吗)

྅ༀ༼ཨོཾ།༆༉༊ྱ༦ ྅ༀ༼ཨོཾ།༆༉༊ྱ༦ 发表于2024-05-29 浏览6872 评论0
前言 近期在 Mapper 中写了个方法重载,然后死活查不到正确结果,最终灵机一动,想到是不是因为重载,然后我 Shift + F6 把重载方法名字改了一下!结果,显而易见,重载的那个方法也一块改了。再次躺坑! 1 背景 以下为模式测试数据 MySQL 表 Mapper 如果看到这里,已经发现了问题,并知道原因,那可以直接跳过,进行三连即可。 当然,在 Mapper.xml 这么写,会提示错误(插件功能) Junit 执行结果是: sum=1500 sumWi

分布式

Kafka同步发送与异步发送消息(kafka同步发送和异步发送)

luo5943 luo5943 发表于2024-05-29 浏览8044 评论0
 在说这个Kafka同步发送和异步发送之前我们首先要了解一个事情,那就是这个同步发送和异步发送是在什么时候发生的? 所谓的同步和异步就是对于用户线程来讲的,发送线程只有异步。  同步模式 同步就是逐条发送。用户线程选择同步,效果是逐条发送,因为请求队列InFlightRequest中永远最多有一条数据。异步+设置 后台线程的异步发送参数:max.in.flight.requests.per.connection=1 & batch.size=1,效果也是逐条发送。一定是逐条发送

spring boot

Spring Cloud微服务:Loadbalancer 实战(Spring Cloud Loadbalancer)

sgq5136 sgq5136 发表于2024-05-29 浏览9074 评论0
nacos维护一个列表,但是我们请求服务不可能一个服务所有的都请求一遍,比如我做一笔转账,我找到其中一个做一次转账就够了,而不是看到有多个转账服务,都去转一次。那这个就需要“选择”,选择这个靠谁来做呢,其实就是客户端负载均衡组件 Spring Cloud Loadbalancer。 均衡负载 首先作为均衡负载的组件,要知道均衡负载是在做什么的? 说白了,我们有对应的服务集群,我们只能把所有的服务指定到对应的一台机或其中的几台机,要是这样集群也没啥特别大的意义。大家都参与进来,别可着一个用就

rabbitmq

部署Rabbitmq集群、mongodb集群、zookeeper集群(rabbitmq 集群部署)

百度用户23477 百度用户23477 发表于2024-05-28 浏览4451 评论0
1、Rabbitmq集群搭建 每台服务器RabbitMQ部署 1)RabbitMQ是基于Erlang的,所以首先必须配置Erlang环境. 2)解压gz包  tar zxvf  otp_src_19.1.tar.gz 3)cd 进入解压出来的文件夹 4)执行./configure --prefix=/usr/local/erlang   就会开始编译安装 5)make 和 make install 6)修改/etc/profile文件,添加erlang环境变量 ERLANG_HOME=/usr

分布式

面试官:Zookeeper集群怎么搭建?(zookeeper面试问题)

timeduoduoba timeduoduoba 发表于2024-05-28 浏览9680 评论0
哈喽!大家好,我是小奇,一位不靠谱的程序员 小奇打算以轻松幽默的对话方式来分享一些技术,如果你觉得通过小奇的文章学到了东西,那就给小奇一个赞吧 文章持续更新,可以微信搜索【小奇JAVA面试】第一时间阅读,回复【资料】更有我为大家准备的福利哟! 一、前言 作为一名Java拧螺丝选手,不必要掌握造火箭的能力就可以工作,但是面试官偏偏要难为兄弟们,这我就有点看不下去了,我只能带上家里的火箭当场向面试官证明自己。 虽然我这个二踢脚可能算不上火箭,但是跟火箭的

后端

kafka集群搭建超详细教程(kafka集群配置文件)

hongfei2019 hongfei2019 发表于2024-05-28 浏览12395 评论0
前言 大家好,我是风云,欢迎大家关注我的博客,在未来的日子里我们一起来学习大数据相关的技术,一起努力奋斗,遇见更好的自己! 百度百科对Kafka有如下描述:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 具备以下特点: 高吞吐量、低延迟:kafka每秒可以处理百万条消息,它的延迟最低只有几毫秒,topic可以分多个partition, cons

MSSQL教程

如何用Redis实现分布式锁?(如何用redis实现分布式锁定)

YaoYao YaoYao 发表于2024-05-28 浏览7119 评论0
简介   我相信很多人学分布式锁最大的动力并不是他自己的系统需要,而是面试官需要。。。当然,这也侧面说明分布锁很重要,经常作为考题,在学习之前,我们要先明确几个问题。 一、锁重要吗?   当然重要,只要访问临界资源的时候,都会用到锁,要不然就会有线程安全问题。 二、那我们为什么不用Java自带的锁?比如synchronized和Lock还要自己实现呢?   这里需要的明确一个问题,这些Java自带的锁都是在同一个JVM中发挥作用的,如果是在分布式的服务中,会有多个JVM虚拟机下的