×

rabbitmq

Rabbitmq简单介绍(rabbitmq详解)

Aclitan Aclitan 发表于2024-06-20 浏览6564 评论0
先上流程图: publisher 消息的生产者 consumer 消费者 exchange 交换器 交换器的三种类型 direct(完全匹配) direct形式生产者会将消息发送到跟消息路由键完全一样的队列上,就是消息的路由键跟队列的路由键完全匹配,然后消费者消费这个队列的这条消息。 topic (主题,规则匹配) topic类型的交换器会跟据生产者的路由键路由到一个或多个queue上,更加灵活,其实就是路由键用了正则表达式进行匹配 fanout(广播) dire

scala

[1133]flink问题集锦(flink 问题)

Aclitan Aclitan 发表于2024-06-20 浏览7166 评论0
问题1: Could not get job jar and dependencies from JAR file: JAR file does not exist: -yn 原因:flink1.8版本之后已弃用该参数,ResourceManager将自动启动所需的尽可能多的容器,以满足作业请求的并行性。解决方法:去掉即可 问题2: java.lang.IllegalStateException: No Executor found. Please make sure

spring

IDEA:spring项目pom依赖无法导入,全线爆红解决办法(idea的pom依赖没导进去问题)

Aclitan Aclitan 发表于2024-06-20 浏览7777 评论0
我的Spring依赖导入爆红又一解决办法 解释一下我遇到问题产生的原因: 1.有可能是网络原因,从中央仓库下载到本地仓库,新的依赖下载不完整如图1所示 图1 解决办法: 1)找到自己配置maven的时候本地仓库位置, 根据需要的包名例如 import org.springframework.web.bind.annotation.RestController 2)从org包开始找直到找到所对应的包查看 G:\kuangji\apache-maven\repository_s

scala

sparkSQL总结(sparksql语句)

Aclitan Aclitan 发表于2024-06-20 浏览5381 评论0
1. Spark SQL Spark SQL在RDD之上抽象出来Dataset(数据集)和DataFrame(数据帧)提供类似RDD的处理功能,对数据进行处理时有两种方式一种强类型(对象)和无类型操作(SQL字段) import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("Spark SQL data sources example")

scala

Spark快速入门(spark快速入门 pdf)

Aclitan Aclitan 发表于2024-06-20 浏览6868 评论0
简介 Spark是伯克利开发的通用内存并行计算框架,通过scala实现,适用于海量数据处理,由于引入了RDD(Resilient Distributed Dataset, 弹性分布式数据集)抽象,从而具备较高等容错性。 Spark组件 Core 核心组件,分布式计算引擎 SQL 高性能的基于Hadoop的SQL解决方案 Streaming 实现高吞吐量、具备容错机制的准实时流处理系统 GraphX 分布式图处理框架 MLlib 构建在Spark上的分布式

MYSQL教程

Extra中出现的Using index condition到底什么意思?

Aclitan Aclitan 发表于2024-06-20 浏览7177 评论0
我们兴致勃勃地建了一张InnoDB表,想测试一下索引的性能,对表中的聚簇索引肆意妄为,对id执行各种查询,玩得不亦乐乎。 这时候,你突发奇想,在表上建了个二级索引,执行了一下查询,发现Extra列里面出现了你从未见过、书上也没讲到的Using index condition。 你慌了,到网上找答案,找到的都是类似这样的东西: 你明白了,可是当你写了一个索引字段的范围查询后,面对着Extra中再次出现的Using index condition,又一次陷入了沉思······ 其实,这个

scala

学习笔记Spark(七)—— Spark SQL应用(2)—— Spark DataFrame基础操作

Aclitan Aclitan 发表于2024-06-20 浏览6649 评论0
二、Spark DataFrame基础操作 2.1、DataFrame DataFrame是一种不可变的分布式数据集,这种数据集被组织成指定的列,类似于关系数据库中的表。 数据集的每一列都带有名称和类型,对于数据的内部结构又很强的描述性。 RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。 2.1.1、DataFrame特点 支持KB级到PB级得到数据处理 支持多种数据格式和存储系统 通过Spark SQL Catalyst优化器可以进行

rabbitmq

【中间件】RabbitMQ初认识

Aclitan Aclitan 发表于2024-06-20 浏览6295 评论0
1. RabbitMQ是什么? 1.1 RabbitMQ RabbitMQ是一款使用Erlang语言开发的,实现AMQP(高级消息队列协议)的开源消息中间件。 它是典型的生产者消费者模式的消息队列。 “消息队列(Message Queue)”是在消息的传输过程中保存消息的容器。 1.2 同类的中间件 通常有Kafka,ActiveMQ,RocketMQ。参考[2] 特性 ActiveMQ