×

spring boot

Springboot整合kafka

xchenhao xchenhao 发表于2024-04-16 浏览10382 评论0
Springboot 整合kafka 首先搭建两个springboot项目,一个作为生产者,一个作为消费者。kafka可以本地搭建,可以参考https://blog.csdn.net/weixin_42360600/article/details/123048409 生产者 项目结构1、pom引入kafka依赖 <dependency> <groupId>org.springframework.kafka</groupId> <

rabbitmq

优先级任务调度中间件(基于Kafka-RabbitMQ进行任务调度)

xchenhao xchenhao 发表于2024-04-15 浏览6405 评论0
        最近单位由于业务整改,需要重新设计一套任务调度中间件,便于各分系统根据任务优先级进行集中调度,详细需求如下: 高并发 低延迟 高可靠 根据任务优先级进行转发         由于工作业务需要,各分系统指定将任务消息发送到Kafka中,同时为了满足可以根据任务优先级进行转发的需要,设计利用RabbitMQ优先级队列进行任务转发,构造一条Kafka-RabbitMQ数据管道,因此设计的任务调度中间件业务逻辑如下图所示:         代码如下所示:

爬虫

前程无忧岗位数据爬取+Tableau可视化分析

xchenhao xchenhao 发表于2024-04-15 浏览17051 评论0
目录 一、项目背景 二、数据爬取 1、相关库的导入与说明 2、获取二级页面链接 1)分析一级页面url特征 2)构建一级url库 3)爬取所有二级url链接 3、获取岗位信息并保存 三、数据清洗 1、数据读取、去重、空值处理 1)相关库导入及数据读取 2)数据去重与控制处理 2、“岗位名称”字段预处理 1)”岗位名称“字段预览 2)构建关键词,筛选名称 3)岗位名称标准化处理 3、“岗位薪资”字段预处理 4、“公司规模”字段预处理 5、“职位信息”字段预处理