×

中间件

分布式日志—Seq(一)

寒峰之巅 寒峰之巅 发表于2024-03-31 浏览6422 评论0
一、分布式日志 日志是我们软件开发离不开的一个东西,在我们排查问题的时候日志就是我们的救命稻草。在分布式应用中,每个服务都在不停的生产日志,如果按照传统的写本地文件的日志方案,显然会面临跟修改配置一样麻烦的境地,日志被分散在储存不同的设备上,排查问题时将会非常难受。 分布式日志系统的作用就是将所有节点上的日志统一收集,存储,提供集中化的日志管理,并且提供统一的查询、分析的能力。 .net 技术栈下常用的分布式日志组件有ELK、Exceptionless、Seq。这里先介绍Seq。

中间件

分库分表带来的问题(分库分表会有什么问题)

??? ??? 发表于2024-03-31 浏览4162 评论0
目录 3、分库分表的问题 3.1 事务一致性问题 3.2 跨节点关联查询 3.3 跨节点分页、排序函数 3.4 主键避重 3.5 公共表问题 3、分库分表的问题 3.1 事务一致性问题 由于分库分表后把数据分布在不同库甚至不同的服务器,数据库原有的单库的数据库事务就会失效,不同的数据库实例完成同一个事物可能会失败从而带来分布式事务问题。 3.2 跨节点关联查询 在垂直分库后比如商品信息和店铺信息不在一个数据库甚至不在一个服务器这时就无法进行联表的查询。可以将原来的

中间件

ES(ElasticSearch)数据建模最佳实践之「一对多对多关系建模」

doviseo doviseo 发表于2024-03-31 浏览4180 评论0
一、开门见山 关系型数据库 MySQL 的 join 关系如何在 ES 中实现。 官方文档链接介绍如下: https://www.elastic.co/guide/en/elasticsearch/reference/6.3/joining-queries.html Nested object:嵌套对象 Parent child:父子关系 二、商铺SPU模型 电商系统常见的一对多对多关系: 一个商铺下有多个商品,一个商品下有多个单品,如北京 iph

中间件

windows搭建RocketMQ踩的坑之Please set the ROCKETMQ_HOME variable in your environment

写真素材中心 写真素材中心 发表于2024-03-31 浏览6171 评论0
配置环境变量(值为RocketMQ的安装路径)(环境变量设置完后重启电脑!!!!) ROCKETMQ_HOME=你的安装路径(根目录) 修改bin\runserver.cmd set "JAVA_OPT=%JAVA_OPT% -cp "%CLASSPATH%"" 给%CLASSPATH%加上双引号 即将 set "JAVA_OPT=%JAVA_OPT% -cp %CLASSPATH%" 修改为 set "JAVA_OPT=%JAVA_OPT% -cp "%CLASSPATH%""

中间件

Kafka安装配置(SASL/SCRAM动态认证)(kafka scram 认证)

王亚楠 王亚楠 发表于2024-03-29 浏览4661 评论0
        SASL/SCRAM验证方法可以在Kafka服务启动之后,动态的新增用户分并配权限,在业务变动频繁,开发人员多的情况下比SASL/PLAIN方法更加灵活。 Zookeeper:3.4.13,kafka依赖zookeeper, Kafka:kafka_2.12-2.8.1 ZooInspector:zookeeper客户端查看工具 安装根目录:/app/kafka/ Zookeeper下载地址:Apache ZooKeeper Kafka下载地址

中间件

Java中间件-Elasticsearch

wmwlgzs wmwlgzs 发表于2024-03-29 浏览5197 评论0
Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 公司。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful Search Engine。目前,Elasticsearch 是一个免费及开放(free and open)的项目。同时,Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这

中间件

Python详细知识体系总结(2021版)

tk88ok tk88ok 发表于2024-03-25 浏览4390 评论0
Python详细知识体系总结(2021版) 本文专注整理一些有关Python学习的知识体系,不定期更新。 整理的Python知识体系主要包括基础知识,Python热门的应用方向,推荐书籍,FAQ以及一些常见面试题目,包含了作为一个Python全栈工程师以及数据分析工程师在开发工作和学习中需要用到或者可能用到的绝大部分知识。希望大家可以根据自己感兴趣的方面多多学习。 另:写的博客如有错误或者疏忽的地方,还望各位大佬指点,在此表示感激不尽。 文章目录 Python详细知识体系总结

中间件

shardingsphere 分库分表及配置示例(shardingsphere分库分表算法)

晚风 晚风 发表于2024-03-24 浏览6966 评论0
Sharding-JDBC是一个开源的分布式数据库中间件解决方案。它在Java的JDBC层以对业务应用零侵入的方式额外提供数据分片,读写分离,柔性事务和分布式治理能力。并在其基础上提供封装了MySQL协议的服务端版本,用于完成对异构语言的支持。 基于JDBC的客户端版本定位为轻量级Java框架,使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。 功能列表 数据分片 支持分库 + 分表 支持聚合,分组,排序,

中间件

SpringCache整合Redis实现项目缓存解决方案(spring cache整合redis)

AA飘凌 AA飘凌 发表于2024-03-24 浏览11417 评论0
前言   说实话,在写这一篇文章之前我一直没有搞懂一个问题。明明我们项目中使用最多的缓存技术就是Redis,用Redis就完全就可以搞定缓存的问题了,为什么还有一个SpringCache,以及SpringCache和Redis之间的区别。 一、 为什么要使用缓存 缓存是将数据直接存入内容中,读取效率比数据库的更高 缓存可以有效地降低数据库压力,为数据库减轻负担 二、 常见的缓存中间件 Redis、Memcached、Guava、Caffeine,其中Redis和Memcache