Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

最近有学习些Kafak的源码，想给大家分享下Kafak中改进的二分查找算法。二分查找，是每个程序员都应掌握的基础算法，而Kafka是如何改进二分查找来应用于自己的场景中，这很值得我们了解学习。

应大部分的小伙伴的要求，今天这篇咱们用大白话带你认识 Kafka。

前言 由于Apache官方一直没有提供AdminClient中对账户这一块的操作，因此这部分大多数时候都是用命令行去操作的，但是命令行毕竟不是很方便。为了解决这部分问题，笔者去读了Kafka Scala的源码，从中梳理出来这部分内容供给大家参考。重要：如果你的版本升级到2.7.0及其以上，请参考【Apache Kafka API AdminClient Scram账户的操作（增删改查）】。更多内容请点击【Apache Kafka API AdminClient 目录】。 Scala版本

目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

我们经常会面临这样的问题，在确定某个topic下应该设置多少分区数，有时并不知道应该如何设置，如何评估等。或者别人问你当前kafka集群中，具体的业务topic中分区数是多少，是如何知道需要多少分区或怎么选择比较适合的分区数。

在本文中，你将先后了解到数字孪生在各个行业中的优势，Kafka与物联网架构之间的关系，以及五种适用于数字孪生的物联网架构。

在本文中，我们将向边缘计算领域的开发者介绍Kafka在物联网(IoT)边缘处的不同用例和架构用法。

概述 Kafka目前支持GZIP、Snappy、LZ4、zstd、不压缩这几种压缩算法。在开启压缩时，Kafka会选择一个batch的消息一起压缩，这样的一批消息就是一个压缩分段，我们也可以通过参数来控制每批消息的大小。 在Kafka中，生产者生成一个压缩分段发给broker，在broker中是不会解压这个压缩分段的（因为在Kafka中一个batch的消息在broker中是不会拆分的，自然也不会进行解压），最后压缩分段由消费者进行解压。 Kafka通过这种设计，降低了broker中CPU