这篇文章给大家介绍如何进行Apache Kafka 2.7.0加速移除Zookeeper的分析,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

分布式发布与订阅系统Apache Kafka社区,发布了2.7.0这个迟来的版本,该版本的几个重点更新,包括持续将Apache Kafka中的ZooKeeper替换掉,加入了新的内部代理API,并且增加新的Core Raft共识演算法,现在Apache Kafka中具有单独包含核心共识协定的Core Raft模块。另外,分层储存的工作也持续进行中,以提供无限扩展和更快达到重新均衡的能力。

Zookeeper原本是在Apache Kafka中,扮演协调代理的角色,所有代理服务器启动时,都会连接到Zookeeper进行注册,当代理状态发生变化时,Zookeeper便会储存这些数据,Kafka的代理会通过Zookeeper与其他代理沟通进行同步,也就是说Kafka没有Zookeeper,也就无法顺利运行。

不过,Zookeeper并非Kafka的一部分,因此运行每一个Kafka集群,都必须部署两套系统,这产生了许多问题,包括造成多余资源的耗费,包括更多网路、监控功能以及安全性等资源配置,而Kafka集群规模增加,也就代表Zookeeper必须要跟着扩展,必须使用更多的存取,且Zookeeper作为外部的数据储存服务,当数据越来越多,使得控制器载入时间越来越长,限制了Kafka集群的规模扩展。

因此在2019年的时候,Apache Kafka社区就开始移除Zookeeper的工作,要由Kafka本身提供数据管理功能,而Apache Kafka 2.7.0总共有7个更新,与移除Zookeeper工作有关,包括了KIP-497新增内部代理API,来替换原本的内部同步副本(In-Sync Replica,ISR)。

目前Kafka分区负责程序(Partition Leader)和ISR信息,皆储存在Zookeeper中,控制器与分区负责程序都可以更新此状态,但由于任一方都可以更新状态,也就存在共享信息的机制,而这会使ISR的更新出现延迟,也就代表数据请求可能会收到旧信息。

Apache Kafka 2.7.0加入了一个新的AlterIsr API,赋予控制器独占能力,更新分区负责程序和ISR的状态,新API的好处是让数据请求,总能获得最新的状态。官方提到,要删除ZooKeeper,添加此API是重要的一步。

因为Kafka集群的规模日益增加,用户需要在Kafka中储存更多的数据,因此他们开始引入分层储存的概念。Kafka的储存现在分为本地端与远端两层,用户可以将数据在本地暂存之后,丢到远端进行较长期的储存,如此,本地端储存层留存资料的时间,将会从数天降到数小时,使用HDFS或S3等储存系统的远端层,就可以将资料留存数天甚至数月的时间。

关于如何进行Apache Kafka 2.7.0加速移除Zookeeper的分析就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。