kafka在rack间平衡replica

您所在的位置:网站首页 kafka减少partition kafka在rack间平衡replica

kafka在rack间平衡replica

2023-08-24 07:07| 来源: 网络整理| 查看: 265

http://kafka.apache.org/documentation/#basic_ops_racks

本文来自于对kafka官方文档“Balancing Replicas Across Racks”的理解

 

rack感知特性 会将 *同一partition的*replica 分散到不同的rack上。该特性扩展了kafka为broker-failure所提供的保证,使其可以覆盖rack-failure,减少了 同一rack上所有broker同时失败会导致的数据丢失 的风险。该特性也可以应用到其他broker grouping上,例如aws上的EC2可用区。

可以通过 broker.rack 指定某个broker属于某个特定的rack。

当新建/修改 topic或重分布replica时,kafka会考虑 broker.rack 配置,确保 replica分散到尽量多的rack上,一定注意,是尽量在rack间,而不是broker间,平分replica。一个partition将横跨 min(racks, replication-factor) 个不同的rack。

不配置 broker.rack 时,分配replica到broker的算法确保每个broker上leader的个数(partition的leader的个数)是相同的,而不论broker在racks间如何分布。这确保了balanced throughput,即各个broker的吞吐是一样的。

配置 broker.rack 时,需要在rack之间平分所有replica,也就是“不管在rack上分配了几个broker,反正replica是按着rack无脑平分的”。正因为此,如果rack被分配了不同个数的broker,则,较少broker的rack(其replica并不少)将使用更多的storage,会把更多的资源用到replication上,这些broker的负担就会更重,当然负载也不均衡,所以,明智的做法是为每个rack配置同样数量的broker。

举个例子,假设2个rack,6个broker,100个replica(包括主和从) replica会在rack间无脑平分,因此,rack1和rack2 各自分配50个replica 1. 如果rack1 和 rack2 都分配 3个broker,则:rack1上的每一个broker分配 50/3个replica,rack2上的每一个broker分配 50/3个replica。

2. 如果rack1 分配 5个broker,rack2 分配1个broker,则:rack1上的每一个broker分配 50/5个replica,rack2上的每一个broker分配 50/1个replica。也就是:具有较少broker的rack2其replica一点都不少,所以这些broker负担会更重,当然负载也不均衡。所以,明智的做法是为每个rack配置同样数量的broker。

 

实际操作下,看下面两个图

“不设置rack”,创建topic

 

 

“204,205设置broker.rack=rack204;206设置broker.rack=rack206”,创建topic

 

上两图说明:具有较少broker的rack206,其上replica一点都不少,所以这些broker(也就是brokerID 206)负担会更重,brokerID 206将使用更多的storage,会把更多的资源用到replication上,当然负载也不均衡。所以,明智的做法是为每个rack配置同样数量的broker

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3