DEV Community

loading...

Discussion on: Kafka: quantas partições por tópico?

Collapse
valdiradorni profile image
valdiradorni

Fábio José de Moraes , excelente iniciativa e dimensionamento para particionamento inicial ! Dentro do que estamos trabalhando e casos reais, esta e a ordem de grandeza e cálculos e estudo reais e compartiho aqui.

Uso de 30 partições por tópico melhores praticas.
Usuários Esse é um bom número porque

(a) é alto o suficiente para atender a alguns requisitos realmente de alto rendimento,

(b) é baixo o suficiente para que você não atinja o limite tão cedo quanto quantas suportar,mesmo se você cria muitos tópicos em seu cluster Kafka

(c) é um número altamente composto, pois é igualmente divisível por 1, 2, 3, 5, 6, 10, 15 e 30.

Isso beneficia a camada de processamento porque resulta em em uma distribuição de carga de trabalho mais uniforme entre instâncias de aplicativos ao expandir horizontalmente (adicionar instâncias de aplicativos) e expandir (remover instâncias).

Uma partição "quente" pode carregar 10 vezes o peso de outra partição no mesmo tópico.