DEV Community

Cover image for Yelp migra cerca de 90 clusters Cassandra para Amazon EKS com volumes EBS
guiadeti
guiadeti

Posted on Originally published at guiadeti.com.br

Yelp migra cerca de 90 clusters Cassandra para Amazon EKS com volumes EBS

Volumes existentes evitaram transferência de dados

A Yelp migrou cerca de 90 clusters Cassandra de produção de ambientes Kubernetes autogerenciados para o Amazon EKS, conectando os novos pods aos volumes EBS existentes. A operação terminou sem indisponibilidade para clientes nem perda de dados, conforme o relato técnico.

Batizado de Rolling PV Transplant, o método aproveita que um volume EBS é vinculado a uma Zona de Disponibilidade, não a um cluster Kubernetes, e que um PersistentVolume funciona como referência ao identificador do volume. A abordagem evitou transferir os dados pela rede. A alternativa considerada, adicionar nós ao novo cluster e desligar os antigos, poderia duplicar temporariamente a capacidade de computação e levar semanas nos maiores clusters.

Pods foram movidos um de cada vez

A equipe criou PersistentVolumes e PersistentVolumeClaims no EKS apontando para os identificadores dos volumes existentes. Depois, iniciou um StatefulSet equivalente no novo cluster, cujos pods aguardavam em estado ContainerCreating. A automação removia um pod por vez do cluster antigo, esperava o desanexamento do volume e permitia que o pod no EKS o reivindicasse. O pod retornava ao anel Cassandra com os mesmos dados e intervalo de tokens; a replicação do banco tolerava os poucos minutos em que cada nó ficava fora de serviço.

Como dois operadores gerenciavam o mesmo anel lógico durante a migração, a Yelp definiu skipReconciliation: true nos recursos personalizados dos dois clusters para evitar conflitos sobre o estado dos pods. A equipe removeu a configuração do lado do EKS ao final.

Em cerca de mil pods, aproximadamente 1.000 TiB foram movidos por referência aos volumes, sem transferência pela rede. Nenhum nó foi retirado do anel, então a reversão consistia em repetir o processo na direção contrária. A equipe usou esse recurso algumas vezes, por causa de uma definição de sub-rede ausente e de uma incompatibilidade de certificado, e restaurou os pods em minutos.

Automação apoiou a migração em produção

Após uma semana de testes manuais e outra de automação, um engenheiro conduziu a migração em produção ao longo de cerca de três semanas, movendo de três a seis clusters em um dia típico. A equipe usou Claude para gerar, com base no procedimento manual validado, um script de orquestração com cerca de 800 linhas em Bash. Foram necessários pequenos ajustes após dois dias de testes.

O maior cluster, um armazenamento de dados de usuários com 54 pods, levou aproximadamente 12 horas do início ao fim. A equipe também aplicou a técnica a clusters Kafka. A abordagem se baseia em testes anteriores da equipe de infraestrutura de computação da Yelp sobre o processo de desanexação e anexação de volumes na migração do Container Storage Interface (CSI).

Falhas revelaram verificações necessárias

Um objeto VolumeAttachment obsoleto, deixado pelo controlador AWS CSI após a remoção de um pod, fez um pod no EKS permanecer em estado Pending sem exibir erro. A exclusão do objeto no cluster antigo resolveu o problema. A Yelp recomenda incluir tempos limite explícitos na automação para operações de anexação e desanexação que travem.

Outros problemas apareceram após a migração. Os backups falharam por 48 horas com erros IAM AccessDenied, porque as tarefas agendadas ainda não assumiam a nova função terminada em -eks; o alerta abriu um chamado, mas não acionou uma notificação imediata. A pausa dos reparos também revelou um cluster em que eles estavam desativados silenciosamente havia três meses, causando inconsistências acumuladas nos dados. A Yelp recomenda verificar o estado dos reparos, as funções IAM dos backups e a gravidade dos alertas antes de uma mudança semelhante.

Confira mais em: https://guiadeti.com.br/noticias/yelp-migra-cassandra-para-eks-com-volumes-ebs/

Top comments (0)