DEV Community

Cover image for LinkedIn reduz falhas diárias de shuffle de cerca de 750 para 20 com Apache Celeborn
guiadeti
guiadeti

Posted on Originally published at guiadeti.com.br

LinkedIn reduz falhas diárias de shuffle de cerca de 750 para 20 com Apache Celeborn

Plataforma compartilhada para Spark e Flink

O LinkedIn implantou o Apache Celeborn como plataforma compartilhada de shuffle remoto na maioria das cargas de Apache Spark e Apache Flink. A arquitetura separa o armazenamento de dados intermediários da infraestrutura de computação e reduziu as falhas diárias de busca de shuffle de cerca de 750 para 20.

Em comparação com a implementação anterior baseada no Magnet, a mudança também reduziu em 10% os custos de computação e melhorou em 14% o tempo de execução das aplicações. O shuffle transfere dados intermediários entre etapas de processamento e pode pressionar rede, discos e recursos das aplicações em grandes cargas.

A plataforma de dados offline do LinkedIn executa mais de 300 mil jobs Spark por dia em milhares de nós de produção e consome cerca de 200 petabyte-horas de computação. Backfills em grande escala também ampliam a demanda por shuffle enquanto a empresa avança para uma arquitetura unificada de Flink.

Armazenamento separado da computação

O Magnet, implementação de shuffle push-based que contribuiu para o Apache Spark 3.2, agrupava blocos por partição redutora em arquivos maiores para diminuir leituras aleatórias em disco. Porém, o armazenamento permanecia dentro do cluster de computação, compartilhando CPU, memória, disco e rede com as aplicações.

No Celeborn, as tarefas map enviam dados intermediários a workers dedicados, que agregam e armazenam partições independentemente dos executores de computação. As tarefas redutoras buscam os dados diretamente desses workers, reduzindo a dependência do ciclo de vida dos executores e permitindo escalar armazenamento e computação separadamente.

Ao contrário dos serviços externos de shuffle do Magnet, que operam no cluster Spark, o Celeborn funciona como serviço separado, com workers dedicados e plano de controle replicado. Essa divisão reduz a disputa por recursos entre as operações de computação e o armazenamento temporário dos dados.

Confiabilidade e desempenho em escala

Para operar o serviço em milhares de nós e centenas de milhares de aplicações diárias, o LinkedIn implantou um plano de controle baseado em Raft com cinco nós distribuídos entre zonas de disponibilidade. O Apache Ratis fornece replicação de metadados, eleição de líder e failover.

A equipe também adicionou replicação com consciência da rede e integrou o Celeborn à plataforma de saúde dos hosts. O sistema reduz a prioridade de workers próximos da manutenção e exclui máquinas degradadas; segundo Aravind Patnam, staff software engineer do LinkedIn, esse trabalho exigiu engenharia adicional além do projeto upstream.

Essas mudanças ajudaram a reduzir em 20 vezes as falhas de tarefas durante interrupções de infraestrutura, em comparação com o Magnet. A migração do armazenamento de shuffle para SSDs NVMe diminuiu a duração total do shuffle em 40%, enquanto a compressão Zstandard, no lugar de LZ4, reduziu em cerca de 35% a frota necessária de workers.

Impacto nas cargas de dados

O LinkedIn também equipou os workers com interfaces de rede de 100 Gbps e aprimorou o plano de dados e a JVM. Com essas otimizações, o tempo para selecionar slots caiu seis vezes, enquanto o custo de shuffle por tarefa diminuiu quase 90% em toda a frota.

A parcela do tempo de execução dos executores consumida pela espera em operações de shuffle caiu aproximadamente 10% a 15% em relação ao pico. Na plataforma convergente de Flink, backfills históricos processam centenas de milhões de eventos por hora, e cargas que levavam vários dias passaram a ser concluídas em poucas horas.

Milhares de pipelines já usam cálculos unificados em Flink para processamento nearline e correções históricas, substituindo implementações paralelas em Spark. O LinkedIn avalia adicionar cache e acelerar atualizações do projeto upstream enquanto continua contribuindo para o Apache Celeborn.

Confira mais em: https://guiadeti.com.br/noticias/linkedin-reduz-falhas-diarias-de-shuffle-com-apache-celeborn/

Top comments (0)