DEV Community

Cover image for Patches v7 reduzem contenção no cliente CephFS do Linux
guiadeti
guiadeti

Posted on Originally published at guiadeti.com.br

Patches v7 reduzem contenção no cliente CephFS do Linux

Série v7 busca reduzir bloqueios no cliente CephFS

Xiubo Li enviou uma série de cinco patches para otimizar o cliente CephFS integrado ao kernel Linux. A versão v7 busca reduzir o tempo em que operações concorrentes esperam pela trava mdsc->mutex, usada para proteger alterações nas requisições.

Ceph é uma plataforma de armazenamento distribuído, e CephFS é seu sistema de arquivos. No cliente do kernel, a trava permanecia ocupada durante tarefas demoradas, como preparar mensagens e percorrer diretórios. Em cargas com muitas consultas, outras CPUs aguardavam enquanto esse trabalho era feito.

Menos trabalho sob a trava

A mudança principal faz o código adquirir mdsc->mutex apenas onde a exclusividade é necessária e liberá-la antes da etapa __send_request(). Assim, o percurso pelas estruturas de diretórios e a preparação da mensagem podem ocorrer em paralelo. As operações que exigem proteção exclusiva continuam sob a trava.

Em um teste com 32 threads consultando um diretório de 5.000 arquivos, medições com bpftrace indicaram que o tempo retido em __do_request caiu de uma faixa de 354 a 2.327 microssegundos para 10 a 68 microssegundos. Também foram relatadas reduções em handle_reply e submit_request.

Consultas stat avançaram nos benchmarks

No teste test_i_caps, consultas stat de uma thread passaram de 692 mil para 1,42 milhão de operações por segundo, alta de 105%. No teste multithread, o resultado subiu de 722 mil para 1,373 milhão. Consultas stat em cache cresceram 53%, e operações de abertura e fechamento avançaram 30%.

O resultado variou conforme a operação: readdir caiu de 877 para 832 operações por segundo. A bateria completa levou 121 segundos, contra 195 segundos antes da alteração. Os ganhos apresentados se concentram em operações de metadados afetadas pela contenção.

XArray e compatibilidade de 64 bits

A série também substitui por XArray a árvore rubro-negra que guardava requisições pendentes, acrescenta um bloqueio específico para filas de espera e reduz a dependência de travas na leitura de oldest_tid. A XArray permite buscar requisições pelo índice da transação.

Como a indexação da XArray usa unsigned long, a série inclui a dependência de sistemas de 64 bits para CONFIG_CEPH_FS. Se a alteração for integrada nesses termos, o cliente CephFS do kernel deixará de ser compilável em arquiteturas de 32 bits. O autor afirma não conhecer usuários atuais desse cliente em hardware de 32 bits; a mudança não afeta os servidores Ceph nem outras bibliotecas do ecossistema.

Testes de estresse e revisão

Os testes de estresse rodaram por mais de 24 horas com dbench e fsstress, três servidores de metadados ativos, três em espera e cargas de 32 threads. A equipe provocou mais de 100 failovers e também encerrou à força 5.084 processos simultâneos para pressionar o cancelamento de requisições.

A campanha encontrou problemas que também ocorriam no Linux 7.2 sem os patches: uma falha de referência nula durante operações de escrita e um erro de gerenciamento de memória no cancelamento de pedidos. Eles estão sendo tratados separadamente. Em outro cenário, um travamento durante operações de truncate foi atribuído a um loop de limpeza de cache em componentes que a série não alterou.

Os patches continuam em revisão e não foram apresentados como uma mudança já integrada ao kernel. A versão v7 inclui ajustes para tratar requisições em andamento e reduzir riscos de corrida durante reconexões.

Confira mais em: https://guiadeti.com.br/noticias/patches-otimizacao-cliente-cephfs-kernel-linux/

Top comments (0)