DEV Community

Cover image for Meta cria TLX para ampliar o controle de execução em GPUs com Triton
guiadeti
guiadeti

Posted on Originally published at guiadeti.com.br

Meta cria TLX para ampliar o controle de execução em GPUs com Triton

A Meta desenvolveu o Triton Low-Level Extensions (TLX) para dar aos engenheiros mais controle sobre a execução em GPUs, mantendo o modelo de programação do Triton. A extensão aproxima as abstrações de alto nível da linguagem do controle de baixo nível necessário para aproveitar recursos das arquiteturas modernas.

GPUs atuais oferecem recursos como especialização de warps, movimentação assíncrona de memória, memória de tensores e execução em nível de cluster. Esses recursos diferem do modelo tradicional do Triton, que simplifica a criação de kernels ao abstrair estruturas de execução de baixo nível, segundo os engenheiros da Meta.

Controle explícito de execução

Em um kernel moderno do FlashAttention, por exemplo, um grupo de warps pode emitir transferências de memória enquanto outro executa cálculos nos núcleos tensoriais. Um kernel GEMM para Blackwell pode coordenar vários grupos de warps, alocações de memória de tensores e recursos de cluster ao mesmo tempo.

Nesses casos, o desempenho depende também de como os grupos de execução cooperam. A Meta afirma que o uso desses recursos exigia grandes quantidades de código de orquestração específico para cada arquitetura, pois as abstrações do compilador Triton não ofereciam acesso direto a essas estruturas.

O modelo MIMW e os recursos do TLX

O TLX introduz o modelo de execução MIMW, de múltiplas instruções e múltiplos warps, que ocupa um espaço entre o controle por thread do CUDA e a abstração por bloco do Triton. A extensão amplia a linguagem em cinco áreas: orquestração de grupos de warps, sincronização, organização da memória, execução em clusters e disposição opcional dos dados.

Com essas funções, desenvolvedores podem continuar usando Python, ajuste automático de parâmetros e programação de tensores em blocos, mas acessar explicitamente estruturas de execução da GPU. A Meta apresenta esse equilíbrio como forma de combinar a produtividade do Triton com um controle mais próximo do oferecido pelo CUDA.

Uso em treinamento e inferência

A empresa afirma usar o TLX em produção há vários meses, em três cargas principais. No treinamento de modelos GEM em milhares de GPUs NVIDIA Blackwell, relata utilização de FLOPs do modelo (MFU) de 20% a 25% no fluxo completo e aceleração de até duas vezes na etapa de passagem direta (forward pass).

Na otimização de transmissão dentro do kernel para inferência de recomendação, a Meta relata aceleração de quatro vezes em uma GPU H100 para um kernel de compressão linear. Em modelos desenvolvidos em conjunto com essa otimização, a latência de redes com uso intensivo de computação caiu em até dois terços.

Em operações GEMM agrupadas e distribuídas para o pré-treinamento de grandes modelos de linguagem, a empresa relata ganhos de desempenho, confiabilidade e facilidade de manutenção em grandes conjuntos de GPUs durante períodos prolongados de treinamento.

Próximos passos

A Meta planeja ampliar o suporte do TLX para outras arquiteturas da NVIDIA, da AMD e para aceleradores personalizados. Também pretende automatizar a orquestração de grupos de warps por meio de abstrações de nível mais alto e integrar a extensão ao torch.compile. A InfoQ detalha a extensão e os resultados relatados pela empresa.

Confira mais em: https://guiadeti.com.br/noticias/meta-tlx-extensao-triton-controle-execucao-gpu/

Top comments (0)