NPU passa a executar inferência local
A AMD e a Unsloth anunciaram em 19 de novembro de 2026 o suporte à arquitetura AMD XDNA 2 no Unsloth Desktop. A integração permite direcionar a inferência de modelos de linguagem para a NPU, em vez de concentrar essa tarefa na CPU ou na GPU, e marca a primeira arquitetura de NPU oficialmente suportada pelo aplicativo.
O Unsloth Desktop permite baixar modelos, conversar com eles e oferecer uma API local para outros programas. Nesse fluxo, o aplicativo encaminha as requisições ao Lemonade, camada que coordena o serviço dos modelos e o hardware; o Lemonade aciona o FastFlowLM, runtime otimizado para executar inferência nas NPUs da AMD.
API local conecta ferramentas de IA
A AMD afirma que mais de 100 aplicações e fluxos de trabalho de IA agêntica podem se conectar à integração. A API local do Unsloth Desktop segue um formato compatível com o padrão da OpenAI, permitindo que ferramentas que já aceitam esse padrão usem o modelo servido no computador sem integração direta com a NPU.
Entre os exemplos citados estão Hermes Agent, OpenClaw, Open WebUI, Cline e LangChain. A lista também inclui o GitHub Copilot, mas essa compatibilidade se refere à conexão de determinados fluxos ao endpoint local; não significa que todos os serviços de telemetria e predição do Copilot passem a funcionar offline ou exclusivamente na NPU.
Eficiência em tarefas prolongadas é o foco
A AMD destaca a eficiência energética em inferências persistentes, como as feitas por um agente de código que trabalha por horas em segundo plano. Manter esse processamento na NPU pode reduzir o consumo de energia e o calor no notebook, sobretudo quando ele está fora da tomada; uma GPU de alta potência, porém, pode ser significativamente mais rápida.
O anúncio não apresenta benchmarks que comparem a velocidade de geração de tokens da NPU com a de uma placa de vídeo dedicada. Assim, o benefício descrito está relacionado à eficiência em cargas contínuas, não a uma promessa de desempenho superior em velocidade para todos os modelos e operações.
Compatibilidade depende da arquitetura
O recurso exige uma NPU com arquitetura XDNA 2; o selo Ryzen AI, sozinho, não garante compatibilidade. A lista inclui Ryzen AI Max 300 Series, Ryzen AI 300 Series e Ryzen AI 400 Series, além de processadores para dispositivos portáteis como o Ryzen Z2 Extreme.
As linhas Ryzen AI 7000, 8000 e 200 usam XDNA 1 e não são compatíveis com o backend de NPU do FastFlowLM. Esses equipamentos ainda podem executar modelos pelo Unsloth Desktop, mas o processamento fica a cargo da CPU ou da GPU, conforme a configuração disponível.
Linux requer componentes específicos
No Linux, o acesso à NPU depende do driver amdxdna, do firmware da NPU na versão 1.1.0.0 ou superior e do compilador AMD IRON, que prepara as operações para o acelerador. O driver tem caminho upstream a partir do kernel Linux 7.0, além de opções por DKMS e backports para determinados kernels da série 6.x.
A demonstração da AMD mostrou a ativação do recurso pela interface gráfica no Windows, enquanto o Unsloth Desktop também oferece compilações para Linux em pacotes .deb e AppImage. A configuração nesse sistema pode exigir ajustes manuais nos limites de memória travada, conhecidos como memlock, para o runtime da NPU.
Modelos grandes ainda exigem muita RAM
Usar a NPU não elimina a memória necessária para armazenar os pesos do modelo, os buffers e o KV cache, que mantém o contexto da conversa. No exemplo da AMD, o Qwen3.6 35B A3B, um modelo de mistura de especialistas que ativa apenas parte dos parâmetros a cada token, requer cerca de 28 GB disponíveis para a NPU com contexto completo.
O exemplo com 64 GB de RAM considera o limite padrão do Windows, que reserva 50% da memória do sistema para alocação compartilhada. A gestão de memória no Linux é diferente, mas modelos grandes continuam exigindo bastante RAM; a necessidade depende do modelo e do contexto utilizado.
Inferência local não significa fluxo totalmente offline
O suporte anunciado cobre a inferência de modelos prontos, não o treinamento nem o ajuste de pesos na NPU. Além disso, embora o processamento do prompt e da resposta do modelo possa ocorrer no notebook, agentes podem acessar a internet, clonar repositórios ou chamar APIs externas, dependendo das ferramentas habilitadas no fluxo de trabalho.
Confira mais em: https://guiadeti.com.br/noticias/amd-xdna-2-unsloth-desktop-inferencia-local-ia/
Top comments (0)