DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Melhores LLM pequenas para executar localmente: um guia abrangente

Escolha um modelo pequeno para as suas tarefas reais

Comece por um modelo que aceite os seus dados de entrada. Experimente Qwen3 4B como pequeno modelo de referência para texto, Gemma 3 4B se também precisar de entrada de imagem, ou Phi-4-mini como segundo modelo de referência para texto em tarefas matemáticas ou estruturadas. São candidatos a testar no seu computador. A qualidade relativa depende dos seus prompts, da língua e dos critérios de aceitação.

Estime a memória que pode utilizar

Quatro mil milhões de parâmetros com exatamente quatro bits cada exigiriam cerca de 2 GB para armazenar apenas os pesos em bruto. Os ficheiros podem ser maiores e os modelos carregados também precisam de espaço para os buffers de execução e a cache de chave-valor. Reserve memória para o sistema operativo e para outras tarefas executadas em simultâneo com a inferência. Um contexto maior precisa de mais memória, mesmo quando os pesos transferidos não mudam. Documentação do Ollama sobre o comprimento do contexto

Para uma comparação reproduzível, experimente primeiro os mesmos prompts com um contexto curto, por exemplo, de 2 048 tokens, e depois com o contexto de que as suas tarefas realmente precisam. Registe a latência e qualquer utilização de memória em disco (swapping) ou transferência de trabalho para a CPU. O facto de um modelo caber na memória com a primeira definição não prova que caiba com a segunda.

Faça uma primeira comparação com o Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Execute os comandos dos modelos um de cada vez e termine a conversa anterior antes de iniciar a seguinte. Utilize ollama ps enquanto um modelo estiver carregado para verificar o contexto atribuído e a distribuição entre CPU e GPU. Mantenha as mesmas definições de contexto e de prompt ao comparar memória e tempo de execução. Teste a entrada de imagem em separado nos modelos que efetivamente a suportam.

Mantenha o modelo mais pequeno que passa nos testes

Prepare um pequeno conjunto fixo de prompts representativos e resultados esperados. Alguns exemplos são resumir uma passagem curta com os factos exigidos e produzir JSON que valide segundo o esquema utilizado. Meça o tempo até ao primeiro token e a velocidade de geração no mesmo computador. Registe as saídas com falhas e o pico de memória, em vez de os diluir nas médias. Guarde a tag exata do modelo, a quantização quando estiver disponível e a definição de contexto para poder reproduzir o resultado.

Esta edição linguística foi preparada com um agente de IA. As referências técnicas foram verificadas durante a edição.

Top comments (0)