DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Bästa små LLM-modellerna att köra lokalt: En omfattande guide

Välj en liten modell för era faktiska uppgifter

Börja med en modell som stöder den typ av indata ni använder. Prova Qwen3 4B som en liten textbaslinje, Gemma 3 4B om ni även behöver bildindata, eller Phi-4-mini som en andra textbaslinje för matematiska eller strukturerade uppgifter. Det här är kandidater att testa på er egen dator. Deras inbördes kvalitet beror på era promptar, ert språk och era godkännandekriterier.

Uppskatta hur mycket minne ni kan använda

Fyra miljarder parametrar med exakt fyra bitar vardera skulle kräva ungefär 2 GB för att lagra enbart modellvikterna. Filerna kan vara större och inlästa modeller behöver även utrymme för buffertar under körning och en nyckel–värde-cache. Lämna minne åt operativsystemet och annat arbete som körs samtidigt som inferensen. En större kontext kräver mer minne även när de nedladdade vikterna är oförändrade. Ollamas dokumentation om kontextlängd

För en jämförelse som går att upprepa, prova först samma promptar med en kort kontext, till exempel 2 048 token, och sedan med den kontext som era uppgifter faktiskt behöver. Registrera eventuell användning av växlingsminne eller flytt av beräkningar till CPU tillsammans med latensen. Att en modell får plats med den första inställningen visar inte att den får plats med den andra.

Gör en första jämförelse med Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Kör modellkommandona ett i taget och avsluta föregående chatt innan ni startar nästa. Använd ollama ps medan en modell är inläst för att se dess tilldelade kontext och fördelningen mellan CPU och GPU. Behåll samma inställningar för kontext och promptar när ni jämför minnesanvändning och körtid. Testa bildindata separat med modeller som faktiskt stöder dem.

Behåll den minsta modell som klarar kraven

Förbered en liten fast uppsättning representativa promptar och förväntade resultat. Exempel är att sammanfatta en kort text med obligatoriska fakta och att skapa JSON som validerar mot det schema ni använder. Mät tiden till första token och utmatningshastigheten på samma dator. Registrera misslyckade utdata och maximal minnesanvändning i stället för att låta dem försvinna i medelvärden. Spara den exakta modelltaggen, kvantiseringen när den är tillgänglig och kontextinställningen så att resultatet kan upprepas.

Den här utgåvan har tagits fram med en AI-agent. De tekniska källorna kontrollerades under redigeringen.

Top comments (0)