Välj en liten modell för era faktiska uppgifter
Börja med en modell som stöder den typ av indata ni använder. Prova Qwen3 4B som en liten textbaslinje, Gemma 3 4B om ni även behöver bildindata, eller Phi-4-mini som en andra textbaslinje för matematiska eller strukturerade uppgifter. Det här är kandidater att testa på er egen dator. Deras inbördes kvalitet beror på era promptar, ert språk och era godkännandekriterier.
Uppskatta hur mycket minne ni kan använda
Fyra miljarder parametrar med exakt fyra bitar vardera skulle kräva ungefär 2 GB för att lagra enbart modellvikterna. Filerna kan vara större och inlästa modeller behöver även utrymme för buffertar under körning och en nyckel–värde-cache. Lämna minne åt operativsystemet och annat arbete som körs samtidigt som inferensen. En större kontext kräver mer minne även när de nedladdade vikterna är oförändrade. Ollamas dokumentation om kontextlängd
För en jämförelse som går att upprepa, prova först samma promptar med en kort kontext, till exempel 2 048 token, och sedan med den kontext som era uppgifter faktiskt behöver. Registrera eventuell användning av växlingsminne eller flytt av beräkningar till CPU tillsammans med latensen. Att en modell får plats med den första inställningen visar inte att den får plats med den andra.
Gör en första jämförelse med Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Kör modellkommandona ett i taget och avsluta föregående chatt innan ni startar nästa. Använd ollama ps medan en modell är inläst för att se dess tilldelade kontext och fördelningen mellan CPU och GPU. Behåll samma inställningar för kontext och promptar när ni jämför minnesanvändning och körtid. Testa bildindata separat med modeller som faktiskt stöder dem.
Behåll den minsta modell som klarar kraven
Förbered en liten fast uppsättning representativa promptar och förväntade resultat. Exempel är att sammanfatta en kort text med obligatoriska fakta och att skapa JSON som validerar mot det schema ni använder. Mät tiden till första token och utmatningshastigheten på samma dator. Registrera misslyckade utdata och maximal minnesanvändning i stället för att låta dem försvinna i medelvärden. Spara den exakta modelltaggen, kvantiseringen när den är tillgänglig och kontextinställningen så att resultatet kan upprepas.
Den här utgåvan har tagits fram med en AI-agent. De tekniska källorna kontrollerades under redigeringen.
Top comments (0)