Vælg en lille model til din faktiske arbejdsbelastning
Start med en model, der understøtter dit input. Prøv Qwen3 4B som en lille referencemodel til tekst, Gemma 3 4B, hvis du også har brug for billedinput, eller Phi-4-mini som en anden referencemodel til matematiske eller strukturerede tekstopgaver. Det er kandidater, du kan teste på din egen maskine. Deres indbyrdes kvalitet afhænger af dine prompts, dit sprog og dine acceptkriterier.
Estimér den hukommelse, du kan bruge
Fire milliarder parametre med præcis fire bit hver ville kræve omkring 2 GB til lagring af de rå vægte. Filerne kan være større, og indlæste modeller har også brug for plads til runtimebuffere og key-value-cachen. Reserver hukommelse til styresystemet og andre opgaver, der kører samtidig med inferensen. En større kontekst kræver mere hukommelse, selv når de downloadede vægte er uændrede. Ollamas dokumentation om kontekstlængde
For at kunne gentage sammenligningen skal du prøve de samme prompts først med en kort kontekst, for eksempel 2048 tokens, og derefter med den kontekst, som din arbejdsbelastning faktisk kræver. Registrér latenstid sammen med eventuel swapping eller offloading til CPU. At en model passer i hukommelsen med den første indstilling, viser ikke, at den også gør det med den anden.
Lav en første sammenligning med Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Kør modelkommandoerne én ad gangen, og afslut den forrige chat, før du starter den næste. Brug ollama ps, mens en model er indlæst, til at se dens tildelte kontekst og fordelingen mellem CPU og GPU. Brug de samme indstillinger for kontekst og prompts, når du sammenligner hukommelse og køretid. Test billedinput separat på modeller, der faktisk understøtter det.
Behold den mindste model, der består
Forbered et lille, fast sæt af repræsentative prompts og forventede resultater. Eksempler er at opsummere et kort tekststykke med bestemte fakta og producere JSON, der validerer mod det skema, du bruger. Mål tiden til første token og outputhastigheden på den samme maskine. Registrér fejlslagne output og maksimal hukommelse i stedet for at skjule dem i gennemsnit. Gem det præcise modeltag, kvantiseringen, når den er tilgængelig, og kontekstindstillingen, så resultatet kan reproduceres.
Denne udgave er udarbejdet med en AI-agent, og de tekniske referencer blev kontrolleret under redigeringen.
Top comments (0)