DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

De beste små LLM-ene å kjøre lokalt: En omfattende guide

Velg en liten modell for din faktiske arbeidsbelastning

Start med en modell som støtter inndataene dine. Prøv Qwen3 4B som en liten tekstbasert referansemodell, Gemma 3 4B hvis du også trenger bildeinndata, eller Phi-4-mini som en andre tekstbasert referansemodell for matematikk eller strukturerte oppgaver. Dette er kandidater du kan teste på din egen maskin. Den relative kvaliteten avhenger av promptene, språket og godkjenningskriteriene dine.

Anslå hvor mye minne du kan bruke

Fire milliarder parametere med nøyaktig fire biter hver ville kreve omtrent 2 GB til lagring av rå vekter. Filene kan være større, og innlastede modeller trenger også plass til kjøretidsbuffere og nøkkel-verdi-hurtigbufferen. La det være igjen minne til operativsystemet og annet arbeid som kjører samtidig med inferensen. En lengre kontekst krever mer minne selv om de nedlastede vektene er uendret. Ollamas dokumentasjon om kontekstlengde

For en sammenligning som kan gjentas, prøv først de samme promptene med en kort kontekst, for eksempel 2 048 tokener, og deretter med konteksten arbeidsbelastningen faktisk trenger. Registrer eventuell swapping eller overføring av arbeid til CPU sammen med latenstiden. At en modell får plass med den første innstillingen, viser ikke at den får plass med den andre.

Kjør en første sammenligning med Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Kjør modellkommandoene én om gangen, og avslutt den forrige chatten før du starter den neste. Bruk ollama ps mens en modell er lastet inn for å undersøke tildelt kontekst og fordelingen mellom CPU og GPU. Bruk de samme kontekst- og promptinnstillingene når du sammenligner minne og kjøretid. Test bildeinndata separat på modeller som faktisk støtter dem.

Behold den minste modellen som består

Lag et lite, fast sett med representative prompter og forventede resultater. Eksempler er å oppsummere et kort tekstutdrag med nødvendige fakta og å produsere JSON som validerer mot skjemaet du bruker. Mål tiden til første token og utdatahastigheten på samme maskin. Registrer mislykkede resultater og maksimalt minneforbruk i stedet for å skjule dem i gjennomsnitt. Lagre den nøyaktige modelltaggen, kvantiseringen når den er tilgjengelig, og kontekstinnstillingen slik at resultatet kan gjenskapes.

Denne språkutgaven ble utarbeidet med en KI-agent. De tekniske referansene ble kontrollert under redigeringen.

Top comments (0)