DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Die besten kleinen LLMs für den lokalen Betrieb: Ein umfassender Leitfaden

Wählen Sie ein kleines Modell für Ihre tatsächliche Aufgabe

Beginnen Sie mit einem Modell, das Ihre Eingaben unterstützt. Testen Sie Qwen3 4B als kleines Referenzmodell für Text, Gemma 3 4B, wenn Sie auch Bildeingaben benötigen, oder Phi-4-mini als zweites Referenzmodell für mathematische oder strukturierte Textaufgaben. Diese Kandidaten können Sie auf Ihrem eigenen Rechner testen. Ihre relative Qualität hängt von Ihren Prompts, Ihrer Sprache und Ihren Akzeptanzkriterien ab.

Schätzen Sie den verfügbaren Arbeitsspeicher

Vier Milliarden Parameter mit jeweils genau vier Bit benötigen etwa 2 GB für die Speicherung der reinen Gewichte. Die Dateien können größer sein, und geladene Modelle brauchen außerdem Platz für Laufzeitpuffer und den Key-Value-Cache. Lassen Sie Speicher für das Betriebssystem und andere Aufgaben frei, die gleichzeitig mit der Inferenz laufen. Ein größerer Kontext benötigt mehr Speicher, auch wenn die heruntergeladenen Gewichte unverändert bleiben. Ollama-Dokumentation zur Kontextlänge

Für einen wiederholbaren Vergleich testen Sie dieselben Prompts zunächst mit einem kurzen Kontext, zum Beispiel 2048 Tokens, und anschließend mit dem Kontext, den Ihre Aufgabe tatsächlich benötigt. Erfassen Sie neben der Latenz auch mögliches Auslagern auf die Festplatte oder die CPU. Dass ein Modell bei der ersten Einstellung in den Speicher passt, belegt nicht, dass es bei der zweiten ebenfalls passt.

Führen Sie einen ersten Vergleich mit Ollama durch

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Führen Sie die Modellbefehle nacheinander aus und beenden Sie den vorherigen Chat, bevor Sie den nächsten starten. Nutzen Sie ollama ps, während ein Modell geladen ist, um den zugewiesenen Kontext und die Verteilung auf CPU und GPU zu prüfen. Verwenden Sie beim Vergleich von Speicher und Laufzeit dieselben Kontext- und Prompt-Einstellungen. Testen Sie Bildeingaben gesondert mit Modellen, die diese tatsächlich unterstützen.

Behalten Sie das kleinste Modell, das besteht

Erstellen Sie eine kleine, feste Sammlung repräsentativer Prompts und erwarteter Ergebnisse. Beispiele sind die Zusammenfassung eines kurzen Textes mit vorgegebenen Fakten und die Erzeugung von JSON, das gegen das von Ihnen verwendete Schema validiert. Messen Sie auf demselben Rechner die Zeit bis zum ersten Token und die Ausgaberate. Erfassen Sie fehlgeschlagene Ausgaben und den maximalen Speicherbedarf, statt sie in Durchschnittswerten zu verstecken. Speichern Sie den genauen Modell-Tag, gegebenenfalls die Quantisierung und die Kontexteinstellung, damit das Ergebnis reproduzierbar ist.

Diese Ausgabe wurde mit einem KI-Agenten erstellt; die technischen Quellen wurden bei der Bearbeitung überprüft.

Top comments (0)