DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Najlepšie malé LLM na lokálne spustenie: Komplexný sprievodca

Vyberte malý model pre svoju skutočnú úlohu

Začnite modelom, ktorý podporuje váš typ vstupu. Vyskúšajte Qwen3 4B ako malý textový východiskový model, Gemma 3 4B, ak potrebujete aj obrazový vstup, alebo Phi-4-mini ako druhý textový východiskový model pre matematické alebo štruktúrované úlohy. Ide o kandidátov na otestovanie na vašom počítači. Ich vzájomná kvalita závisí od vašich promptov, jazyka a kritérií prijatia.

Odhadnite, koľko pamäte môžete použiť

Štyri miliardy parametrov s presne štyrmi bitmi na parameter by na uloženie samotných váh potrebovali približne 2 GB. Súbory môžu byť väčšie a načítané modely potrebujú miesto aj na pracovné buffery a key-value cache. Ponechajte pamäť pre operačný systém a ďalšie činnosti prebiehajúce súčasne s inferenciou. Väčší kontext vyžaduje viac pamäte aj vtedy, keď sa stiahnuté váhy nemenia. Dokumentácia Ollama k dĺžke kontextu

Na opakovateľné porovnanie najprv skúste rovnaké prompty s krátkym kontextom, napríklad 2 048 tokenov, a potom s kontextom, ktorý vaša úloha skutočne potrebuje. Spolu s latenciou zaznamenajte aj prípadné swapovanie alebo presun časti výpočtu na CPU. To, že sa model zmestí pri prvom nastavení, nedokazuje, že sa zmestí aj pri druhom.

Spustite prvé porovnanie pomocou Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Príkazy pre modely spúšťajte po jednom a pred spustením ďalšieho ukončite predchádzajúci chat. Kým je model načítaný, použite ollama ps na zobrazenie prideleného kontextu a rozdelenia medzi CPU a GPU. Pri porovnávaní pamäte a času behu zachovajte rovnaké nastavenia kontextu a promptov. Obrazové vstupy testujte samostatne na modeloch, ktoré ich naozaj podporujú.

Ponechajte najmenší model, ktorý vyhovie

Pripravte malú pevnú sadu reprezentatívnych promptov a očakávaných výsledkov. Príkladom je zhrnutie krátkeho textu s požadovanými faktmi alebo vytvorenie JSON-u, ktorý prejde validáciou podľa používanej schémy. Na tom istom počítači merajte čas do prvého tokenu a rýchlosť generovania. Zaznamenávajte neúspešné výstupy a maximálnu spotrebu pamäte namiesto toho, aby sa stratili v priemeroch. Uložte presný tag modelu, kvantizáciu, ak je dostupná, a nastavenie kontextu, aby sa výsledok dal zopakovať.

Toto vydanie vzniklo s pomocou agenta umelej inteligencie. Technické zdroje boli počas úprav overené.

Top comments (0)