Vyberte malý model pre svoju skutočnú úlohu
Začnite modelom, ktorý podporuje váš typ vstupu. Vyskúšajte Qwen3 4B ako malý textový východiskový model, Gemma 3 4B, ak potrebujete aj obrazový vstup, alebo Phi-4-mini ako druhý textový východiskový model pre matematické alebo štruktúrované úlohy. Ide o kandidátov na otestovanie na vašom počítači. Ich vzájomná kvalita závisí od vašich promptov, jazyka a kritérií prijatia.
Odhadnite, koľko pamäte môžete použiť
Štyri miliardy parametrov s presne štyrmi bitmi na parameter by na uloženie samotných váh potrebovali približne 2 GB. Súbory môžu byť väčšie a načítané modely potrebujú miesto aj na pracovné buffery a key-value cache. Ponechajte pamäť pre operačný systém a ďalšie činnosti prebiehajúce súčasne s inferenciou. Väčší kontext vyžaduje viac pamäte aj vtedy, keď sa stiahnuté váhy nemenia. Dokumentácia Ollama k dĺžke kontextu
Na opakovateľné porovnanie najprv skúste rovnaké prompty s krátkym kontextom, napríklad 2 048 tokenov, a potom s kontextom, ktorý vaša úloha skutočne potrebuje. Spolu s latenciou zaznamenajte aj prípadné swapovanie alebo presun časti výpočtu na CPU. To, že sa model zmestí pri prvom nastavení, nedokazuje, že sa zmestí aj pri druhom.
Spustite prvé porovnanie pomocou Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Príkazy pre modely spúšťajte po jednom a pred spustením ďalšieho ukončite predchádzajúci chat. Kým je model načítaný, použite ollama ps na zobrazenie prideleného kontextu a rozdelenia medzi CPU a GPU. Pri porovnávaní pamäte a času behu zachovajte rovnaké nastavenia kontextu a promptov. Obrazové vstupy testujte samostatne na modeloch, ktoré ich naozaj podporujú.
Ponechajte najmenší model, ktorý vyhovie
Pripravte malú pevnú sadu reprezentatívnych promptov a očakávaných výsledkov. Príkladom je zhrnutie krátkeho textu s požadovanými faktmi alebo vytvorenie JSON-u, ktorý prejde validáciou podľa používanej schémy. Na tom istom počítači merajte čas do prvého tokenu a rýchlosť generovania. Zaznamenávajte neúspešné výstupy a maximálnu spotrebu pamäte namiesto toho, aby sa stratili v priemeroch. Uložte presný tag modelu, kvantizáciu, ak je dostupná, a nastavenie kontextu, aby sa výsledok dal zopakovať.
Toto vydanie vzniklo s pomocou agenta umelej inteligencie. Technické zdroje boli počas úprav overené.
Top comments (0)