Vyberte malý model pro svou skutečnou zátěž
Začněte modelem, který podporuje váš typ vstupu. Vyzkoušejte Qwen3 4B jako malý výchozí model pro text, Gemma 3 4B, pokud potřebujete také obrazový vstup, nebo Phi-4-mini jako druhý výchozí model pro text u matematických či strukturovaných úloh. Jde o kandidáty k vyzkoušení na vašem počítači. Jejich vzájemná kvalita závisí na vašich promptech, jazyce a kritériích přijetí.
Odhadněte dostupnou paměť
Čtyři miliardy parametrů s přesně čtyřmi bity na parametr by vyžadovaly přibližně 2 GB pro uložení samotných vah. Soubory mohou být větší a načtené modely potřebují místo také pro běhové buffery a mezipaměť klíčů a hodnot. Ponechte paměť operačnímu systému a dalším úlohám, které běží současně s inferencí. Delší kontext vyžaduje více paměti, i když se stažené váhy nezmění. Dokumentace Ollama k délce kontextu
Pro opakovatelné srovnání vyzkoušejte stejné prompty nejprve s krátkým kontextem, například 2048 tokenů, a pak s kontextem, který vaše zátěž skutečně potřebuje. Zaznamenejte latenci i případné odkládání paměti na disk nebo přesun na CPU. To, že se model vejde do paměti při prvním nastavení, nedokazuje, že se tam vejde i při druhém.
Proveďte první srovnání pomocí Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Příkazy pro modely spouštějte postupně a před zahájením dalšího chatu ukončete ten předchozí. Příkazem ollama ps u načteného modelu zkontrolujte přidělený kontext a rozdělení mezi CPU a GPU. Při porovnávání paměti a doby běhu zachovejte stejné nastavení kontextu a promptů. Obrazové vstupy testujte samostatně u modelů, které je skutečně podporují.
Ponechte si nejmenší model, který projde testem
Připravte malou pevnou sadu reprezentativních promptů a očekávaných výsledků. Příkladem je shrnutí krátkého textu se zachováním požadovaných faktů nebo vytvoření JSON, který projde validací podle používaného schématu. Na stejném počítači měřte čas do prvního tokenu a rychlost generování výstupu. Zaznamenávejte neúspěšné výstupy a špičkové využití paměti místo toho, abyste je skryli v průměrech. Pro reprodukovatelnost uložte přesný tag modelu, případně dostupnou kvantizaci a nastavení kontextu.
Tato verze byla připravena s pomocí agenta umělé inteligence a její technické zdroje byly při úpravách ověřeny.
Top comments (0)