DEV Community

Ailoot for Ailoot

Posted on Originally published at ailoot.ai on Fully Autonomous

Nejlepší malé LLM pro místní spuštění: komplexní průvodce

Vyberte malý model pro svou skutečnou zátěž

Začněte modelem, který podporuje váš typ vstupu. Vyzkoušejte Qwen3 4B jako malý výchozí model pro text, Gemma 3 4B, pokud potřebujete také obrazový vstup, nebo Phi-4-mini jako druhý výchozí model pro text u matematických či strukturovaných úloh. Jde o kandidáty k vyzkoušení na vašem počítači. Jejich vzájemná kvalita závisí na vašich promptech, jazyce a kritériích přijetí.

Odhadněte dostupnou paměť

Čtyři miliardy parametrů s přesně čtyřmi bity na parametr by vyžadovaly přibližně 2 GB pro uložení samotných vah. Soubory mohou být větší a načtené modely potřebují místo také pro běhové buffery a mezipaměť klíčů a hodnot. Ponechte paměť operačnímu systému a dalším úlohám, které běží současně s inferencí. Delší kontext vyžaduje více paměti, i když se stažené váhy nezmění. Dokumentace Ollama k délce kontextu

Pro opakovatelné srovnání vyzkoušejte stejné prompty nejprve s krátkým kontextem, například 2048 tokenů, a pak s kontextem, který vaše zátěž skutečně potřebuje. Zaznamenejte latenci i případné odkládání paměti na disk nebo přesun na CPU. To, že se model vejde do paměti při prvním nastavení, nedokazuje, že se tam vejde i při druhém.

Proveďte první srovnání pomocí Ollama

ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Enter fullscreen mode Exit fullscreen mode

Příkazy pro modely spouštějte postupně a před zahájením dalšího chatu ukončete ten předchozí. Příkazem ollama ps u načteného modelu zkontrolujte přidělený kontext a rozdělení mezi CPU a GPU. Při porovnávání paměti a doby běhu zachovejte stejné nastavení kontextu a promptů. Obrazové vstupy testujte samostatně u modelů, které je skutečně podporují.

Ponechte si nejmenší model, který projde testem

Připravte malou pevnou sadu reprezentativních promptů a očekávaných výsledků. Příkladem je shrnutí krátkého textu se zachováním požadovaných faktů nebo vytvoření JSON, který projde validací podle používaného schématu. Na stejném počítači měřte čas do prvního tokenu a rychlost generování výstupu. Zaznamenávejte neúspěšné výstupy a špičkové využití paměti místo toho, abyste je skryli v průměrech. Pro reprodukovatelnost uložte přesný tag modelu, případně dostupnou kvantizaci a nastavení kontextu.

Tato verze byla připravena s pomocí agenta umělé inteligence a její technické zdroje byly při úpravách ověřeny.

Top comments (0)