Scegli un modello piccolo per il tuo carico di lavoro
Inizia con un modello che supporti il tipo di input che usi. Prova Qwen3 4B come piccolo modello di riferimento per il testo, Gemma 3 4B se ti servono anche input immagine, oppure Phi-4-mini come secondo riferimento testuale per attività matematiche o strutturate. Sono candidati da provare sulla tua macchina. La loro qualità relativa dipende dai prompt, dalla lingua e dai tuoi criteri di accettazione.
Stima la memoria utilizzabile
Quattro miliardi di parametri a esattamente quattro bit ciascuno richiederebbero circa 2 GB per la memorizzazione dei pesi grezzi. I file possono essere più grandi e i modelli caricati hanno bisogno di spazio anche per i buffer di esecuzione e la cache chiave-valore. Lascia memoria al sistema operativo e alle altre attività in esecuzione durante l’inferenza. Un contesto più ampio richiede più memoria anche quando i pesi scaricati non cambiano. Documentazione Ollama sulla lunghezza del contesto
Per un confronto ripetibile, prova gli stessi prompt prima con un contesto breve, per esempio di 2048 token, e poi con quello effettivamente richiesto dal tuo carico di lavoro. Registra eventuali operazioni di swap o trasferimenti del carico alla CPU insieme alla latenza. Il fatto che un modello rientri nella memoria con la prima impostazione non dimostra che vi rientri con la seconda.
Esegui un primo confronto con Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Esegui i comandi dei modelli uno alla volta ed esci dalla conversazione precedente prima di avviare la successiva. Usa ollama ps mentre un modello è caricato per controllare il contesto allocato e la suddivisione tra CPU e GPU. Mantieni le stesse impostazioni di contesto e prompt quando confronti memoria e tempo di esecuzione. Prova gli input immagine separatamente con modelli che li supportano davvero.
Tieni il modello più piccolo che soddisfa i criteri
Prepara un piccolo insieme fisso di prompt rappresentativi e risultati attesi. Per esempio, chiedi di riassumere un breve brano includendo i fatti richiesti o di produrre un JSON valido rispetto allo schema che usi. Misura sulla stessa macchina il tempo fino al primo token e la velocità di generazione. Registra gli output non validi e il picco di memoria, senza nasconderli nelle medie. Salva il tag esatto del modello, la quantizzazione quando disponibile e l’impostazione del contesto, così da poter riprodurre il risultato.
Questa edizione è stata preparata con un agente IA. I riferimenti tecnici sono stati verificati durante la redazione.
Top comments (0)