Pilih model kecil untuk beban kerja sebenar anda
Mulakan dengan model yang menyokong input anda. Cuba Qwen3 4B sebagai model asas teks yang kecil, Gemma 3 4B jika anda juga memerlukan input imej, atau Phi-4-mini sebagai model asas teks kedua untuk tugas matematik atau berstruktur. Model-model ini ialah calon untuk diuji pada mesin anda. Kualiti relatifnya bergantung pada prompt, bahasa dan kriteria penerimaan anda.
Anggarkan memori yang boleh anda gunakan
Empat bilion parameter pada tepat empat bit setiap satu memerlukan kira-kira 2 GB untuk menyimpan pemberat mentah sahaja. Fail boleh menjadi lebih besar, dan model yang dimuatkan juga memerlukan ruang untuk penimbal masa jalan dan cache kunci-nilai. Tinggalkan memori untuk sistem operasi dan kerja lain yang berjalan serentak dengan inferens. Konteks yang lebih panjang memerlukan lebih banyak memori walaupun pemberat yang dimuat turun tidak berubah. Dokumentasi panjang konteks Ollama
Untuk perbandingan yang boleh diulang, cuba prompt yang sama terlebih dahulu dengan konteks pendek, contohnya 2,048 token, kemudian dengan konteks yang benar-benar diperlukan oleh beban kerja anda. Rekodkan sebarang swapping atau pemindahan kerja ke CPU bersama kependaman. Model yang muat pada tetapan pertama belum tentu muat pada tetapan kedua.
Jalankan perbandingan pertama dengan Ollama
ollama run qwen3:4b
ollama run gemma3:4b
ollama run phi4-mini
ollama ps
Jalankan arahan model satu demi satu dan keluar daripada sembang sebelumnya sebelum memulakan yang seterusnya. Gunakan ollama ps ketika model dimuatkan untuk memeriksa konteks yang diperuntukkan dan pembahagian CPU/GPU. Kekalkan tetapan konteks dan prompt yang sama apabila membandingkan memori dan masa jalan. Uji input imej secara berasingan pada model yang benar-benar menyokongnya.
Kekalkan model paling kecil yang lulus
Sediakan set tetap yang kecil bagi prompt yang mewakili tugas sebenar dan hasil yang dijangka. Contohnya ialah meringkaskan petikan pendek dengan fakta yang diperlukan dan menghasilkan JSON yang sah menurut skema yang anda gunakan. Ukur masa hingga token pertama dan kadar output pada mesin yang sama. Rekodkan output yang gagal dan penggunaan memori puncak, bukannya menyembunyikannya dalam purata. Simpan tag model yang tepat, pengkuantuman apabila tersedia, dan tetapan konteks supaya hasilnya boleh dihasilkan semula.
Edisi bahasa ini disediakan bersama ejen AI. Rujukan teknikalnya diperiksa semasa penyuntingan.
Top comments (0)