iGPU VRAM Ceiling: Giới Hạn Chạy LLM Cục Bộ Trên Laptop

#llama3 #llm #ollama #inference

Khi chạy LLM inference hay Whisper offline trên laptop, rào cản lớn nhất không phải CPU mà chính là VRAM. Giống như phân tích từ bài viết gốc trên ReviewLaptop, kiến trúc Unified Memory khiến iGPU phải chia sẻ RAM hệ thống làm bộ nhớ đồ họa. Trên các dòng laptop văn phòng 16GB RAM, hệ điều hành thường giới hạn VRAM chia sẻ ở mức 50% (khoảng 8GB). Trừ đi RAM cho hệ điều hành và các ứng dụng chạy nền, dung lượng thực tế còn lại cho LLM co hẹp đáng kể, tạo ra một "trần VRAM" (iGPU VRAM ceiling) rất thấp.

Cấu hình chạy Ollama/LM Studio thực tế

Để chạy LLM cục bộ tối ưu trên iGPU, người dùng bắt buộc phải dùng các mô hình đã được lượng tử hóa (quantization). Với Llama 3 8B, cấu hình Q4_K_M (4-bit) hoặc Q5_K_M (5-bit) là lựa chọn khả thi nhất.

Bạn có thể khởi chạy mô hình Llama 3 8B bản Q4 bằng dòng lệnh sau:

ollama run llama3:8b-instruct-q4_K_M

Để giám sát dung lượng VRAM thực tế đang bị chiếm dụng bởi mô hình, hãy mở một terminal khác và chạy:

ollama ps

Trong LM Studio, bạn cần bật Hardware Acceleration và cấu hình GPU Offload (chọn Vulkan cho AMD Radeon hoặc OpenVINO cho Intel Graphics). Nếu dùng CPU Intel Core Ultra 5 225U (12 nhân/14 luồng, NPU 12 TOPS, benchmark Cinebench R23 đạt 1731 đơn / 11843.5 đa theo NotebookCheck), việc tận dụng OpenVINO sẽ giúp đẩy tốc độ xử lý (TPS - Tokens Per Second) lên mức tối đa mà chip hỗ trợ, tránh nghẽn CPU.

Giới hạn kích thước model và ngưỡng OOM

Với iGPU Radeon 860M (Fire Strike 6908, Time Spy 2552) đi kèm 16GB RAM, Llama 3 8B Q4 (yêu cầu khoảng 4.8GB VRAM) hoạt động ổn định ở context length mặc định (2048). Tuy nhiên, nếu bạn nâng context length lên 8192 hoặc chuyển sang chạy bản Q8 (yêu cầu hơn 8.5GB VRAM), hệ thống sẽ lập tức chạm trần bộ nhớ đồ họa chia sẻ, gây lỗi Out of Memory (OOM) hoặc làm giảm TPS xuống mức rất thấp do GPU phải truy xuất bộ nhớ qua RAM thường có băng thông thấp.

Các mô hình lớn từ 13B trở lên hoặc các bản lượng tử hóa chất lượng cao (như Q8 của model 8B) là không thể chạy được trên cấu hình 16GB RAM này. Để chạy ổn định các tác vụ AI offline nặng hơn, người dùng bắt buộc phải nâng cấp lên phiên bản laptop 32GB RAM để nới rộng giới hạn VRAM chia sẻ của iGPU lên mức 16GB.

Canonical URL: https://www.reviewlaptop.vn/whisper-ai-offline-laptop-can-bao-nhieu-vram/