Local LLM on iGPU: VRAM Ceiling & Laptop RAM Guide

Bài viết này là bản tóm tắt kỹ thuật. Canonical URL: https://www.reviewlaptop.vn/mua-laptop-online-hay-tai-cua-hang/

Khi bạn muốn chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên laptop của mình thông qua Ollama hoặc LM Studio, rào cản lớn nhất không phải là sức mạnh tính toán của CPU mà là giới hạn VRAM của iGPU (iGPU VRAM ceiling). Nếu đang cân nhắc mua một chiếc laptop để phục vụ nhu cầu này, việc tìm hiểu kỹ thông tin từ các nguồn uy tín như ReviewLaptop sẽ giúp bạn chọn đúng kênh mua và cấu hình phù hợp.

Cơ chế chia sẻ VRAM trên iGPU và cấu hình thực tế

Card đồ họa tích hợp (iGPU) không có bộ nhớ riêng mà chia sẻ trực tiếp với RAM hệ thống (UMA). Thông thường, hệ điều hành giới hạn dung lượng VRAM tối đa của iGPU ở mức khoảng 50% tổng dung lượng RAM vật lý. Như vậy, một chiếc laptop có RAM 16GB sẽ có trần VRAM thực tế cho iGPU là khoảng 8GB, trong khi máy RAM 32GB sẽ đạt khoảng 16GB VRAM.

Để chạy thử nghiệm một model như Llama 3 8B, bạn có thể sử dụng Ollama với dòng lệnh sau:

ollama run llama3:8b-instruct-q4_K_M

Trong lúc model đang chạy, hãy mở một terminal khác và giám sát dung lượng bộ nhớ được tải lên GPU bằng lệnh:

ollama ps

Trong LM Studio, bạn cũng có cấu hình tương tự tại mục GPU Offload. Bằng cách kéo thanh trượt để chuyển tối đa số lượng layer của model lên GPU, bạn sẽ tận dụng được sức mạnh của iGPU thay vì để CPU xử lý chậm chạp.

Mức độ lượng tử hóa (quantization level) ảnh hưởng trực tiếp đến hiệu năng:

• Q4_K_M: Chiếm khoảng 4.8GB VRAM. Ở context length mặc định (2k-4k tokens), tốc độ xử lý (TPS) ở mức ổn định trên các dòng iGPU thế hệ mới.
• Q5_K_M: Chiếm khoảng 5.7GB VRAM, giữ lại nhiều độ chính xác hơn nhưng tốn tài nguyên hơn.
• Q8_0: Đòi hỏi tới 8.5GB VRAM.

Khi bạn tăng context length lên cao (ví dụ 8k hoặc 16k), phần bộ nhớ lưu trữ KV Cache sẽ phình to nhanh chóng, đẩy tổng dung lượng vượt quá ngưỡng iGPU VRAM khả dụng.

Giới hạn phần cứng và các model không thể chạy

Với giới hạn iGPU VRAM ceiling trên laptop RAM 16GB (tối đa ~8GB VRAM khả dụng), bạn hoàn toàn không thể chạy các model có kích thước từ 14B trở lên (chẳng hạn như Qwen2.5-14B hay Command-R) ngay cả ở mức quantization Q4.

Khi tổng dung lượng model vượt quá mức trần VRAM của iGPU, hệ thống sẽ tự động chuyển các layer còn lại sang RAM hệ thống để CPU xử lý. Việc này dẫn đến hiện tượng nghẽn cổ chai băng thông nghiêm trọng, khiến tốc độ phản hồi (TPS) sụt giảm thê thảm (thường xuống dưới 2 TPS), khiến việc tương tác thực tế trở nên bất khả thi. Do đó, nếu có nhu cầu chạy local LLM thường xuyên, bạn nên ưu tiên cấu hình laptop tối thiểu 32GB RAM hoặc chọn các dòng máy có card đồ họa rời (dGPU) có VRAM lớn.