iGPU VRAM Ceiling: Chạy LLM Local trên Laptop CPU U, P, H

Chạy các mô hình ngôn ngữ lớn (LLM) cục bộ thông qua Ollama hoặc LM Studio đang trở thành xu hướng. Tuy nhiên, hiệu năng và khả năng tải mô hình phụ thuộc rất lớn vào việc bạn đang sử dụng dòng CPU nào. Để hiểu rõ hơn về sự khác biệt về điện năng và tản nhiệt giữa các dòng chip này, bạn có thể tham khảo bài viết phân tích chi tiết tại ReviewLaptop.

iGPU VRAM Ceiling và Giới Hạn Mô Hình

Không giống như PC chạy card rời (dGPU) có VRAM độc lập, các dòng laptop mỏng nhẹ sử dụng CPU dòng U (9-15W) hoặc dòng P (28W) phải chia sẻ RAM hệ thống làm VRAM cho GPU tích hợp (iGPU).

Thông thường, Windows và Linux giới hạn mức VRAM chia sẻ tối đa (VRAM ceiling) là 50% dung lượng RAM vật lý. Điều này đồng nghĩa:

• Laptop 16GB RAM chỉ có tối đa 8GB VRAM cho iGPU.
• Laptop 32GB RAM chỉ có tối đa 16GB VRAM cho iGPU.

Khi cấu hình chạy local LLM với Ollama hoặc LM Studio, bạn cần chọn mức Quantization (Q4_K_M, Q5_K_M) và Context Length (ví dụ: 2048 hoặc 4096 tokens) sao cho tổng dung lượng mô hình nằm dưới ngưỡng VRAM này.

Ví dụ chạy Llama 3 8B bản Q4:

# Tải và chạy mô hình Llama 3 8B bản Q4_K_M (nặng khoảng 4.7 GB)
ollama run llama3:8b-instruct-q4_K_M

Để theo dõi lượng VRAM thực tế đang được sử dụng bởi Ollama:

ollama ps

Trong LM Studio, tại phần Hardware Settings, hãy điều chỉnh thanh trượt GPU Offload để đẩy tối đa số layer của mô hình lên iGPU, nhưng phải đảm bảo lượng VRAM yêu cầu không vượt quá 50% RAM hệ thống.

Sự Khác Biệt Giữa CPU U, P và H Khi Chạy LLM

Hiệu năng sinh từ (Tokens Per Second - TPS) khi chạy inference chịu ảnh hưởng lớn từ hậu tố CPU:

• Dòng U (9-15W): Máy chạy rất mát, cực kỳ tiết kiệm pin nhưng do giới hạn công suất tỏa nhiệt (TDP) thấp, tốc độ xử lý TPS ở mức cơ bản.
• Dòng P (28W): Cải thiện hiệu năng đa nhân nhưng dễ bị quá nhiệt và tụt xung (thermal throttling) trong các thân máy mỏng nhẹ thiếu không gian tản nhiệt.
• Dòng H (45W): Duy trì TPS tối ưu nhờ hệ thống tản nhiệt lớn hơn và TDP cao, tuy nhiên máy sẽ rất nóng, quạt rú to và pin sụt cực nhanh (thường chỉ trụ được 2-4 giờ tải nặng).

Giới hạn thực tế: Các mô hình lớn từ 14B trở lên (như Qwen2.5-14B bản Q8 hoặc Llama3-70B) hoàn toàn không thể chạy mượt mà trên các dòng laptop 16GB RAM. Việc cố chạy sẽ khiến mô hình tràn VRAM ceiling, hệ thống phải sử dụng RAM thường hoặc bộ nhớ ảo (swap space), khiến tốc độ drop nghiêm trọng xuống dưới 1 TPS hoặc gây treo máy.