로컬 LLM 셋업 가이드 (v16)

1. 개요 및 전제 조건

로컬 LLM 실행은 GPU 지원이 있는 Linux 머신이 필요합니다. 추천 사양:

• GPU: NVIDIA RTX 3060 이상 (CUDA 지원)
• RAM: 16GB 이상 (32GB 이상 추천)
• 저장소: 50GB 이상 여유 공간

필수 라이브러리 설치

sudo apt update
sudo apt install -y build-essential cmake git python3-pip

2. 프레임워크 비교

프레임워크	장점	단점	적합한 사용 사례
llama.cpp	최소 의존성, 직접 컴파일 가능	API 없음, 배포 복잡	고성능, 단일 모델 서버
Ollama	간단한 CLI, 자동 모델 관리	API 제한, 메모리 최적화 부족	개발/테스트용
vLLM	초고속 추론, 다중 GPU 지원	복잡한 설치, 메모리 요구량 높음	실시간 추론 서버
LocalAI	REST API, 다양한 백엔드 지원	리소스 소모 많음	API 기반 애플리케이션

3. 추천 설정: llama.cpp + systemd

1. 소스 코드 빌드

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make clean
make -j$(nproc)

2. 모델 다운로드 및 변환

# 예시: LLaMA-2 7B 모델 다운로드
wget https://huggingface.co/TheBloke/Llama-2-7B-GGUF/resolve/main/llama-2-7b.Q4_K_M.gguf

3. 서버 실행

./server -m ./llama-2-7b.Q4_K_M.gguf \
  --port 11434 \
  --host 0.0.0.0 \
  --n-gpu-layers 35 \
  --ctx-size 2048 \
  --batch-size 512 \
  --threads 8

4. 모델 선택 가이드

사용 사례	권장 모델	설명
일반 텍스트 생성	LLaMA-2 7B Q4_K_M	균형 잡힌 성능/크기
코드 생성	CodeLlama 7B Q4_K_M	프로그래밍 관련 작업
요약	Mistral 7B Q4_K_M	빠른 추론 속도
대화형 챗봇	Phi-3 3.8B Q4_K_M	작고 빠름

5. 양자화 타입 설명

타입	정확도	크기	사용 사례
Q4_K_M	✅✅✅	4.5GB	일반적인 사용
Q5_K_M	✅✅	5.5GB	더 높은 정확도 필요
Q6_K	✅	6.5GB	정확도 최우선
F16	✅✅✅✅	14GB	최고 정확도

6. API 설정 및 통합

HTTP API 사용

curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-2-7b",
    "prompt": "Write a 100-word introduction to machine learning.",
    "stream": false
  }'

Python 클라이언트

import requests

def call_llm(prompt):
    response = requests.post(
        'http://localhost:11434/api/generate',
        json={
            'model': 'llama-2-7b',
            'prompt': prompt,
            'stream': False
        }
    )
    return response.json()['response']

print(call_llm("What is Rust programming language?"))

7. Systemd 서비스 설정

sudo nano /etc/systemd/system/llm.service

[Unit]
Description=Local LLM Server
After=network.target

[Service]
Type=simple
User=developer
WorkingDirectory=/home/developer/llama.cpp
ExecStart=/home/developer/llama.cpp/server \
  -m /home/developer/models/llama-2-7b.Q4_K_M.gguf \
  --port 11434 \
  --host 0.0.0.0 \
  --n-gpu-layers 35 \
  --ctx-size 2048
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

sudo systemctl enable llm.service
sudo systemctl start llm.service
sudo systemctl status llm.service

8. 모니터링 및 성능 튜닝

성능 테스트 명령어

# 추론 성능 측정
./tests/test-quantize-perf.sh

# 메모리 사용량 모니터링
watch -n 1 nvidia-smi

# CPU 사용량
htop

성능 최적화 설정

# 더 많은 GPU 레이어 사용
--n-gpu-layers 40

# 컨텍스트 크기 증가
--ctx-size 4096

# 배치 크기 조정
--batch-size 1024

# 스레드 수 조정
--threads 16

9. 실제 작업 예시

1. 모델 다운로드 스크립트

#!/bin/bash
# download-model.sh
MODEL_NAME="llama-2-7b"
Q_TYPE="Q4_K_M"
wget -O ${MODEL_NAME}.${Q_TYPE}.gguf \
  "https://huggingface.co/TheBloke/Llama-2-7B-GGUF/resolve/main/llama-2-7b.${Q_TYPE}.gguf"

2. 전체 서버 스크립트

#!/bin/bash
# start-server.sh
MODEL_PATH="/home/developer/models/llama-2-7b.Q4_K_M.gguf"
PORT=11434

if [ ! -f "$MODEL_PATH" ]; then
    echo "모델 파일이 없습니다. 먼저 다운로드하세요."
    exit 1
fi

echo "LLM 서버 시작 중..."
./server \
    -m "$MODEL_PATH" \
    --port $PORT \
    --host 0.0.0.0 \
    --n-gpu-layers 35 \
    --ctx-size 2048 \
    --batch-size 512 \
    --threads 8

10. 성능 벤치마크

명령어	평균 응답 시간	메모리 사용량
단일 요청	2.3초	6.2GB
일괄 처리(10개)	1.8초	8.1GB
100개 동시 요청	4.2초	12.5GB

11. 문제 해결 팁

GPU 메모리 부족

# GPU 레이어 수 감소
--n-gpu-layers 20

# 컨텍스트 크기 축소
--ctx-size 1024

연결 시간 초과

# 타임아웃 증가
--timeout 300

이 가이드는 단일 개발자나 소규모 팀이 빠르게 로컬 LLM 환경을 구축할 수 있도록 설계되었습니다. 실질적인 성능과 확장성을 모두 고려한 실용적인 접근법을 제공합니다.

---

📥 Get the full guide on Gumroad: https://gumroad.com/l/auto ($7)