로컬 LLM 셋업 가이드 (v10)

1. 개요 및 사전 준비

로컬 LLM은 클라우드 API에 의존하지 않고 로컬 머신에서 실행할 수 있는 대형 언어 모델입니다. 이 가이드는 Linux 기반 시스템에서 LLM을 효율적으로 실행하기 위한 실용적인 방법을 제공합니다.

사전 요구사항:

• Linux 시스템 (Ubuntu 20.04 이상 권장)
• CPU: 최소 8코어 이상
• RAM: 최소 16GB (32GB 이상 권장)
• GPU: NVIDIA RTX 30xx 이상 (선택사항이지만 권장)
• 저장소: 최소 50GB 여유 공간

성능 요약:

• 8GB RAM + RTX 3060: 최대 3B 모델 실행 가능
• 16GB RAM + RTX 3070: 최대 7B 모델 실행 가능
• 32GB RAM + RTX 3080: 최대 13B 모델 실행 가능

2. 프레임워크 비교

프레임워크	특징	장점	단점
llama.cpp	C++ 기반, 최소 의존성	가볍고 빠름, 다양한 모델 호환	복잡한 설정 필요
Ollama	Docker 기반, 쉬운 설치	간단한 CLI, 모델 관리 용이	메모리 사용량이 높음
vLLM	Python 기반, 고성능	빠른 추론 속도, 효율적인 메모리 사용	복잡한 설정 필요
LocalAI	Go 기반, REST API	웹 API 제공, 다양한 프론트엔드 호환	최신 버전 지원 제한

추천: llama.cpp 사용 (가장 안정적이고 성능 우수)

3. 설치 단계

3.1 llama.cpp 설치

# 소스 코드 다운로드
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 빌드
make clean
make

# 필요 시 CUDA 지원 빌드
make clean
make CUDA=1

3.2 모델 다운로드

# 모델 디렉토리 생성
mkdir -p models
cd models

# 예시: Mistral 7B 모델 다운로드
wget https://huggingface.co/TheBloke/Mistral-7B-v0.1-GGUF/resolve/main/mistral-7b-v0.1.Q4_K_M.gguf

# 또는 직접 HuggingFace에서 다운로드
huggingface-cli download TheBloke/Mistral-7B-v0.1-GGUF --include "mistral-7b-v0.1.Q4_K_M.gguf"

3.3 실행 테스트

# 기본 실행
./llama.cpp -m models/mistral-7b-v0.1.Q4_K_M.gguf -p "Hello world"

# 고급 옵션
./llama.cpp -m models/mistral-7b-v0.1.Q4_K_M.gguf \
  -n 256 \
  -c 2048 \
  -t 8 \
  --temp 0.7 \
  -p "You are a helpful AI assistant."

4. 모델 선택 가이드

모델	용량	추론 속도	추천 사용 사례
Llama-2-7B	4GB	빠름	일반적인 챗봇
Mistral-7B	4GB	빠름	코드 생성
Mixtral-8x7B	15GB	중간	복잡한 작업
Llama-3-8B	4GB	빠름	최신 기능

성능 벤치마크:

# 추론 성능 테스트
time ./llama.cpp -m models/mistral-7b-v0.1.Q4_K_M.gguf -p "The quick brown fox jumps over the lazy dog." -n 100

5. 양자화 유형 설명

유형	설명	성능	용량
Q4_K_M	4-bit, 최적화된 Kahan summation	높음	4.0GB
Q5_K_M	5-bit, 최적화된 Kahan summation	매우 높음	5.0GB
Q6_K	6-bit, 최적화된 Kahan summation	보통	6.0GB
Q8_0	8-bit, 정밀도 유지	낮음	8.0GB

예시 양자화 명령:

# GGUF 양자화
python convert.py models/llama-2-7b.gguf --outtype q4_K_M --outfile mistral-7b.q4_K_M.gguf

6. API 설정 및 통합

6.1 REST API 서버 실행

# llama.cpp에서 API 서버 실행
./llama.cpp -m models/mistral-7b-v0.1.Q4_K_M.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  --api-key your_secret_key

6.2 API 통신 예시

# Python API 클라이언트
import requests

API_URL = "http://localhost:8080/completion"
headers = {"Authorization": "Bearer your_secret_key"}

data = {
    "prompt": "Write a Python function to calculate Fibonacci numbers",
    "n_predict": 100,
    "temperature": 0.7
}

response = requests.post(API_URL, headers=headers, json=data)
print(response.json())

6.3 기존 도구 통합

# curl을 통한 API 호출
curl -X POST http://localhost:8080/completion \
  -H "Authorization: Bearer your_secret_key" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "Explain quantum computing in simple terms",
    "n_predict": 150,
    "temperature": 0.8
  }'

7. Systemd 서비스 설정

7.1 서비스 파일 생성

# 서비스 파일 생성
sudo nano /etc/systemd/system/llm-api.service

[Unit]
Description=LLM API Server
After=network.target

[Service]
Type=simple
User=your_username
WorkingDirectory=/home/your_username/llama.cpp
ExecStart=/home/your_username/llama.cpp/llama.cpp \
  -m /home/your_username/models/mistral-7b-v0.1.Q4_K_M.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  --api-key your_secret_key
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

7.2 서비스 시작

# 서비스 등록 및 시작
sudo systemctl daemon-reload
sudo systemctl enable llm-api.service
sudo systemctl start llm-api.service

# 상태 확인
sudo systemctl status llm-api.service

8. 모니터링 및 성능 최적화

8.1 시스템 모니터링

# CPU 및 메모리 사용량 모니터링
htop

# GPU 사용량 (NVIDIA)
nvidia-smi

# 로그 확인
journalctl -u llm-api.service -f

8.2 성능 최적화 설정

# 최적화된 실행 명령
./llama.cpp -m models/mistral-7b-v0.1.Q4_K_M.gguf \
  -n 256 \
  -c 2048 \
  -t 8 \
  --temp 0.7 \
  --threads 8 \
  --gpu-layers 32 \
  --log-disable

8.3 메모리 최적화

# swap 공간 확보
sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

9. 실용적 사용 사례

9.1 코드 생성 테스트

bash
# Python 코드 생성
./llama.cpp -m models/mistral-7

---

📥 **Get the full guide on Gumroad**: https://gumroad.com/l/auto ($7)