왜 소스 인식 검증이 중요한가
LLM 에이전트가 여러 검색·데이터베이스 도구를 호출해 답변을 만들면, "사실 여부"만 검증하는 기존 방법으로는 충분하지 않다. 답변이 어느 소스에서 온지를 잘못 연결하면, 의료 기록이나 고객 계정처럼 민감한 데이터에서 큰 위험이 된다. Hugging Face 팀이 발표한 ProvenanceGuard는 각 클레임과 그 출처를 매칭해 ‘잘못된 출처’까지 차단한다는 점에서, 특히 데이터 정확도가 비즈니스 성공과 직결되는 서비스에 의미가 크다.
내 프로젝트에 바로 적용할 수 있는가
현재 ProvenanceGuard는 로컬 MiniLM·DeBERTa NLI 모델을 사용해 파이프라인을 구현한다. 1 GB VPS에서도 작은 Transformer 모델 몇 개를 실행할 수 있다면, 기본 흐름을 그대로 따라해볼 수 있다. 구현 단계는 크게 5가지다: (1) 답변을 클레임 단위로 분리, (2) 각 클레임에 가장 관련된 도구 출력 찾기, (3) NLI 모델로 지원 여부 판단, (4) 답변이 명시한 출처와 비교, (5) 차단·수정 결정. 모델을 직접 호스팅하기 부담스럽다면, OpenAI ChatCompletion + function calling 으로 도구 호출 로그를 남기고, Hugging Face Inference API에 MiniLM·DeBERTa NLI를 호출하는 형태로 최소 비용 구현이 가능하다. 즉, "프로토타입" 수준에서는 몇 줄의 파이썬 코드와 무료 tier API만으로도 검증 흐름을 테스트해볼 수 있다.
비용·운영 관점에서의 의견
로컬 모델을 돌리면 메모리 2 GB 정도, CPU 2 core 정도면 충분하다. 1 GB VPS에서는 모델 크기를 50 MB 이하로 줄이거나 quantization을 적용해야 하지만, 검증 정확도가 크게 떨어지지는 않는다. 클라우드 API를 쓰면 호출당 $0.0001 수준이므로 월 100 달러 이하로도 충분히 운영 가능하다. 다만, 검증 단계가 추가되면 응답 지연이 200‑300 ms 정도 늘어나므로, 실시간 서비스가 아니라 배치 검증이나 사용자에게 ‘검증 중’ UI를 제공하는 형태가 현실적이다.
원문: Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents
Top comments (0)