프롬프트는 매번 사람이 손으로 만지고, 모델이 바뀌면 다시 처음부터 튜닝합니다. 한 마케팅 챗봇 프롬프트가 1주일에 3시간씩 들어가는 자리가 흔합니다. DSPy·OPRO 같은 프레임은 같은 작업을 자동화합니다 — 골든셋과 메트릭만 주면 도구가 가장 좋은 프롬프트를 검색·진화시켜 찾아옵니다. 사람이 안 만지는 프롬프트 시대가 어떻게 가능한지 정리합니다.
1. 사람이 프롬프트를 만지는 자리의 한계
마케팅에서 LLM 프롬프트가 들어가는 자리는 매주 늘어납니다.
- 광고 카피 생성
- 상품 설명 변형
- FAQ 챗봇 응답
- 마케팅 리포트 자동 요약
- 이메일 subject 변형
각 자리에 사람이 프롬프트를 직접 만집니다. 운영의 한계는 다음입니다.
- 모델이 바뀌면 다시 처음부터 — GPT-4 → Claude 3.5 → Gemini 2.0. 같은 프롬프트가 다른 결과
- 매개변수가 너무 많음 — temperature·top_p·system message·few-shot 예시 개수
- "좋은 프롬프트"의 평가가 주관적 — 사람마다 다른 결론
- 대규모 자동화 어려움 — 100개 자리에 다 손으로 튜닝 못 함
자동 최적화 도구가 답하는 한 줄짜리 질문은 다음입니다.
골든셋과 메트릭이 있을 때, 가장 좋은 프롬프트를 도구가 자동으로 찾을 수 있는가.
DSPy(Stanford NLP, 2023)와 OPRO(Google DeepMind, 2023)가 이 답을 가장 명확히 줍니다.
사람은 골든셋과 메트릭을 정의한다. 도구는 후보 프롬프트를 만들고·평가하고·진화시켜 최선을 찾는다. 사람의 시간은 골든셋·메트릭 설계에만 들어간다.
📌 이 글에서 다루는 것
이 글은 두 가지 표준 도구 — DSPy(Stanford)·OPRO(Google) — 의 직관과 운영 적용을 정리합니다. 도구 자체보다 "마케터가 어떻게 골든셋·메트릭을 설계해야 자동 최적화가 잘 듣는가"의 운영 패턴에 집중합니다.
2. DSPy의 직관 — 프롬프트를 코드처럼 다룬다
DSPy(Demonstrate-Search-Predict)의 핵심 아이디어는 프롬프트를 직접 만지는 게 아니라 "입력·출력·메트릭"의 명세만 정의하면 도구가 프롬프트 자동 생성한다는 것.
전통적 패턴:
"광고 카피를 5개 만들어주세요. 톤은 친근하고, 길이는 30자 이내, ..." (사람이 길게 씀)
DSPy 패턴:
python
Top comments (0)