허깅페이스 공인 벤치마크 '추론 검색'(BRIGHT) 1위, 비드래프트 12관왕

#rag #machinelearning #search #ai

요약

허깅페이스 공인 벤치마크에 '추론 검색' BRIGHT 리더보드가 새로 추가됐습니다. 비드래프트의 FINAL-Bench/Darwin-BRIGHT-Retriever가 nDCG@10 0.307로 1위에 올랐습니다. 2위는 전통 키워드 검색 BM25로 0.11입니다. 이로써 비드래프트는 허깅페이스 공인 벤치마크 52개 중 12개에서 1위(12관왕)를 기록했습니다.

벤치마크: https://huggingface.co/datasets/mteb/BRIGHT
1위 등재 모델: https://huggingface.co/FINAL-Bench/Darwin-BRIGHT-Retriever

추론 검색이란?

보통 검색은 질문에 들어간 단어가 그대로 담긴 문서를 찾습니다. BRIGHT의 질문은 정답 문서와 단어가 거의 겹치지 않습니다. 그래서 "이 질문에 답하려면 무엇이 필요한가"를 먼저 생각한 다음에 문서를 찾아야 합니다.

질문	전통 검색	추론 검색
"토할 것 같고 배가 꼬여요."	'토하다', '배'라는 글자만 찾아 엉뚱한 문서를 가져옴	"식중독 증상이구나" 하고 판단한 뒤 '식중독 응급처치'를 찾아옴

얼마나 어려운가?

순위	시스템	nDCG@10
1	FINAL-Bench/Darwin-BRIGHT-Retriever	0.307
2	BM25	0.11

만점은 1.0입니다. 1위인 우리도 0.307, 즉 100점 만점에 약 31점입니다. 그만큼 어려운 시험입니다. 그래도 키워드 검색의 2.8배입니다. 결과는 표준 평가 도구 MTEB로 얻었습니다.

RAG에 왜 중요한가?

RAG(검색 증강 생성)는 언어모델이 답하기 전에 검색이 엉뚱한 문서를 가져오면 실패합니다. 실제 사용자는 해결책의 이름이 아니라 증상, 오류 메시지, 상황을 묻습니다. 질문을 먼저 추론하는 검색이 있어야 이런 질문에 맞는 문서를 찾습니다.

12관왕

비드래프트 FINAL-Bench는 허깅페이스 공인 벤치마크 52개 중 12개에서 1위입니다. AIME 2026·HMMT 2026(100%), GPQA Diamond(94.44), MMLU-Pro(88.12), MMMU-Pro(79.48), LEXam(68.94), ExtractBench(90.29), IFStruct(98.95), MDPBench(83.65), 그리고 BRIGHT(0.307) 등입니다. 허깅페이스 리더보드의 모든 점수와 마찬가지로 게시자 자체 보고 점수입니다.