요약(TL;DR): 디시전 AI 공개 리더보드 S1MB에 일본어판(japanese-v1, 27개 벤치)이 추가됐고, Darwin-27B-ZTC-v5가 Borda 84.57로 1위에 올랐다. 2위 퍼플렉시티(80.86)를 3.71점, 4위 Jev 1.13(75.43)을 크게 앞섰다. 같은 모델이 영어판도 1위(90.80, 160개 모델)라 영어·일본어 2관왕이다. 핵심은 일본어 전용 학습을 하지 않았는데도 1위라는 점이다.
무엇이 놀라운가: 일본어를 따로 학습하지 않았다
Darwin ZTC는 영어 판정 엔진으로 학습됐다. 일본어 판정 학습셋을 따로 주지 않았다. 그런데도 일본어판 1위다. 좋은 판정가에게 필요한 능력, 즉 함정 문장 추론, 도덕 판단, 확률 보정이 일본어로 그대로 옮겨 갔다. 판정 능력이 한 언어의 패턴 암기가 아니라 옮겨지는 실력이라는 뜻이다. 여러 언어로 서비스하는 팀에게 바로 쓸모 있는 신호다.
실측 결과
- Borda 84.57 (2위 대비 +3.71), 과제 평균 60.05 (3위 대비 +1.62)
- 27개 벤치 중 10개 1위, 16개 top3
- 상위 3개 경쟁 모델과 일대일 모두 우세: 퍼플렉시티 15승 9패 3무, torchcast 15승 11패 1무, Jev 1.13 15승 10패 2무
대표 승리 벤치마크
- JMMLU(일본 지식 시험) 88.4 공동 최고
- 상식 도덕 판단 88.0 1위
- SOBACO(일본 문화 상식) 72.5 1위
- JaNLI(함정 문장 추론) 83.7
- JSICK 문장 유사도 56.6
- 운영자 생성 수학·형식 논리 3유형 모두 1위
왜 2관왕이 중요한가
응답 채점, 난이도별 라우팅, 위험 출력 차단은 서비스하는 모든 언어에서 매일 일어난다. 언어를 넘어 전이되는 판정 엔진은 다국어 확장 비용을 낮춘다. Darwin ZTC는 출력 토큰 0개, 순전파 한 번으로 판정해 지연과 비용도 낮다.
자주 묻는 질문(FAQ)
일본어 판정 데이터로 추가 학습했나?
아니다. 영어 판정 엔진으로 학습했고, 일본어 1위는 전이 결과다.
어디서 확인하나?
일본어판 https://hotchpotch-s1mb-leaderboard.hf.space/?category=japanese-v1 · 영어판 ?category=english-v1
바로 써볼 수 있나?
Darwin-27B-ZTC-v5는 허깅페이스 트랜스포머스 판정 서비스 기능에서 별도 코드 없이 실행되도록 공개돼 있다.
더 읽기
- 비드래프트 기술 노트: 생성 없이 판정하는 ZTC 구조
- 비드래프트 기술 노트: S1MB 영어판 1위의 의미
Top comments (0)