고객에게 전달할 문서의 품질이 중요한가요, 대량 처리 비용이 중요한가요? 실제 측정값으로 후보를 좁히고, 번역 결과물을 직접 비교해 보세요.
GPT·Claude는 별도 계열, 나머지는 개발사 소재 기준입니다. 모델별 측정 시점과 번역 지시가 달라 조건 A·B 안에서 후보를 고릅니다. 작은 점수 차이보다 실제 원문과 결과물을 함께 확인하세요.
모델별 비교 조건 확인
측정 기록과 해석
벤치마크 결과 요약
Interpretation이 런의 관측값과 실행 조건을 바탕으로 정리한 해석입니다. 품질 수치와 비교의 한계를 함께 확인하세요.
조건 A: 기존 번역 지시 · 조건 B: 명시적 번역 지시. 각 조건 안에서 품질·비용을 비교합니다.
어떤 업무에 도입하시나요?
예상 비용은 같은 평균 분량을 처리한다고 가정한 단순 비례값(USD)입니다. 완성 문서 한 부의 견적이 아닙니다. 품질은 선택한 문서 유형, 시간·비용은 전체 번역 실측 기준입니다.
번역 평가는 두 평가자의 5점 척도이며 정확도 %가 아닙니다. 응답 시간은 한 건이 돌아오기까지의 중앙값입니다. 후보는 측정이 완료된 모델에서 고르며 최종 배포 적합성은 자사 문서로 확인하세요.
비용·품질 차트로 자세히 비교
가성비: 비용 대비 품질
Cost / Quality Frontierx축은 세그먼트당 비용(GPU 모델은 실측 처리량 기준 환산) — 모든 모델이 동일한 세그먼트 집합을 번역하므로 출력 토큰 수가 아니라 실제 문서 1건당 비용으로 비교합니다(출력이 긴 모델이 $/1M 토큰 기준으로 저렴해 보이는 왜곡을 피함). y축은 아래에서 고른 트랙의 LLM-judge 종합 점수(1–5)입니다. FLORES의 인간 참조 번역은 judge에 제공하고, 합성 데이터의 LLM 생성 참조는 제공하지 않습니다. 원 크기는 속도(p50 지연시간의 역수) — 클수록 빠릅니다. 금색 실선으로 이어진 점은 가성비 프론티어 — 해당 비용 이하에서 더 높은 품질을 내는 모델이 없는 지점입니다. 축의 가독성을 위해 gpt-5.5는 이 차트에서만 제외했습니다. 전체 비교표·샘플·언어쌍 히트맵·런 히스토리에는 포함되어 있습니다.
저비용 구간 확대
Zoomed — Under위 차트에서 뭉쳐 보이는 저비용 모델들만 다시 그린 확대판입니다 — 세그먼트당 비용이 이하인 모델만 포함합니다.
품질·시간·비용 한눈에 비교
MODEL COMPARISON관측 품질 높은 순입니다. 비용은 측정 당시 단가와 반환된 결과 기준이며 평가자·운영·사람의 검수 비용은 포함하지 않습니다. 활용 방식은 번역 평가4점과 중앙 응답2초를 참고한 검토 가이드입니다. 모델 이름을 누르면 측정 상세를 볼 수 있습니다.
| 모델 | 번역 평가 | 한 건 응답 | 측정 비용(추정) | 10,000건 예상 비용 | 검토할 활용 방식 |
|---|
실제 결과물, 두 모델로 비교하기
Sample Inspector언어쌍별 대표 세그먼트 건을 골라 모델별 실제 번역 결과와 judge 채점을 나란히 비교합니다.
세부 품질 지표와 검증 내역
번역 품질 진단
Quality Diagnostics통과·위험 의심·불일치 비율은 두 judge의 모든 축 원점수가 완비된 세그먼트 기준입니다. 평가 가능 건수와 커버리지를 함께 확인하세요. 위험 의심률은 judge의 의심 신호이며, 검증된 숫자 오류율이 아닙니다. 넓은 표는 좌우로 스크롤하여 모든 지표를 확인할 수 있습니다.
| 모델 | 통과율 ↑ | 위험 의심률 ↓ | 종합 P10 ↑하위 10% · 1–5점 | 최약축 점수 ↑최저 축의 평균 · 1–5점 | Judge 불일치율 ↓ | 평가 가능 / 전체건수 · 커버리지 | 통과 1건당 비용전체 데이터셋 · USD |
|---|
통과·위험 의심·불일치 비율 아래는 해당 건수 / 평가 가능 건수입니다. 두 커버리지의 분모는 번역 성공 건수입니다. 비용은 트랙 선택과 무관하게 전체 데이터셋 추정 번역비 ÷ 전체 통과 건수이며, judge 평가 비용은 제외합니다. 전체 데이터셋의 번역 성공 건 모두에 두 judge의 원점수가 있고 통과가 1건 이상일 때만 제공합니다. 한 모델에 여러 실행의 부분 결과가 섞이면 GPU 기반 비용과 처리량은 제공하지 않습니다.
Amazon Translate 대비 승/무/패·평균차 보기
선택한 트랙에서 amazon-translate와 공통으로 유효한 평가가 있는 세그먼트만 비교합니다.
평균차 = 모델 종합 점수 − 기준 모델 점수. 양수는 모델 우세입니다.
95% 신뢰구간은 원문 문서 단위 부트스트랩으로, 다국어 사본을 독립 문서로 세지 않습니다.
구간이 0을 포함하면 우열을 단정하지 마세요.
| 모델 | 공통 평가 건수 | 승 / 무 / 패공통 평가 대비 비율 | 평균차 (점) | 평균차 95% CI |
|---|
지표 기준·분모 보기
- 평가 가능·커버리지
- 대체 judge를 포함해 실제 두 judge의 5개 축 원점수가 모두 있는 세그먼트만 평가 가능합니다. 원점수 커버리지 = 평가 가능 건수 / 번역 성공 건수. 채점 커버리지 = 유효 종합 채점 건수 / 번역 성공 건수. 표의 전체 건수는 번역 실패를 포함합니다. 번역 실패·채점 실패·채점 대기·원점수 누락은 통과로 세지 않습니다.
- 통과율
- 두 judge 모두 모든 축 ≥ 4점인 건수 / 평가 가능 건수.
- 위험 의심률
- 어느 한 judge라도 숫자·개체·날짜 축 ≤ 2점인 건수 / 평가 가능 건수. 사실 오류의 확정 판정이 아닌 judge 의심 신호입니다.
- 종합 P10
- 유효한 종합 채점이 있는 세그먼트의 점수 하위 10% 경계값. 두 judge의 원점수 완비 여부와 별도로 집계해 낮은 품질 구간을 확인합니다.
- Judge 불일치율
- |두 judge의 종합 점수 차이| ≥ 1점인 건수 / 평가 가능 건수.
- 최약축 점수
- 세그먼트마다 실제 두 judge의 5개 평가축 원점수 중 최저점을 구한 뒤, 평가 가능한 세그먼트 전체에서 평균냅니다. 1–5점이며 높을수록 좋습니다. 예를 들어 두 세그먼트의 최저점이 4점과 2점이면 3점입니다. 평균 종합 점수에 가려지는 약점을 살펴보기 위한 자체 지표로, 검증된 오류율은 아닙니다. 번역 실패·채점 실패·채점 대기·원점수 누락은 제외하므로 커버리지와 함께 읽어주세요.
- 누락값·이전 보고서
- 새 지표가 없거나 계산할 수 없는 값은 —로 표시합니다. 0%와 구분해 읽어주세요.
언어별 적용 범위 확인
언어 커버리지: 주요 언어 vs 기타 언어
Major vs Lower-Resource Languages주요 언어 = EN·JA·ZH·ES·FR·DE·PT·RU·IT (학습 데이터가 풍부한 고자원 언어), 기타 언어 = VI·ID·TH·AR·HI·TR (상대적으로 저자원 언어) — 이 런의 점수로 사후에 정한 기준이 아니라 통상적인 자원량 분류입니다. 전체 평균으로는 격차가 크지 않아 보여도, 모델별로는 격차가 크게 갈립니다 — 전체/주요 언어 점수만 보고 고르면 실제로는 기타 언어에서 크게 떨어지는 모델을 놓칠 수 있습니다.
| 모델 | 주요 언어 | 기타 언어 | 격차(Δ) | 비용/세그먼트 |
|---|
언어 방향별 품질 비교
언어쌍별 품질
Model × Pair모델 × 언어쌍 매트릭스. 셀 색상 진하기는 judge 종합 점수(1–5)를 나타냅니다.
과거 측정 결과
런 히스토리
Judge Score Over Time모델별 judge 종합 점수의 런 간 변화. 모델 라인업이나 프롬프트가 바뀌면 점수가 흔들릴 수 있습니다.