# 금융 LLM 벤치마크 평가 기준 이 프로젝트는 동일한 원문을 번역한 결과의 품질과 추정 번역비용을 비교합니다. 품질 기준을 통과했다고 해서 사람의 검토 없이 금융 업무에 사용할 수 있다는 의미는 아닙니다. ## 번역 품질 지표 기본 화면은 `integrated-2026-09-17` 통합 결과입니다. 기존 지시로 평가한 27개 모델과 명시적 지시로 재평가한 Grok 2개 모델의 최신 결과를 모았습니다. 모델별 점수·비용·생성 설정·번역 샘플은 해당 원본 리포트에서 그대로 가져오며, 서로 다른 지시의 관측값을 합쳐 재채점하거나 비용을 재계산하지 않습니다. 전체 보기는 동일 조건의 종합 순위가 아니며, 가성비 프론티어와 추천은 평가 조건별 그룹을 선택했을 때 표시합니다. 그룹 내에서도 리전·reasoning· 서빙 설정의 차이는 모델 상세에서 확인해야 합니다. 원본 리포트의 SHA-256과 프롬프트·평가 기준 해시는 통합 JSON의 `source_reports`에 기록합니다. 기존 실행에는 전체 데이터 해시가 없으므로 동일 입력 검증은 게시된 210개 샘플의 원문·참조 일치 확인으로 한정됩니다. 새로운 실행이나 합산 채점 비용을 만들어 표시하지 않으며, 원본 실행은 선택 메뉴에 보존합니다. 재생성 명령은 `uv run python -m bench.integrated_report`입니다. | 지표 | 정의 | | --- | --- | | 합격률 | 실제 참여한 두 평가 모델이 모두 다섯 축에 4점 이상을 준 문서의 비율 | | 고위험 오류 의심률 | 어느 한 평가 모델이라도 수치·개체·날짜 축에 2점 이하를 준 문서의 비율 | | 하위 품질 P10 | 유효한 종합 점수 분포의 10번째 백분위수 | | 평가 모델 불일치율 | 두 평가 모델의 종합 점수 차이가 1점 이상인 문서의 비율 | | 합격 번역당 비용 | 동일한 전체 평가 집합의 추정 번역비용을 합격 건수로 나눈 값 | | 기준 모델 대비 승·무·패율 | Amazon Translate와 공통으로 유효하게 채점된 문서에서 종합 점수를 비교한 비율 | 합격·오류 의심·평가 불일치는 두 평가 모델의 개별 점수가 모두 있는 문서에서만 계산합니다. 평가 모델의 평균으로 먼저 합치면 한쪽이 지적한 오류가 가려질 수 있으므로 개별 점수를 사용합니다. 대체 평가 모델이 참여한 경우 실제 사용된 모델의 점수를 사용합니다. 번역 실패, 채점 실패, 채점 대기, 개별 평가 점수 부족은 별도로 구분합니다. 비율의 분모와 평가 완료 범위를 함께 읽어야 합니다. 미채점 문서는 합격이나 품질 불합격으로 간주하지 않습니다. 고위험 오류 의심률은 **LLM 평가자의 신호**입니다. 실제 숫자 오류의 확정 비율이 아니며, 고유명사의 음역·표현 차이처럼 사람이 확인해야 할 사례도 포함할 수 있습니다. 두 평가 모델이 일치해도 정답이라는 보장은 없습니다. ## 비용과 비교 범위 비용은 결과에 기록된 번역 사용량과 모델 단가로 계산한 추정치입니다. 벤치마크를 위한 평가 모델 비용, 사람의 검수 비용, 자가 호스팅의 전체 운영비는 포함하지 않으므로 실제 청구액과는 다릅니다. 합격 번역당 비용은 **모델 전체 평가 집합**에서만 계산합니다. 금융 문서 트랙의 합격 건수로 전체 번역비용을 나누지 않습니다. 품질 평가가 불완전하거나 합격이 0건이면 값을 제공하지 않습니다. 처리량과 GPU 기반 비용은 모델 전체의 연속된 측정 구간이 있어야 계산할 수 있습니다. 서로 다른 시점의 부분 결과를 합친 경우에는 이 값을 제공하지 않고, 토큰·문자 단가로 계산하는 비용과 품질 지표를 비교합니다. 기존 29개 모델 비교의 Grok 4.6은 9월 13일과 16일의 관측값을 포함하므로 처리량 비교에서 제외합니다. 명시적 번역 지시를 사용한 두 모델 비교에서도 Grok 4.6은 응답 대기 조건이 일관되지 않아 처리량 비교에서 제외합니다. 품질과 토큰 사용량 기준 비용은 비교할 수 있습니다. 기준 모델 비교는 같은 문서 ID끼리 짝지어 계산합니다. 점수 차이의 신뢰구간은 원문 문서 단위로 묶어 재표집합니다. 같은 FLORES 문장이 여러 언어 방향에 반복되거나 같은 한국어 금융 문서가 여러 언어로 번역되어도 각각 독립된 원문 문서라고 가정하지 않습니다. 승률은 채점 점수 비교이며 별도 선호도 A/B 실험은 아닙니다. FLORES는 일반 문장의 사람 번역 참조를 사용합니다. 합성 금융 문서에는 후보 모델이 생성한 참조를 평가자에게 보여주지 않으며, 해당 참조에 대한 chrF도 계산하지 않습니다. 두 트랙은 분리해서 해석합니다. ## 명시적 번역 지시를 사용한 Grok 비교 Grok 4.3과 Grok 4.6에 동일한 3,300건을 제공합니다. 일반 문장 3,000건과 합성 금융 문서 300건이며, 한국어와 15개 언어 사이의 30개 번역 방향을 포함합니다. 각 모델의 번역과 두 평가자의 채점은 이 비교에서 새로 수집합니다. 번역 지시는 다음을 명시합니다. - 수치·금액·날짜의 의미와 값, 고유명사의 동일성을 보존합니다. - 대상 언어에 자연스러운 숫자·날짜·통화 표기를 사용하며 환전하지 않습니다. - 표의 구조와 제목·목록·줄바꿈을 유지하면서, 표 머리글과 셀을 포함한 모든 텍스트를 대상 언어로 번역합니다. - 금융 문서에 자연스러운 용어를 사용하고 번역문만 출력합니다. 두 모델 모두 Bedrock Mantle `us-west-2`, 추론 노력 `low`, 온도 0, 출력 상한 4,096토큰을 사용합니다. 초기 배치는 모델별 동시성 8로 같은 평가 시간대에 병행합니다. 이후 응답 수집 방식과 대기 조건이 달라진 Grok 4.6은 처리량 비교에서 제외합니다. 지연시간은 완료된 요청의 관측값입니다. 평가 모델과 다섯 축의 채점 기준은 동일하게 유지합니다. Grok 4.6과 4.3의 점수 차이는 같은 문서끼리 짝지어 계산하며, 신뢰구간은 원문 문서 단위로 묶어 재표집합니다. 평가 시점·지시·추론 설정이 다른 기존 29개 모델 결과와 동일 조건의 순위로 합치지 않습니다. 적용한 Standard In-Region 입력/출력 100만 토큰당 단가는 Grok 4.3 $1.25/$2.50, Grok 4.6 $2.20/$6.60입니다. - [Grok 4.3 AWS 모델 카드](https://docs.aws.amazon.com/bedrock/latest/userguide/model-card-xai-grok-4-3.html) - [Grok 4.6 AWS 모델 카드](https://docs.aws.amazon.com/bedrock/latest/userguide/model-card-xai-grok-4-6.html) ## 번역 다음에 추가할 평가 항목 아래 항목은 후속 실험 제안입니다. 이번 번역 재평가에서는 실행하지 않습니다. | 우선순위 | 항목 | 과제 예시 | 주요 지표 | | --- | --- | --- | --- | | 1 | 재무 숫자·표 추출 | 매출, 영업이익, 기간, 통화를 지정 JSON으로 추출 | 필드 정확도, 단위·부호 오류율, JSON 스키마 통과율 | | 2 | 근거 기반 질의응답 | 사업보고서를 읽고 증감률 계산 및 근거 위치 제시 | 답 정확도, 계산 정확도, 인용 근거 정확도, 답 없는 질문의 보류율 | | 3 | 요약의 사실성 | 실적·주요 위험·전년 대비 변화를 정해진 분량으로 요약 | 근거 없는 주장 비율, 핵심 사실 포함률, 수치 보존율 | | 4 | 지시·형식 준수 | 필수 항목, 글자 수, 언어, JSON 키 제약을 동시에 준수 | 모든 제약을 충족한 응답 비율, 제약별 실패율 | 첫 확장으로는 숫자·표 추출이 적합합니다. 정답 필드와 단위를 사람이 확인한 데이터를 고정하면 LLM 평가자의 취향에 덜 의존하는 검증을 구성할 수 있습니다. 근거 기반 질의응답은 우선 모든 모델에 같은 문서 발췌를 제공해 생성 품질을 비교하고, 검색 성능은 이후 별도로 평가하는 구성을 권장합니다. 각 시나리오는 자체 데이터, 프롬프트, 평가 기준을 사용합니다. 번역·추출·요약 점수를 임의의 가중치로 합쳐 하나의 모델 순위로 만들지 않습니다.