LLM ADOPTION GUIDE · FINANCIAL QA

재무 문서 질의응답, 어떤 모델이 맞을까요?

표와 본문에서 숫자를 찾아 답하는 업무를 비교했습니다. 답변 정확도, 기다리는 시간, 반복 질의 비용을 함께 보고 실제 답변을 확인하세요.

GPT·Claude는 별도 계열, 나머지는 개발사 소재 기준입니다. 동일 20문항의 도입 후보 검토용 결과이며 한 문항은 5%p입니다. 실제 재무 판단에는 원문과 계산 근거 검토가 필요합니다.

결과를 불러오는 중…

질문 선정·평가 방식 자세히 보기

무엇을 측정하나요?

선택한 실행의 평가 규약을 불러오는 중입니다.

모델에는 본문·표·질문과 공통 출력 규약만 제공합니다. 정답, 정답 계산식, 문항 감사 메모는 입력에서 제외합니다.

FinQA 데이터 출처 · MIT 라이선스 고지

결과를 읽을 때 주의할 점

계산식 실행 불가는 서버 장애와 다릅니다. 숫자 대신 표 참조를 쓰거나, 이항 연산에 인자를 세 개 넣는 등 지원하지 않는 계산식을 모델이 출력한 경우입니다. 요청 실패는 별도로 집계합니다.

다중 모델 비교에서는 JSON 코드블록의 바깥 표시와 문자열 배열로 표현된 계산 단계를 공통 정규화합니다. 숫자·연산·참조를 고치지 않으며, 중첩 연산이나 잘못된 표 참조는 그대로 실행 불가입니다. 원래 형식으로도 정답인 건수와 정규화 건수는 상세 보고서에 함께 기록합니다. 초기 단일 nova-lite 파일럿은 이런 정규화 없이 엄격한 원래 형식으로 채점한 별도 기록입니다.

새 규약은 예를 들어 28.125 percent와 0.28125 ratio를 같은 비율로 환산합니다. 단위를 누락하거나 28.125 ratio처럼 실제 값이 100배 틀리면 자동으로 구제하지 않습니다. 퍼센트포인트 차이와 상대적인 변화율은 구분합니다.

사전 감사는 질문에 필요한 근거·계산을 검토한 것입니다. 문서의 모든 OCR 셀이 완벽하거나 데이터가 모델 학습에 포함되지 않았음을 보장하지 않습니다. 모델별 추론 설정은 기존 값을 유지하며, 제공자 기본값이 생략된 경우 실제 추론량이 같다고 가정하지 않습니다.

공식 학습·검색 설정 또는 공식 test 리더보드 점수와 동일하지 않습니다. 이 선별 표본에서의 결과를 금융 업무 전체의 성능으로 일반화하지 마세요.