모델별 성능¶
측정일: 2026년 10월 19일 · 49개 모델 · Bedrock 직접 호출. inferplane의 모델 설정에 참고할 수 있는 자료이며, 게이트웨이 오버헤드나 모든 모델의 네이티브 Converse 호환성을 입증하지 않습니다. 기록된 전송 경로는 모델에 따라 Bedrock Runtime 또는 Mantle입니다. inferplane 측정은 게이트웨이·관리자 결과를 참고하세요.
반복 호출과 Claude Code·Codex 호환성에서 모델별 반복 성공률, 실제 코딩 과제와 클라이언트 창 설정을 확인할 수 있습니다.
컨텍스트 용량과 요청 비용¶
각 행은 해당 모델에서 선언 창 크기의 100% 이내로 회수에 성공한 가장 큰 입력입니다. 입력 토큰에는 캐시를 한 번만 포함합니다. 입력의 약 10%·50%·90% 위치에 삽입한 세 값을 모두 회수해야 성공입니다. 출력 순서나 JSON 형식은 엄격히 요구하지 않습니다.
26개 모델이 점유율 95–100%에 도달했습니다. 이보다 낮은 값은 해당 모델의 전체 창 사용을 이 자료로 입증하지 못했다는 뜻입니다. 대시는 조건에 맞는 회수 성공이 관측되지 않았다는 의미이며 컨텍스트를 지원하지 않는다는 뜻이 아닙니다. 창 크기는 측정 당시 목록이며 실시간 카탈로그가 아닙니다.
| 모델 | 선언 창 (tok) | 최대 회수 입력 (tok) | 점유율 | 입력군 | TTFT (s) | 요청 비용 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 1,000,000 | — | — | — | — | — |
| Claude Fable 5 | 1,000,000 | — | — | — | — | — |
| Claude Haiku 4.5 | 200,000 | 197,667 | 98.83% | varied | 4.925 | $0.197847 |
| Claude Haiku 5.5 | 1,000,000 | 989,512 | 98.95% | varied | 46.336 | $0.494836 |
| Claude Mythos 5.1 | 1,000,000 | — | — | — | — | — |
| Claude Mythos 5 | 1,000,000 | — | — | — | — | — |
| Claude Opus 4.5 | 200,000 | 197,677 | 98.84% | varied | 9.334 | $0.989110 |
| Claude Opus 4.6 | 1,000,000 | 989,681 | 98.97% | varied | 49.812 | $4.949105 |
| Claude Opus 4.7 | 1,000,000 | 990,229 | 99.02% | varied | 25.796 | $4.951970 |
| Claude Opus 4.8 | 1,000,000 | 990,876 | 99.09% | varied | 22.645 | $4.955130 |
| Claude Opus 5.5 | 1,000,000 | 750,757 | 75.08% | varied | 37.534 | $3.003708 |
| Claude Opus 5 | 1,000,000 | 990,019 | 99.00% | varied | 38.100 | $4.950845 |
| Claude Sonnet 4.5 | 200,000 | 197,674 | 98.84% | varied | 9.167 | $0.593562 |
| Claude Sonnet 4.6 | 1,000,000 | 989,669 | 98.97% | varied | 34.545 | $2.969397 |
| Claude Sonnet 5.5 | 1,000,000 | 991,079 | 99.11% | varied | 34.553 | $1.982548 |
| Claude Sonnet 5 | 1,000,000 | — | — | — | — | — |
| DeepSeek-R1 | 128,000 | 126,419 | 98.76% | varied | 19.302 | $0.172367 |
| DeepSeek-V3.1 | 128,000 | 126,414 | 98.76% | varied | 15.784 | $0.073372 |
| DeepSeek V3.2 | 164,000 | 162,063 | 98.82% | varied | 31.521 | $0.100536 |
| MiniMax M2.1 | 196,000 | 49,130 | 25.07% | varied | 4.255 | $0.015053 |
| MiniMax M2.5 | 196,000 | 193,663 | 98.81% | varied | 15.011 | $0.058406 |
| MiniMax M2 | 1,000,000 | 2,160 | 0.22% | repeat | 4.556 | $0.001306 |
| Kimi K2.5 | 256,000 | 253,110 | 98.87% | varied | 24.959 | $0.151965 |
| Kimi K2 Thinking | 256,000 | 253,111 | 98.87% | varied | 37.385 | $0.152397 |
| Kimi K3 | 1,000,000 | 989,489 | 98.95% | varied | 99.084 | $2.971317 |
| GPT-5.5 | 1,050,000 | 262,596 | 25.01% | repeat | 5.286 | $1.447776 |
| Daybreak Red: GPT-5.6 Cyber | 1,050,000 | — | — | — | — | — |
| GPT-5.6 Luna | 1,050,000 | 787,301 | 74.98% | varied | 8.761 | $0.393722 |
| GPT-5.6 Sol | 1,050,000 | 787,594 | 75.01% | varied | 18.902 | $7.876746 |
| GPT-5.6 Terra | 1,050,000 | 787,307 | 74.98% | varied | 10.717 | $3.937883 |
| GPT-6.1 Sol | 1,000,000 | 749,797 | 74.98% | varied | 14.339 | $3.749388 |
| GPT-6 Astra | 1,050,000 | 787,308 | 74.98% | varied | 27.883 | $19.684865 |
| GPT-6 Luna | 1,050,000 | 787,293 | 74.98% | varied | 6.198 | $0.196882 |
| GPT-6 Sol | 1,050,000 | 787,303 | 74.98% | varied | 17.544 | $3.936903 |
| Daybreak Blue: GPT-5.6 Sol | 1,050,000 | — | — | — | — | — |
| Qwen3 235B A22B 2507 | 256,000 | 253,128 | 98.88% | varied | 54.312 | $0.055721 |
| Qwen3 32B | 32,000 | 23,782 | 74.32% | varied | 1.798 | $0.003592 |
| Qwen3-Coder-30B-A3B-Instruct | 256,000 | 253,128 | 98.88% | varied | 50.616 | $0.037994 |
| Qwen3 Coder 480B A35B Instruct | 256,000 | 253,126 | 98.88% | varied | 42.758 | $0.113977 |
| Qwen3 Coder Next | 256,000 | 253,122 | 98.88% | varied | 7.399 | $0.126609 |
| Qwen3 Next 80B A3B | 256,000 | 253,118 | 98.87% | varied | 8.641 | $0.035476 |
| Qwen3 VL 235B A22B | 256,000 | 253,136 | 98.88% | varied | 30.493 | $0.134263 |
| Grok 4.3 | 1,000,000 | 749,755 | 74.98% | varied | 42.881 | $0.937784 |
| Grok 4.6 | 500,000 | 494,671 | 98.93% | varied | 106.742 | $0.990818 |
| Grok 4.7 | 524,288 | 518,723 | 98.94% | varied | 67.955 | $1.038262 |
| GLM 4.7 Flash | 203,000 | 50,848 | 25.05% | varied | 3.059 | $0.003575 |
| GLM 4.7 | 203,000 | 65,639 | 32.33% | varied | 8.833 | $0.039480 |
| GLM 5.3 | 1,000,000 | 2,161 | 0.22% | repeat | 1.475 | $0.004201 |
| GLM 5 | 200,000 | 197,696 | 98.85% | varied | 23.627 | $0.197782 |
선택된 각 행은 n=1입니다. varied는 다양한 영단어, repeat는 반복 ASCII 입력을 사용합니다. 모델마다 토크나이저와 과제가 다릅니다. 예를 들어 Qwen3 Coder Next는 253,122 입력 토큰(98.88%)에서 회수에 성공했고, TTFT 7.399초, 비용 추정 $0.126609였습니다. GPT-6.1 Sol에서 조건에 맞는 최대 회수 입력은 749,797토큰(74.98%)이므로 선언 창 전체의 성공을 입증하지 않습니다.
전체 창 비용은 서로 다른 작업량을 비교합니다. 약 100만 토큰 요청과 약 25만 6천 토큰 요청은 같은 작업량이 아닙니다. 기록된 가격, 캐시 수량, 입출력 토큰 수, 선택된 요청 ID는 데이터 다운로드에서 확인할 수 있습니다.
생성: 짧은 입력과 전체 창 부근 입력¶
짧은 생성 과제는 varied 입력, 긴 과제는 본문 크기를 줄이기 위한 반복 입력으로 약 98% 점유율을 목표로 합니다. 최대 출력은 1,024토큰입니다. 해당 모델의 공급자 기본 추론 설정을 유지했습니다. 입력군과 길이가 함께 바뀌므로 비율을 순수한 컨텍스트 길이 효과로 해석하면 안 됩니다.
tok/s는 보고된 과금 출력 토큰 ÷ 요청 전체 E2E 초입니다. prefill·대기 시간과 숨은 추론이 포함될 수 있으므로 일정 구간의 decode 속도나 화면에 보이는 텍스트 처리량이 아닙니다. 실패 과제는 처리량 점수 대신 실패 분류를 표시합니다. ‘호출 없음’은 실패율의 분모에서 제외합니다.
| 모델 | 짧은 TTFT (s) | 짧은 tok/s | 짧은 비용/결과 | 긴 TTFT (s) | 긴 tok/s | 긴 비용/결과 |
|---|---|---|---|---|---|---|
| Claude Fable 5.1 | — | — | 호출 없음 | — | — | 호출 없음 |
| Claude Fable 5 | — | — | 호출 없음 | — | — | 호출 없음 |
| Claude Haiku 4.5 | 1.063 | 110.95 | $0.009327 | 4.455 | 80.96 | $0.200814 |
| Claude Haiku 5.5 | 2.667 | 163.84 | $0.001160 | 48.702 | 20.00 | $0.492348 |
| Claude Mythos 5.1 | — | — | 호출 없음 | — | — | 호출 없음 |
| Claude Mythos 5 | — | — | 호출 없음 | — | — | 호출 없음 |
| Claude Opus 4.5 | 2.759 | 44.64 | $0.046650 | 8.358 | 43.86 | $1.003975 |
| Claude Opus 4.6 | 2.370 | 46.73 | $0.046660 | 89.241 | 11.11 | $4.923980 |
| Claude Opus 4.7 | — | — | 콘텐츠 필터 | 29.495 | 32.45 | $4.923355 |
| Claude Opus 4.8 | — | — | 콘텐츠 필터 | 28.478 | 32.85 | $4.923410 |
| Claude Opus 5.5 | 2.610 | 87.79 | $0.046544 | — | — | 업스트림 오류 |
| Claude Opus 5 | 2.465 | 63.86 | $0.058050 | — | — | 업스트림 오류 |
| Claude Sonnet 4.5 | — | — | 콘텐츠 필터 | 8.063 | 42.81 | $0.602445 |
| Claude Sonnet 4.6 | — | — | 콘텐츠 필터 | 34.609 | 26.41 | $2.954361 |
| Claude Sonnet 5.5 | 2.434 | 115.36 | $0.023242 | 39.319 | 25.28 | $1.969366 |
| Claude Sonnet 5 | — | — | 호출 없음 | — | — | 호출 없음 |
| DeepSeek-R1 | — | — | 출력 한도 | 29.457 | 30.46 | $0.174465 |
| DeepSeek-V3.1 | 6.069 | 22.40 | $0.004162 | 16.645 | 26.63 | $0.074310 |
| DeepSeek V3.2 | 1.011 | 56.12 | $0.004501 | 18.835 | 23.92 | $0.100668 |
| MiniMax M2.1 | 2.499 | 121.80 | $0.002499 | — | — | 출력 한도 |
| MiniMax M2.5 | — | — | 출력 한도 | — | — | 출력 한도 |
| MiniMax M2 | — | — | 출력 한도 | — | — | 컨텍스트 거절 |
| Kimi K2.5 | 0.921 | 74.74 | $0.005602 | 23.958 | 29.27 | $0.153397 |
| Kimi K2 Thinking | — | — | 출력 한도 | — | — | 출력 한도 |
| Kimi K3 | 32.291 | 27.62 | $0.028179 | — | — | 업스트림 오류 |
| GPT-5.5 | 1.573 | 83.96 | $0.056881 | — | — | 컨텍스트 거절 |
| Daybreak Red: GPT-5.6 Cyber | — | — | 호출 없음 | — | — | 호출 없음 |
| GPT-5.6 Luna | 2.559 | 121.92 | $0.002279 | — | — | 컨텍스트 거절 |
| GPT-5.6 Sol | 1.037 | 80.19 | $0.041478 | — | — | 컨텍스트 거절 |
| GPT-5.6 Terra | 0.875 | 106.37 | $0.022784 | — | — | 컨텍스트 거절 |
| GPT-6.1 Sol | 1.535 | 53.57 | $0.020744 | — | — | 컨텍스트 거절 |
| GPT-6 Astra | 1.663 | 45.59 | $0.103708 | — | — | 컨텍스트 거절 |
| GPT-6 Luna | 0.859 | 172.38 | $0.001037 | — | — | 컨텍스트 거절 |
| GPT-6 Sol | 1.227 | 107.17 | $0.020729 | — | — | 컨텍스트 거절 |
| Daybreak Blue: GPT-5.6 Sol | — | — | 호출 없음 | — | — | 호출 없음 |
| Qwen3 235B A22B 2507 | 0.824 | 59.55 | $0.001828 | 51.757 | 12.99 | $0.056030 |
| Qwen3 32B | 0.828 | 112.67 | $0.001247 | 2.363 | 88.68 | $0.005273 |
| Qwen3-Coder-30B-A3B-Instruct | 0.643 | 252.42 | $0.001246 | — | — | 빈 응답 |
| Qwen3 Coder 480B A35B Instruct | 0.743 | 93.52 | $0.003739 | 41.790 | 16.71 | $0.114607 |
| Qwen3 Coder Next | 1.016 | 180.13 | $0.003334 | 6.693 | 85.13 | $0.126524 |
| Qwen3 Next 80B A3B | 1.003 | 79.62 | $0.001819 | 7.539 | 53.19 | $0.036309 |
| Qwen3 VL 235B A22B | 0.872 | 51.07 | $0.004957 | 29.484 | 1.17 | $0.132906 |
| Grok 4.3 | 2.920 | 202.30 | $0.007834 | 72.174 | 13.77 | $1.227128 |
| Grok 4.6 | — | — | 출력 한도 | — | — | 출력 한도 |
| Grok 4.7 | — | — | 출력 한도 | — | — | 중단 |
| GLM 4.7 Flash | 0.997 | 126.10 | $0.000704 | 19.221 | 23.36 | $0.014317 |
| GLM 4.7 | 0.855 | 68.12 | $0.004775 | 51.429 | 9.30 | $0.121454 |
| GLM 5.3 | — | — | 출력 한도 | — | — | 업스트림 오류 |
| GLM 5 | 0.776 | 90.12 | $0.007479 | 25.525 | 0.78 | $0.195793 |
Qwen3 Coder Next의 짧은 입력·긴 입력 성공 요청은 각각 180.13·85.13 tok/s였고, 긴 입력 TTFT는 6.693초였습니다. Haiku 5.5는 163.84·20.00 tok/s, 긴 입력 TTFT는 48.702초였습니다. 처리량과 함께 요청 완료 시간, 입력 크기, 전체 비용을 봐야 하는 이유를 보여주는 관측입니다.
입력 조건별 과제 실패¶
분모는 각 조건에서 실제 실행한 직접 호출 수이며 포함된 모델당 한 번씩 호출했습니다. 호출하지 않은 기록은 제외합니다. 의도적으로 다른 작업 부하를 하나의 운영 게이트웨이 오류율로 합치면 안 됩니다. 실패 중에는 전송 장애가 아니라 공급자 거부나 예상된 용량 한계 검사도 있습니다.
| 과제 | 호출 | 성공 | 과제 실패율 | 실패 분류 |
|---|---|---|---|---|
| 25% varied 회수 | 41 | 38 | 7.3% | 콘텐츠 필터 1; 컨텍스트 거절 1; 업스트림 오류 1 |
| 75% varied 회수 | 42 | 30 | 28.6% | 본문 크기 제한 2; 컨텍스트 거절 3; 빈 응답 1; 출력 한도 3; 회수 오답 1; 업스트림 오류 2 |
| 99% varied 회수 | 42 | 26 | 38.1% | 본문 크기 제한 2; 콘텐츠 필터 1; 컨텍스트 거절 8; 출력 한도 3; 회수 오답 2 |
| 짧은 입력 생성 | 42 | 31 | 26.2% | 콘텐츠 필터 4; 출력 한도 7 |
| 98% 입력 생성 | 42 | 23 | 45.2% | 컨텍스트 거절 9; 빈 응답 1; 중단 1; 출력 한도 4; 업스트림 오류 4 |
| 102% 한계 초과 | 38 | 10 | 73.7% | 컨텍스트 거절 23; 빈 응답 1; 출력 한도 1; 회수 오답 1; 시간 초과 1; 업스트림 오류 1 |
102% 조건에서는 38건을 호출했고 별도 4건은 실행하지 않았습니다. 약식으로 선언된 창 크기를 초과한 요청의 수용은 제한 우회나 무제한 창을 뜻하지 않습니다. K/M 선언, 서버 한계, 토크나이저 기준이 다를 수 있습니다.
HTTP 200만으로 성공을 판정하지 않습니다. 콘텐츠 필터, 빈 응답, 출력 한도, 스트림 미완료, 회수 오답도 과제 실패입니다. 사용량 누락은 무료 호출의 근거가 아닙니다. 리전·접근 실패는 시험 계정과 리전에서의 관측이며 전 세계 모델 가용성을 뜻하지 않습니다.
측정값 해석¶
| 지표 | 정의 |
|---|---|
| 선언 창 크기 | 기록된 모델 카드 숫자. K/M은 1,000/1,000,000으로 변환하며 원문도 JSON에 보존 |
| 점유율 | 관측한 전체 입력 토큰 ÷ 선언 컨텍스트 창. 출력은 분자에 포함하지 않음 |
| TTFT | 첫 사용자 가시 텍스트까지의 시간. 수신하지 못했다면 값 없음 |
| E2E | 응답 스트림이 끝날 때까지의 시간 |
| 요청 비용 | 관측된 캐시 분류와 출력을 포함한 설정 가격 기반 추정 |
| 성공 | 과제 출력 규칙에 맞는 생성 완료, 또는 삽입한 세 값을 모두 포함한 회수 완료 |
목록에는 호출 성공이 없는 모델까지 기록된 목적지 49개가 모두 포함됩니다. JSON에는 실패 분류와 기록 가격을 보존하고 원시 프롬프트·응답은 제외합니다. 가격과 카탈로그는 해당 날짜의 관측이며 모델 ID만으로 가격, 개인정보 보호, 과제 품질을 보장할 수 없습니다.