반복 호출과 CLI 호환성¶
2026년 10월 20–21일 측정 · Claude Code 2.1.304 · Codex 0.163.0. 모델별 성능 결과에 반복 관측을 추가했습니다. 결과 JSON은 Bedrock 직접 호출, inferplane을 거친 실제 CLI 과제, 로컬 프로토콜 모의 시험을 구분합니다. 각 표에서 모델 이름으로 검색할 수 있습니다.
입력 점유율 98%는 선언된 컨텍스트 창 대비 보고된 입력 토큰의 비율입니다. 성공률 98%라는 뜻이 아닙니다. 성공/호출은 실제 호출된 시도의 결과이며, 예산 차단이나 전송 미지원으로 호출하지 않은 기록은 제외합니다. 과제 실패율도 이 호출 수를 분모로 계산합니다. HTTP·스트림 오류율은 HTTP 비정상 상태, 오류 이벤트 또는 스트림 미완료의 비율입니다. 과제 실패율에는 회수 오답과 미완료도 포함합니다. HTTP 200이어도 과제는 실패할 수 있습니다. 출력 한도에 닿았더라도 정상 종료된 응답에서 값 3개를 모두 찾았다면 회수 과제는 성공으로 셉니다.
아래 요약은 공개된 관측만 집계합니다. API 행의 단위는 직접 호출이고, CLI 행은 모델 호출 전 거절도 포함한 시도 수와 과제 성공 수를 셉니다. CLI 오류 요청 수의 분모는 재시도를 포함한 게이트웨이 요청 수입니다. 비용 미확인 요청이 있으면 표의 확인된 비용만으로 전체 지출을 계산할 수 없습니다.
| 시험 | 호출 / CLI 시도 | 과제 성공 | 오류 요청 | 확인된 추정 비용 | 비용 미확인 요청 |
|---|---|---|---|---|---|
| 짧은 입력 | 245 | 194 | 20 | $1.113606 | 20 |
| 창 근접 입력 | 90 | 43 | 26 | $61.009357 | 26 |
| CLI 기본 응답 | 270 | 252 | 33/288 요청 | $2.159496 | 33 |
| CLI 코딩 과제 | 90 | 79 | 14/367 요청 | $2.978807 | 14 |
| CLI 긴 입력 | 94 | 33 | 32/85 요청 | $52.846899 | 32 |
짧은 입력 반복 회수¶
각 모델에 동일한 모델별 합성 프롬프트를 5회 보냈습니다. 입력의 약 10%, 50%, 90% 위치에 숨겨 둔 값 3개를 모두 찾아야 합니다. 짧은 입력은 다양한 영어 단어로 만든 2,048단위이며, 출력 한도는 1,024토큰입니다. 단위 수는 토큰 수와 다릅니다. 스트림을 완료하고 값 3개를 모두 회수하면 성공이며, JSON 순서까지 강제하지는 않습니다.
| 모델 | 성공/호출 | HTTP·스트림 오류율 | 과제 실패율 | TTFT p50 (s) | E2E p50 (s) | p50 billed tok/s | 전체 호출 비용 | 실패 분류 |
|---|---|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 0/5 | 0.0% | 100.0% | — | — | — | $0.169450 | 필터 거절 ×5 |
| Claude Fable 5 | 0/5 | 0.0% | 100.0% | — | — | — | $0.000000 | 필터 거절 ×5 |
| Claude Haiku 4.5 | 5/5 | 0.0% | 0.0% | 0.867 | 1.325 | 27.164 | $0.011690 | — |
| Claude Haiku 5.5 | 5/5 | 0.0% | 0.0% | 2.086 | 2.102 | 63.125 | $0.002034 | — |
| Claude Mythos 5.1 | 0/5 | 100.0% | 100.0% | — | — | — | $0.000000 + ? (5) | 접근 불가 ×5 |
| Claude Mythos 5 | 0/5 | 100.0% | 100.0% | — | — | — | $0.000000 + ? (5) | 접근 불가 ×5 |
| Claude Opus 4.5 | 5/5 | 0.0% | 0.0% | 2.864 | 3.199 | 10.314 | $0.058125 | — |
| Claude Opus 4.6 | 5/5 | 0.0% | 0.0% | 2.874 | 4.019 | 8.958 | $0.058450 | — |
| Claude Opus 4.7 | 5/5 | 0.0% | 0.0% | 1.543 | 1.556 | 23.143 | $0.089300 | — |
| Claude Opus 4.8 | 0/5 | 0.0% | 100.0% | — | — | — | $0.084280 | 필터 거절 ×5 |
| Claude Opus 5.5 | 5/5 | 0.0% | 0.0% | 1.672 | 1.679 | 20.135 | $0.068900 | — |
| Claude Opus 5 | 5/5 | 0.0% | 0.0% | 1.958 | 2.172 | 15.655 | $0.086425 | — |
| Claude Sonnet 4.5 | 0/5 | 0.0% | 100.0% | — | — | — | $0.032460 | 필터 거절 ×5 |
| Claude Sonnet 4.6 | 0/5 | 0.0% | 100.0% | — | — | — | $0.032355 | 필터 거절 ×5 |
| Claude Sonnet 5.5 | 5/5 | 0.0% | 0.0% | 1.364 | 1.377 | 21.053 | $0.034750 | — |
| Claude Sonnet 5 | 0/5 | 0.0% | 100.0% | — | — | — | $0.033770 | 필터 거절 ×5 |
| DeepSeek-R1 | 5/5 | 0.0% | 0.0% | 2.431 | 2.531 | 138.691 | $0.025080 | — |
| DeepSeek-V3.1 | 5/5 | 0.0% | 0.0% | 0.582 | 0.582 | 48.124 | $0.006495 | — |
| DeepSeek V3.2 | 5/5 | 0.0% | 0.0% | 0.818 | 1.101 | 30.105 | $0.006970 | — |
| MiniMax M2.1 | 5/5 | 0.0% | 0.0% | 1.498 | 1.661 | 99.877 | $0.004322 | — |
| MiniMax M2.5 | 5/5 | 0.0% | 0.0% | 1.650 | 1.808 | 71.922 | $0.004045 | — |
| MiniMax M2 | 5/5 | 0.0% | 0.0% | 3.333 | 3.417 | 116.077 | $0.006095 | — |
| Kimi K2.5 | 5/5 | 0.0% | 0.0% | 0.797 | 0.842 | 39.199 | $0.006995 | — |
| Kimi K2 Thinking | 4/5 | 0.0% | 20.0% | 3.933 | 4.156 | 75.911 | $0.012743 | 출력 한도 ×1 |
| Kimi K3 | 5/5 | 0.0% | 0.0% | 2.670 | 2.835 | 44.093 | $0.043005 | — |
| GPT-5.5 | 5/5 | 0.0% | 0.0% | 1.215 | 1.242 | 62.088 | $0.043426 | — |
| Daybreak Red: GPT-5.6 Cyber | 0/5 | 100.0% | 100.0% | — | — | — | $0.000000 + ? (5) | 접근 불가 ×5 |
| GPT-5.6 Luna | 5/5 | 0.0% | 0.0% | 0.676 | 0.769 | 56.348 | $0.000955 | — |
| GPT-5.6 Sol | 5/5 | 0.0% | 0.0% | 0.752 | 0.887 | 32.683 | $0.017083 | — |
| GPT-5.6 Terra | 5/5 | 0.0% | 0.0% | 0.672 | 0.781 | 37.153 | $0.008834 | — |
| GPT-6.1 Sol | 5/5 | 0.0% | 0.0% | 1.141 | 1.415 | 21.910 | $0.007786 | — |
| GPT-6 Astra | 5/5 | 0.0% | 0.0% | 1.115 | 1.397 | 22.192 | $0.043242 | — |
| GPT-6 Luna | 5/5 | 0.0% | 0.0% | 0.603 | 0.691 | 68.715 | $0.000469 | — |
| GPT-6 Sol | 5/5 | 0.0% | 0.0% | 0.757 | 0.863 | 32.446 | $0.008487 | — |
| Daybreak Blue: GPT-5.6 Sol | 0/5 | 100.0% | 100.0% | — | — | — | $0.000000 + ? (5) | 접근 불가 ×5 |
| Qwen3 235B A22B 2507 | 5/5 | 0.0% | 0.0% | 0.838 | 1.278 | 32.077 | $0.002550 | — |
| Qwen3 32B | 5/5 | 0.0% | 0.0% | 0.660 | 0.685 | 71.503 | $0.001765 | — |
| Qwen3-Coder-30B-A3B-Instruct | 5/5 | 0.0% | 0.0% | 0.553 | 0.553 | 75.915 | $0.001745 | — |
| Qwen3 Coder 480B A35B Instruct | 5/5 | 0.0% | 0.0% | 0.665 | 0.854 | 46.839 | $0.005210 | — |
| Qwen3 Coder Next | 5/5 | 0.0% | 0.0% | 0.975 | 0.975 | 38.955 | $0.005610 | — |
| Qwen3 Next 80B A3B | 5/5 | 0.0% | 0.0% | 0.765 | 1.002 | 38.939 | $0.001740 | — |
| Qwen3 VL 235B A22B | 5/5 | 0.0% | 0.0% | 0.703 | 1.014 | 36.480 | $0.006190 | — |
| Grok 4.3 | 5/5 | 0.0% | 0.0% | 1.516 | 15.554 | 19.159 | $0.014539 | — |
| Grok 4.6 | 5/5 | 0.0% | 0.0% | 3.235 | 3.337 | 91.330 | $0.018704 | — |
| Grok 4.7 | 5/5 | 0.0% | 0.0% | 3.919 | 4.004 | 73.670 | $0.018412 | — |
| GLM 4.7 Flash | 5/5 | 0.0% | 0.0% | 0.630 | 0.630 | 56.258 | $0.000814 | — |
| GLM 4.7 | 5/5 | 0.0% | 0.0% | 0.809 | 1.013 | 31.577 | $0.006796 | — |
| GLM 5.3 | 5/5 | 0.0% | 0.0% | 0.748 | 0.841 | 155.029 | $0.010215 | — |
| GLM 5 | 5/5 | 0.0% | 0.0% | 0.646 | 0.669 | 52.297 | $0.011295 | — |
창을 거의 채운 입력의 반복 호출¶
긴 입력 시험은 반복 ASCII 문자로 선언 창의 98%를 목표로 구성하고 같은 회수 과제를 수행합니다. 가격이 설정된 45개 모델을 2라운드 시험하며, 가격이 없는 4개 모델은 이 시험에서 호출하지 않습니다. 제공자가 사용량을 반환한 경우에만 실제 점유율을 표시합니다. 사용량 없는 거절만으로 정확한 입력 토큰 수나 최대 지원 창을 확정할 수는 없습니다.
| 모델 | 성공/호출 | HTTP·스트림 오류율 | 과제 실패율 | 관측 입력 점유율 | TTFT p50 (s) | E2E p50 (s) | p50 billed tok/s | 전체 호출 비용 | 실패 분류 |
|---|---|---|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 스트림 미완료 ×1, 업스트림 오류 ×1 |
| Claude Fable 5 | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 업스트림 오류 ×2 |
| Claude Haiku 4.5 | 2/2 | 0.0% | 0.0% | 97.95%–97.95% | 8.265 | 8.847 | 4.394 | $0.392180 | — |
| Claude Haiku 5.5 | 2/2 | 0.0% | 0.0% | 98.00%–98.00% | 44.255 | 44.291 | 0.728 | $0.980116 | — |
| Claude Mythos 5.1 | 호출하지 않음 | — | — | — | — | — | — | — | — |
| Claude Mythos 5 | 호출하지 않음 | — | — | — | — | — | — | — | — |
| Claude Opus 4.5 | 2/2 | 0.0% | 0.0% | 97.96%–97.96% | 11.556 | 12.414 | 2.670 | $1.960770 | — |
| Claude Opus 4.6 | 2/2 | 0.0% | 0.0% | 97.99%–97.99% | 50.077 | 50.281 | 0.721 | $9.800900 | — |
| Claude Opus 4.7 | 2/2 | 0.0% | 0.0% | 98.00%–98.00% | 29.987 | 30.256 | 3.485 | $9.804885 | — |
| Claude Opus 4.8 | 2/2 | 0.0% | 0.0% | 98.00%–98.00% | 28.124 | 28.237 | 1.168 | $9.801200 | — |
| Claude Opus 5.5 | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 업스트림 오류 ×2 |
| Claude Opus 5 | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 업스트림 오류 ×2 |
| Claude Sonnet 4.5 | 2/2 | 0.0% | 0.0% | 97.95%–97.95% | 9.658 | 9.990 | 7.876 | $1.177560 | — |
| Claude Sonnet 4.6 | 2/2 | 0.0% | 0.0% | 97.99%–97.99% | 33.987 | 34.234 | 0.876 | $5.880354 | — |
| Claude Sonnet 5.5 | 2/2 | 0.0% | 0.0% | 98.00%–98.00% | 38.559 | 38.577 | 0.752 | $3.920396 | — |
| Claude Sonnet 5 | 0/2 | 0.0% | 100.0% | 98.00%–98.00% | — | — | — | $3.919816 | 필터 거절 ×2 |
| DeepSeek-R1 | 1/2 | 0.0% | 50.0% | 97.92%–97.92% | 15.496 | 15.777 | 18.128 | $0.345497 | 출력 한도 ×1 |
| DeepSeek-V3.1 | 2/2 | 0.0% | 0.0% | 97.92%–97.92% | 14.521 | 14.721 | 2.105 | $0.145504 | — |
| DeepSeek V3.2 | 0/2 | 0.0% | 100.0% | 97.94%–97.94% | — | — | — | $0.202966 | 출력 한도 ×2 |
| MiniMax M2.1 | 0/2 | 0.0% | 100.0% | 97.96%–97.96% | — | — | — | $0.117664 | 출력 한도 ×2 |
| MiniMax M2.5 | 0/2 | 0.0% | 100.0% | 97.96%–97.96% | — | — | — | $0.117662 | 출력 한도 ×2 |
| MiniMax M2 | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| Kimi K2.5 | 2/2 | 0.0% | 0.0% | 97.97%–97.97% | 27.868 | 29.217 | 1.752 | $0.301257 | — |
| Kimi K2 Thinking | 2/2 | 0.0% | 0.0% | 97.97%–97.97% | 38.478 | 38.893 | 9.459 | $0.302800 | — |
| Kimi K3 | 2/2 | 0.0% | 0.0% | 98.00%–98.00% | 40.095 | 40.855 | 4.592 | $3.245840 | — |
| GPT-5.5 | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| Daybreak Red: GPT-5.6 Cyber | 호출하지 않음 | — | — | — | — | — | — | — | — |
| GPT-5.6 Luna | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| GPT-5.6 Sol | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| GPT-5.6 Terra | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| GPT-6.1 Sol | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| GPT-6 Astra | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| GPT-6 Luna | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| GPT-6 Sol | 0/2 | 100.0% | 100.0% | — | — | — | — | $0.000000 + ? (2) | 컨텍스트 한도 ×2 |
| Daybreak Blue: GPT-5.6 Sol | 호출하지 않음 | — | — | — | — | — | — | — | — |
| Qwen3 235B A22B 2507 | 0/2 | 0.0% | 100.0% | 97.96%–97.96% | — | — | — | $0.112148 | 출력 한도 ×2 |
| Qwen3 32B | 2/2 | 0.0% | 0.0% | 97.72%–97.72% | 2.137 | 2.432 | 16.462 | $0.009428 | — |
| Qwen3-Coder-30B-A3B-Instruct | 2/2 | 0.0% | 0.0% | 97.96%–97.96% | 34.445 | 34.446 | 1.379 | $0.075284 | — |
| Qwen3 Coder 480B A35B Instruct | 2/2 | 0.0% | 0.0% | 97.96%–97.96% | 42.538 | 45.565 | 0.880 | $0.225854 | — |
| Qwen3 Coder Next | 2/2 | 0.0% | 0.0% | 97.96%–97.96% | 6.578 | 6.579 | 5.776 | $0.250876 | — |
| Qwen3 Next 80B A3B | 2/2 | 0.0% | 0.0% | 97.96%–97.96% | 7.599 | 7.636 | 4.848 | $0.070308 | — |
| Qwen3 VL 235B A22B | 0/2 | 0.0% | 100.0% | 97.96%–97.96% | — | — | — | $0.266694 | 회수 오답 ×2 |
| Grok 4.3 | 2/2 | 0.0% | 0.0% | 97.99%–97.99% | 68.928 | 69.048 | 3.027 | $2.450847 | — |
| Grok 4.6 | 2/2 | 0.0% | 0.0% | 97.98%–97.98% | 34.696 | 34.819 | 22.060 | $1.227398 | — |
| Grok 4.7 | 2/2 | 0.0% | 0.0% | 97.98%–97.98% | 32.925 | 33.007 | 17.957 | $1.286242 | — |
| GLM 4.7 Flash | 0/2 | 0.0% | 100.0% | 97.95%–97.95% | — | — | — | $0.028656 | 출력 한도 ×2 |
| GLM 4.7 | 0/2 | 0.0% | 100.0% | 97.95%–97.95% | — | — | — | $0.243110 | 출력 한도 ×2 |
| GLM 5.3 | 0/2 | 0.0% | 100.0% | 97.99%–97.99% | — | — | — | $1.953280 | 빈 응답 ×2 |
| GLM 5 | 0/2 | 0.0% | 100.0% | 97.95%–97.95% | — | — | — | $0.391865 | 회수 오답 ×2 |
TTFT와 E2E는 성공한 과제만의 중앙값입니다. 청구 출력 tok/s는 출력 토큰을 요청 전체 시간으로 나눈 값으로, 입력 처리 시간과 비공개 추론 토큰이 포함될 수 있습니다. 지속적인 생성 속도나 실패한 과제의 성능 점수가 아닙니다. 전체 호출 비용에는 사용량이 확인된 실패 호출도 포함하며, + ? (n)은 비용 미확인 호출 n건을 뜻합니다. 설정 단가에 따른 추정치이며, 청구서 금액이 아닙니다. 미확인 비용이 있으면 완전한 총비용도 아닙니다.
각 모델은 라운드 안에서 순차 호출하고, 서로 다른 모델은 최대 3개까지 동시에 실행합니다. 라운드마다 모델 순서를 섞습니다. 동일 프롬프트 반복으로 캐시가 적용될 수 있으며, JSON의 토큰 유형별 수량에서 실제 캐시 읽기·쓰기를 확인할 수 있습니다. 짧은 입력과 긴 입력은 길이와 채움 문자의 종류가 함께 달라지므로 순수한 길이 효과로 해석하면 안 됩니다. 2회나 5회만으로 SLA를 추정할 수 없습니다. 독립 베르누이 시행을 가정해도 5/5 성공의 Wilson 95% 신뢰구간 하한은 약 56.6%이며, 캐시를 공유하는 반복 호출은 독립적이지 않을 수 있습니다. 관측이 5개면 최근접 순위 p95는 최댓값과 같으므로 표에는 중앙값을 사용합니다.
실제 코딩 클라이언트 과제¶
설치된 CLI를 커밋 a24b6dd를 기반으로 빌드한 격리 inferplane 게이트웨이에 연결했습니다. Codex는 상태를 보관하지 않는 Responses 브리지, Claude Code는 Messages 변환 경로를 사용합니다. 각 모델의 네이티브 Responses 전송까지 검증한 결과는 아닙니다. 시험 도중 도구 없는 자동 압축 요청을 허용하는 수정을 적용했으며, 각 실행의 빌드 단계를 기록했습니다. 이 제한적인 수정은 일반 smoke·코딩 요청을 바꾸지 않습니다. API 시험과 시간대가 겹치므로 이 CLI 실행 시간으로 게이트웨이 오버헤드를 비교하지 않습니다.
Smoke 과제는 정해진 표식 응답을 3회 반복합니다. 성공 검사는 표식 포함 여부를 확인하며, 다른 문구가 붙었는지까지 검사하지는 않습니다. 코딩 과제는 격리 파일을 읽고, 덧셈 함수의 뺄셈 오류를 수정하고, Python 단위 테스트를 실행한 다음 파일 고유 표식을 반환해야 합니다. 테스트 파일 내용 유지, 테스트 통과, 도구 호출 관측, 표식 회수, 정상 CLI 종료를 모두 만족해야 성공입니다. 코딩 과제는 셀마다 1회입니다. —는 가격 미설정 등으로 유효한 실제 관측이 없다는 뜻이며, 지원 불가를 뜻하지 않습니다.
| 모델 | Claude smoke | Claude tools | Codex smoke | Codex tools |
|---|---|---|---|---|
| Claude Fable 5.1 | 0/3 | 0/1 | 3/3 | 1/1 |
| Claude Fable 5 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Haiku 4.5 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Haiku 5.5 | 0/3 | 0/1 | 3/3 | 1/1 |
| Claude Mythos 5.1 | — | — | — | — |
| Claude Mythos 5 | — | — | — | — |
| Claude Opus 4.5 | 0/3 | 0/1 | 3/3 | 1/1 |
| Claude Opus 4.6 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Opus 4.7 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Opus 4.8 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Opus 5.5 | 0/3 | 0/1 | 3/3 | 1/1 |
| Claude Opus 5 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Sonnet 4.5 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Sonnet 4.6 | 3/3 | 1/1 | 3/3 | 1/1 |
| Claude Sonnet 5.5 | 0/3 | 0/1 | 3/3 | 1/1 |
| Claude Sonnet 5 | 3/3 | 1/1 | 3/3 | 1/1 |
| DeepSeek-R1 | 3/3 | 0/1 | 0/3 | 0/1 |
| DeepSeek-V3.1 | 3/3 | 0/1 | 3/3 | 1/1 |
| DeepSeek V3.2 | 3/3 | 1/1 | 3/3 | 1/1 |
| MiniMax M2.1 | 3/3 | 1/1 | 3/3 | 1/1 |
| MiniMax M2.5 | 3/3 | 1/1 | 3/3 | 1/1 |
| MiniMax M2 | 3/3 | 1/1 | 3/3 | 1/1 |
| Kimi K2.5 | 3/3 | 1/1 | 3/3 | 1/1 |
| Kimi K2 Thinking | 3/3 | 1/1 | 3/3 | 1/1 |
| Kimi K3 | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-5.5 | 3/3 | 1/1 | 3/3 | 1/1 |
| Daybreak Red: GPT-5.6 Cyber | — | — | — | — |
| GPT-5.6 Luna | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-5.6 Sol | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-5.6 Terra | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-6.1 Sol | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-6 Astra | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-6 Luna | 3/3 | 1/1 | 3/3 | 1/1 |
| GPT-6 Sol | 3/3 | 1/1 | 3/3 | 1/1 |
| Daybreak Blue: GPT-5.6 Sol | — | — | — | — |
| Qwen3 235B A22B 2507 | 3/3 | 1/1 | 3/3 | 1/1 |
| Qwen3 32B | 3/3 | 0/1 | 3/3 | 0/1 |
| Qwen3-Coder-30B-A3B-Instruct | 3/3 | 1/1 | 3/3 | 1/1 |
| Qwen3 Coder 480B A35B Instruct | 3/3 | 1/1 | 3/3 | 1/1 |
| Qwen3 Coder Next | 3/3 | 1/1 | 3/3 | 0/1 |
| Qwen3 Next 80B A3B | 3/3 | 1/1 | 3/3 | 1/1 |
| Qwen3 VL 235B A22B | 3/3 | 1/1 | 3/3 | 1/1 |
| Grok 4.3 | 3/3 | 1/1 | 3/3 | 1/1 |
| Grok 4.6 | 3/3 | 1/1 | 3/3 | 1/1 |
| Grok 4.7 | 3/3 | 1/1 | 3/3 | 1/1 |
| GLM 4.7 Flash | 3/3 | 1/1 | 3/3 | 1/1 |
| GLM 4.7 | 3/3 | 1/1 | 3/3 | 1/1 |
| GLM 5.3 | 3/3 | 1/1 | 3/3 | 1/1 |
| GLM 5 | 3/3 | 1/1 | 3/3 | 1/1 |
두 CLI 모두 격리된 홈을 사용하고 사용자 설정을 상속하지 않습니다. Claude Code의 출력 한도는 1,024토큰이며, smoke 과제에는 도구를 제공하지 않고 코딩 과제에는 Read·Edit·테스트 명령을 허용합니다. Codex는 브리지에 맞춰 추론을 끈 inferplane 런처를 사용합니다. 재시도는 별도 요청 ID와 비용으로 JSON에 남습니다. 실행당 호출 수 제한과 예산 제한으로 후속 시도가 차단될 수 있으며, 이런 중단이 업스트림 비호환성을 입증하지는 않습니다. 기록된 시험 호스트 장애 중 모델 요청이 0건인 시도만 호환성 분모에서 제외하고 비공개 원본 증거로 보존합니다. 호출된 실패는 결과에 남깁니다. 게이트웨이 요청 수에는 진입 단계 거절도 포함하므로 모든 요청이 유료 제공자 호출에 도달했다는 뜻은 아닙니다.
다음 표는 재시도와 실패 과제를 포함한 게이트웨이 요청을 모두 셉니다. Smoke 지연은 성공 실행의 중앙값이며, 코딩 지연은 성공한 단일 실행 값입니다. 비용은 두 과제의 합계이므로 1회 호출 가격과 다릅니다. 가드 거절은 실험 자체의 호출·예산 제한이며 제공자 오류가 아닙니다.
| 모델 | CLI | 요청 수 | Smoke p50 (s) | 코딩 과제 (s) | 전체 호출 비용 | 가드 거절 | 과제 실패 |
|---|---|---|---|---|---|---|---|
| Claude Fable 5.1 | claude | 8 | — | — | $0.000000 + ? (8) | 0 | 업스트림 오류 ×4 |
| Claude Fable 5.1 | codex | 6 | 3.338 | 12.062 | $0.527970 | 0 | — |
| Claude Fable 5 | claude | 11 | 2.583 | 15.490 | $0.079102 + ? (4) | 0 | — |
| Claude Fable 5 | codex | 6 | 2.504 | 9.449 | $0.524790 | 0 | — |
| Claude Haiku 4.5 | claude | 7 | 1.195 | 7.981 | $0.012788 | 0 | — |
| Claude Haiku 4.5 | codex | 9 | 1.724 | 12.259 | $0.064597 | 0 | — |
| Claude Haiku 5.5 | claude | 8 | — | — | $0.000000 + ? (8) | 0 | 업스트림 오류 ×4 |
| Claude Haiku 5.5 | codex | 6 | 2.078 | 7.603 | $0.005442 | 0 | — |
| Claude Opus 4.5 | claude | 4 | — | — | $0.000000 + ? (4) | 0 | 업스트림 오류 ×4 |
| Claude Opus 4.5 | codex | 7 | 3.551 | 12.661 | $0.236240 | 0 | — |
| Claude Opus 4.6 | claude | 7 | 1.847 | 15.951 | $0.060670 | 0 | — |
| Claude Opus 4.6 | codex | 8 | 2.206 | 17.064 | $0.274620 | 0 | — |
| Claude Opus 4.7 | claude | 7 | 2.843 | 14.340 | $0.074375 | 0 | — |
| Claude Opus 4.7 | codex | 6 | 2.871 | 10.596 | $0.274650 | 0 | — |
| Claude Opus 4.8 | claude | 7 | 1.330 | 9.669 | $0.039235 | 0 | — |
| Claude Opus 4.8 | codex | 6 | 1.581 | 13.445 | $0.264440 | 0 | — |
| Claude Opus 5.5 | claude | 8 | — | — | $0.000000 + ? (8) | 0 | 업스트림 오류 ×4 |
| Claude Opus 5.5 | codex | 6 | 1.794 | 11.629 | $0.210404 | 0 | — |
| Claude Opus 5 | claude | 7 | 1.541 | 30.700 | $0.040556 | 0 | — |
| Claude Opus 5 | codex | 6 | 1.710 | 21.154 | $0.264865 | 0 | — |
| Claude Sonnet 4.5 | claude | 7 | 1.904 | 56.489 | $0.022503 | 0 | — |
| Claude Sonnet 4.5 | codex | 7 | 2.206 | 11.242 | $0.147219 | 0 | — |
| Claude Sonnet 4.6 | claude | 7 | 1.195 | 7.205 | $0.022410 | 0 | — |
| Claude Sonnet 4.6 | codex | 6 | 1.408 | 6.757 | $0.125472 | 0 | — |
| Claude Sonnet 5.5 | claude | 8 | — | — | $0.000000 + ? (8) | 0 | 업스트림 오류 ×4 |
| Claude Sonnet 5.5 | codex | 6 | 1.773 | 5.356 | $0.105020 | 0 | — |
| Claude Sonnet 5 | claude | 7 | 2.140 | 9.664 | $0.012521 | 0 | — |
| Claude Sonnet 5 | codex | 6 | 2.100 | 8.136 | $0.106724 | 0 | — |
| DeepSeek-R1 | claude | 4 | 2.736 | — | $0.003812 + ? (1) | 0 | 업스트림 오류 ×1 |
| DeepSeek-R1 | codex | 4 | — | — | $0.000000 + ? (4) | 0 | 업스트림 오류 ×4 |
| DeepSeek-V3.1 | claude | 9 | 3.433 | — | $0.005714 | 0 | 코딩 과제 실패 ×1 |
| DeepSeek-V3.1 | codex | 11 | 2.501 | 8.161 | $0.037390 | 0 | — |
| DeepSeek V3.2 | claude | 10 | 0.857 | 12.858 | $0.009387 | 0 | — |
| DeepSeek V3.2 | codex | 13 | 1.099 | 22.984 | $0.055156 | 0 | — |
| MiniMax M2.1 | claude | 7 | 0.938 | 6.789 | $0.002729 | 0 | — |
| MiniMax M2.1 | codex | 7 | 1.303 | 7.055 | $0.012698 | 0 | — |
| MiniMax M2.5 | claude | 7 | 1.441 | 8.916 | $0.002955 | 0 | — |
| MiniMax M2.5 | codex | 7 | 1.371 | 6.651 | $0.012597 | 0 | — |
| MiniMax M2 | claude | 7 | 1.388 | 9.234 | $0.003265 | 0 | — |
| MiniMax M2 | codex | 7 | 1.458 | 8.633 | $0.013099 | 0 | — |
| Kimi K2.5 | claude | 7 | 1.041 | 10.668 | $0.004097 | 0 | — |
| Kimi K2.5 | codex | 7 | 1.111 | 10.352 | $0.020680 | 0 | — |
| Kimi K2 Thinking | claude | 11 | 1.226 | 11.146 | $0.009076 | 0 | — |
| Kimi K2 Thinking | codex | 7 | 1.399 | 8.001 | $0.023953 | 0 | — |
| Kimi K3 | claude | 7 | 2.330 | 9.159 | $0.031215 | 0 | — |
| Kimi K3 | codex | 6 | 4.061 | 10.116 | $0.081113 | 0 | — |
| GPT-5.5 | claude | 7 | 1.067 | 13.208 | $0.040338 | 0 | — |
| GPT-5.5 | codex | 6 | 1.378 | 7.991 | $0.131447 | 0 | — |
| GPT-5.6 Luna | claude | 7 | 0.759 | 4.102 | $0.001435 | 0 | — |
| GPT-5.6 Luna | codex | 6 | 1.120 | 3.444 | $0.004809 | 0 | — |
| GPT-5.6 Sol | claude | 7 | 0.965 | 5.194 | $0.029923 | 0 | — |
| GPT-5.6 Sol | codex | 6 | 1.079 | 5.103 | $0.097938 | 0 | — |
| GPT-5.6 Terra | claude | 7 | 0.849 | 4.155 | $0.015256 | 0 | — |
| GPT-5.6 Terra | codex | 6 | 1.081 | 4.894 | $0.049038 | 0 | — |
| GPT-6.1 Sol | claude | 8 | 2.405 | 7.738 | $0.015040 | 0 | — |
| GPT-6.1 Sol | codex | 6 | 1.292 | 5.865 | $0.047303 | 0 | — |
| GPT-6 Astra | claude | 9 | 1.111 | 18.614 | $0.096333 | 0 | — |
| GPT-6 Astra | codex | 6 | 1.349 | 5.062 | $0.238154 | 0 | — |
| GPT-6 Luna | claude | 7 | 0.798 | 3.619 | $0.000742 | 0 | — |
| GPT-6 Luna | codex | 6 | 0.857 | 3.054 | $0.002406 | 0 | — |
| GPT-6 Sol | claude | 7 | 0.873 | 4.166 | $0.014447 | 0 | — |
| GPT-6 Sol | codex | 6 | 1.172 | 3.893 | $0.047241 | 0 | — |
| Qwen3 235B A22B 2507 | claude | 7 | 1.005 | 3.935 | $0.001519 | 0 | — |
| Qwen3 235B A22B 2507 | codex | 13 | 1.088 | 17.543 | $0.019039 | 0 | — |
| Qwen3 32B | claude | 10 | 0.699 | — | $0.002364 | 0 | 코딩 과제 실패 ×1 |
| Qwen3 32B | codex | 5 | 1.071 | — | $0.003492 + ? (1) | 0 | 업스트림 오류 ×1 |
| Qwen3-Coder-30B-A3B-Instruct | claude | 9 | 0.601 | 3.980 | $0.002105 | 0 | — |
| Qwen3-Coder-30B-A3B-Instruct | codex | 11 | 0.866 | 6.341 | $0.011398 | 0 | — |
| Qwen3 Coder 480B A35B Instruct | claude | 9 | 0.688 | 6.542 | $0.006274 | 0 | — |
| Qwen3 Coder 480B A35B Instruct | codex | 11 | 1.091 | 7.521 | $0.033902 | 0 | — |
| Qwen3 Coder Next | claude | 7 | 0.982 | 4.403 | $0.004455 | 0 | — |
| Qwen3 Coder Next | codex | 4 | 0.862 | — | $0.009293 + ? (1) | 0 | 업스트림 오류 ×1 |
| Qwen3 Next 80B A3B | claude | 7 | 0.661 | 6.348 | $0.001367 | 0 | — |
| Qwen3 Next 80B A3B | codex | 7 | 0.942 | 4.418 | $0.006056 | 0 | — |
| Qwen3 VL 235B A22B | claude | 7 | 0.853 | 14.071 | $0.004949 | 0 | — |
| Qwen3 VL 235B A22B | codex | 9 | 1.844 | 34.538 | $0.032242 | 0 | — |
| Grok 4.3 | claude | 7 | 9.697 | 37.188 | $0.008588 | 0 | — |
| Grok 4.3 | codex | 9 | 14.156 | 48.700 | $0.057619 | 0 | — |
| Grok 4.6 | claude | 7 | 4.468 | 7.265 | $0.010922 | 0 | — |
| Grok 4.6 | codex | 9 | 3.429 | 5.501 | $0.063178 | 0 | — |
| Grok 4.7 | claude | 7 | 1.457 | 7.526 | $0.015826 | 0 | — |
| Grok 4.7 | codex | 6 | 1.749 | 6.656 | $0.053482 | 0 | — |
| GLM 4.7 Flash | claude | 7 | 0.732 | 3.481 | $0.000596 | 0 | — |
| GLM 4.7 Flash | codex | 7 | 0.962 | 4.164 | $0.002927 | 0 | — |
| GLM 4.7 | claude | 7 | 0.798 | 5.388 | $0.004770 | 0 | — |
| GLM 4.7 | codex | 7 | 1.109 | 5.430 | $0.024750 | 0 | — |
| GLM 5.3 | claude | 7 | 0.854 | 6.239 | $0.008525 | 0 | — |
| GLM 5.3 | codex | 6 | 1.026 | 3.063 | $0.043050 | 0 | — |
| GLM 5 | claude | 7 | 0.948 | 6.523 | $0.007518 | 0 | — |
| GLM 5 | codex | 7 | 1.581 | 5.191 | $0.040698 | 0 | — |
클라이언트가 인식하는 컨텍스트 창¶
아래 294개 로컬 모의 시험은 설치된 CLI를 실제 실행하지만 모델 사용료는 발생하지 않습니다. 정상 모의 응답으로 확인하는 것은 클라이언트 설정과 요청 형식이며, 실제 모델이 해당 크기의 입력을 받는다는 뜻은 아닙니다. 값은 요청 후 CLI가 보고한 창 크기입니다.
| 모델 | 서버 선언 | Claude default | Claude [1m] | Claude MAX env | Codex default | Codex explicit | icodex |
|---|---|---|---|---|---|---|---|
| Claude Fable 5.1 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Fable 5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Haiku 4.5 | 200,000 | 200,000 | 1,000,000 | 200,000 | 258,400 | 190,000 | 160,000 |
| Claude Haiku 5.5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Mythos 5.1 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Mythos 5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Opus 4.5 | 200,000 | 200,000 | 1,000,000 | 200,000 | 258,400 | 190,000 | 160,000 |
| Claude Opus 4.6 | 1,000,000 | 200,000 | 1,000,000 | 200,000 | 258,400 | 258,400 | 800,000 |
| Claude Opus 4.7 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Opus 4.8 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Opus 5.5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Opus 5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Sonnet 4.5 | 200,000 | 200,000 | 1,000,000 | 200,000 | 258,400 | 190,000 | 160,000 |
| Claude Sonnet 4.6 | 1,000,000 | 200,000 | 1,000,000 | 200,000 | 258,400 | 258,400 | 800,000 |
| Claude Sonnet 5.5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Claude Sonnet 5 | 1,000,000 | 1,000,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| DeepSeek-R1 | 128,000 | 200,000 | 1,000,000 | 128,000 | 258,400 | 121,600 | 102,400 |
| DeepSeek-V3.1 | 128,000 | 200,000 | 1,000,000 | 128,000 | 258,400 | 121,600 | 102,400 |
| DeepSeek V3.2 | 164,000 | 200,000 | 1,000,000 | 164,000 | 258,400 | 155,800 | 131,200 |
| MiniMax M2.1 | 196,000 | 200,000 | 1,000,000 | 196,000 | 258,400 | 186,200 | 156,800 |
| MiniMax M2.5 | 196,000 | 200,000 | 1,000,000 | 196,000 | 258,400 | 186,200 | 156,800 |
| MiniMax M2 | 1,000,000 | 200,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Kimi K2.5 | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Kimi K2 Thinking | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Kimi K3 | 1,000,000 | 200,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| GPT-5.5 | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| Daybreak Red: GPT-5.6 Cyber | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| GPT-5.6 Luna | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| GPT-5.6 Sol | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| GPT-5.6 Terra | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| GPT-6.1 Sol | 1,000,000 | 200,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| GPT-6 Astra | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| GPT-6 Luna | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| GPT-6 Sol | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| Daybreak Blue: GPT-5.6 Sol | 1,050,000 | 200,000 | 1,000,000 | 1,050,000 | 258,400 | 258,400 | 840,000 |
| Qwen3 235B A22B 2507 | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Qwen3 32B | 32,000 | 200,000 | 1,000,000 | 32,000 | 258,400 | 30,400 | 25,600 |
| Qwen3-Coder-30B-A3B-Instruct | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Qwen3 Coder 480B A35B Instruct | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Qwen3 Coder Next | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Qwen3 Next 80B A3B | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Qwen3 VL 235B A22B | 256,000 | 200,000 | 1,000,000 | 256,000 | 258,400 | 243,200 | 204,800 |
| Grok 4.3 | 1,000,000 | 200,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| Grok 4.6 | 500,000 | 200,000 | 1,000,000 | 500,000 | 258,400 | 258,400 | 400,000 |
| Grok 4.7 | 524,288 | 200,000 | 1,000,000 | 524,288 | 258,400 | 258,400 | 419,430 |
| GLM 4.7 Flash | 203,000 | 200,000 | 1,000,000 | 203,000 | 258,400 | 192,850 | 162,400 |
| GLM 4.7 | 203,000 | 200,000 | 1,000,000 | 203,000 | 258,400 | 192,850 | 162,400 |
| GLM 5.3 | 1,000,000 | 200,000 | 1,000,000 | 1,000,000 | 258,400 | 258,400 | 800,000 |
| GLM 5 | 200,000 | 200,000 | 1,000,000 | 200,000 | 258,400 | 190,000 | 160,000 |
Qwen3 Coder Next에서 Claude Code는 기본 200,000, [1m] 사용 시 1,000,000, CLAUDE_CODE_MAX_CONTEXT_TOKENS=256000 사용 시 256,000을 보고했습니다. 접미사는 전송 모델 ID에서 제거되고 context-1m-2025-08-07 베타 헤더가 추가됩니다. 서버의 256K 창이 1M으로 커지는 것은 아닙니다.
Claude Code에는 명시적 환경변수 설정도 있으므로 [1m]만이 유일한 방법은 아닙니다. 공식 모델 설정 문서에 따른 우선순위는 조건에 따라 달라집니다.
- 인식되지 않는 제공자 모델에
[1m]가 없으면CLAUDE_CODE_MAX_CONTEXT_TOKENS로 가정 창을 정하면서 사전 압축을 유지할 수 있습니다. - 같은 모델에
[1m]가 있으면 접미사가 우선하며, 환경변수를 적용하려면CLAUDE_CODE_DISABLE_1M_CONTEXT=1도 설정해야 합니다. - 인식되는 Claude 모델 이름은 처리가 다릅니다. 명시적 재정의에
DISABLE_COMPACT가 필요할 수 있는데, 이 설정은 압축을 비활성화합니다. 제공자 이름만으로 추정하지 않고 위 표에서 정확한 시험 모델 ID의 관측값을 확인해야 합니다.
Codex는 model_context_window, model_auto_compact_token_limit, model_catalog_json을 지원합니다. 설정 참조를 참고하세요. 같은 Qwen 모델에서 사용자 제공자 기본값은 258,400, 창을 256,000으로 명시하면 클라이언트의 95% 계산이 적용된 243,200, 시험한 inferplane 런처는 보수적인 80% 카탈로그 정책에 따라 204,800을 보고했습니다. 마지막 값은 클라이언트의 유효 창이지 서버 선언을 줄인 값이 아닙니다. 로컬 컨텍스트 프로필이나 상속된 전역 설정에 따라 달라질 수 있으며, 이 시험은 깨끗한 설정을 사용했습니다.
실제 CLI를 통한 긴 입력¶
아래 각 행은 실제 설치 CLI의 합성 회수 시도입니다. 모델 호출 전 클라이언트에서 거절된 경우도 표시하며, 이때 입력 토큰은 관측되지 않습니다. Claude Code는 [1m]를 사용하고 프롬프트 부가분을 고려해 서버 선언 창의 약 98%를 목표로 합니다. Codex는 런처 유효 창 80%의 약 98%에서 프롬프트 여유분을 뺀 값, 즉 서버 선언의 약 78.4%를 목표로 합니다. 실제 제공자 입력 토큰 수를 표시하며, 서로 작업량이 다르므로 동일 조건의 순위로 비교하면 안 됩니다. CLI 경과 시간에는 시작·재시도·종료 시간이 포함됩니다. 요청 수와 별도 가드 거절 수를 함께 표시하며, 가드 거절이 있는 시간 초과는 제공자만의 시간 초과로 해석할 수 없습니다.
최초 긴 입력 시도 세 건은 예산 가드가 모델 호출 전에 중단했습니다. 이후 예산을 확보한 시도는 별도 행으로 남겼습니다. Kimi K3는 979,261 입력 토큰에서 모든 값을 회수했고, Sonnet 5.5는 업스트림 오류 후 후속 요청이 실험 가드에 막힌 상태에서 시간 초과됐습니다. Claude Fable 5.1은 유료 긴 입력 CLI 관측이 아직 없습니다. 이 공백은 모델 호환성 실패를 뜻하지 않습니다.
| 모델 | CLI | 설정 | 회차 | 입력 토큰 | 요청 수 | 가드 거절 | CLI 경과 (s) | 결과 | 추정 비용 |
|---|---|---|---|---|---|---|---|---|---|
| Claude Haiku 5.5 | codex | default | 1 | — | 0 | 0 | 0.546 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GPT-5.5 | claude | suffix_1m | 1 | — | 2 | 0 | 3.943 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Claude Opus 5.5 | claude | suffix_1m | 1 | — | 2 | 0 | 8.922 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Claude Opus 4.6 | claude | suffix_1m | 1 | 979,171 | 1 | 0 | 47.856 | ✓ | $6.120740 |
| Grok 4.3 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GPT-5.6 Terra | claude | suffix_1m | 1 | — | 2 | 0 | 3.171 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| GPT-6 Astra | codex | default | 1 | — | 0 | 0 | 0.549 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Qwen3 Next 80B A3B | codex | default | 1 | 202,130 | 1 | 0 | 6.684 | ✓ | $0.028352 |
| GPT-5.6 Luna | claude | suffix_1m | 1 | — | 2 | 0 | 2.585 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Claude Haiku 4.5 | codex | default | 1 | 158,851 | 1 | 0 | 4.766 | ✓ | $0.159041 |
| Claude Fable 5 | claude | suffix_1m | 1 | — | 1 | 11 | 176.356 | ✗ (업스트림 오류) | $0.000000 + ? (1) |
| Claude Sonnet 4.6 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GLM 4.7 Flash | claude | suffix_1m | 1 | 198,119, 199,034 | 2 | 9 | 180.080 | ✗ (시간 초과) | $0.028620 |
| GLM 5.3 | claude | suffix_1m | 1 | — | 1 | 0 | 180.494 | ✗ (시간 초과) | $0.000000 + ? (1) |
| Claude Opus 4.7 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Kimi K2.5 | codex | default | 1 | 200,956 | 1 | 0 | 24.014 | ✓ | $0.120673 |
| Claude Opus 4.8 | claude | suffix_1m | 1 | 979,227 | 1 | 0 | 28.828 | ✓ | $6.121391 |
| Claude Opus 4.7 | claude | suffix_1m | 1 | 979,229 | 1 | 0 | 29.834 | ✓ | $6.121374 |
| Qwen3 Coder Next | claude | suffix_1m | 1 | 250,087 | 1 | 0 | 7.297 | ✓ | $0.125087 |
| Qwen3 VL 235B A22B | claude | suffix_1m | 1 | 250,085 | 1 | 0 | 26.811 | ✗ (회수 오답) | $0.132625 |
| Grok 4.7 | claude | suffix_1m | 1 | 513,009 | 1 | 0 | 56.854 | ✓ | $1.026774 |
| MiniMax M2 | claude | suffix_1m | 1 | — | 1 | 0 | 3.802 | ✗ (업스트림 오류) | $0.000000 + ? (1) |
| Kimi K3 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Qwen3 235B A22B 2507 | claude | suffix_1m | 1 | 250,091, 251,164 | 2 | 7 | 180.260 | ✗ (시간 초과) | $0.112078 |
| Kimi K2 Thinking | claude | suffix_1m | 1 | 250,062 | 1 | 0 | 34.350 | ✓ | $0.150595 |
| Qwen3 Coder 480B A35B Instruct | codex | default | 1 | 202,579 | 1 | 0 | 30.215 | ✓ | $0.091242 |
| Claude Fable 5 | codex | default | 1 | — | 0 | 0 | 0.551 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Claude Opus 5 | codex | default | 1 | — | 0 | 0 | 0.546 | ✗ (CLI 글자 수 제한) | $0.000000 |
| DeepSeek V3.2 | claude | suffix_1m | 1 | 159,898, 160,955 | 2 | 0 | 142.699 | ✗ (회수 오답) | $0.201472 |
| GLM 4.7 Flash | codex | default | 1 | 160,462 | 1 | 0 | 60.369 | ✗ (스트림 미완료) | $0.000000 + ? (1) |
| Claude Opus 4.5 | claude | suffix_1m | 1 | — | 1 | 0 | 2.353 | ✗ (업스트림 오류) | $0.000000 + ? (1) |
| Qwen3 Coder 480B A35B Instruct | claude | suffix_1m | 1 | — | 1 | 0 | 1.792 | ✗ (업스트림 오류) | $0.000000 + ? (1) |
| GPT-6 Astra | codex | default | 2 | 303,936 | 1 | 0 | 10.690 | ✓ | $7.600265 |
| Qwen3-Coder-30B-A3B-Instruct | codex | default | 1 | 202,578 | 1 | 0 | 14.702 | ✓ | $0.030413 |
| Claude Sonnet 5.5 | codex | default | 1 | — | 0 | 0 | 0.547 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Claude Sonnet 5.5 | claude | suffix_1m | 2 | — | 1 | 11 | 180.492 | ✗ (시간 초과) | $0.000000 + ? (1) |
| DeepSeek V3.2 | codex | default | 1 | 130,066 | 1 | 0 | 67.756 | ✗ (스트림 미완료) | $0.000000 + ? (1) |
| Kimi K2.5 | claude | suffix_1m | 1 | 250,065 | 1 | 0 | 31.991 | ✓ | $0.150126 |
| GPT-5.6 Sol | codex | default | 1 | — | 0 | 0 | 0.554 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GLM 5.3 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GPT-6 Sol | codex | default | 1 | — | 0 | 0 | 0.549 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Qwen3 Next 80B A3B | claude | suffix_1m | 1 | 250,091 | 1 | 0 | 7.800 | ✓ | $0.035056 |
| MiniMax M2.1 | claude | suffix_1m | 1 | 191,267, 191,306 | 2 | 10 | 180.397 | ✗ (시간 초과) | $0.117230 |
| Claude Haiku 4.5 | claude | suffix_1m | 1 | 195,169 | 1 | 0 | 5.323 | ✗ (회수 오답) | $0.244230 |
| Claude Opus 5.5 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GPT-6.1 Sol | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Qwen3-Coder-30B-A3B-Instruct | claude | suffix_1m | 1 | 250,090 | 1 | 0 | 49.341 | ✓ | $0.037541 |
| Kimi K2 Thinking | codex | default | 1 | 201,392 | 1 | 0 | 23.266 | ✗ (회수 오답) | $0.120920 |
| Qwen3 VL 235B A22B | codex | default | 1 | 202,131 | 1 | 0 | 117.306 | ✗ (스트림 미완료) | $0.000000 + ? (1) |
| GPT-5.5 | codex | default | 1 | — | 0 | 0 | 0.556 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GPT-6 Luna | codex | default | 1 | — | 0 | 0 | 0.552 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GLM 4.7 | claude | suffix_1m | 1 | 198,119, 199,185 | 2 | 8 | 180.097 | ✗ (시간 초과) | $0.242888 |
| GPT-6 Astra | codex | default | 1 | 303,942 | 1 | 0 | 10.253 | ✓ | $7.600565 |
| Claude Haiku 5.5 | claude | suffix_1m | 1 | — | 2 | 0 | 5.083 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Claude Sonnet 4.5 | codex | default | 1 | 158,846 | 1 | 0 | 8.126 | ✓ | $0.477123 |
| GPT-6 Sol | claude | suffix_1m | 1 | — | 2 | 0 | 3.234 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Claude Sonnet 4.5 | claude | suffix_1m | 1 | 195,171 | 1 | 0 | 8.812 | ✗ (회수 오답) | $0.733149 |
| GPT-6.1 Sol | claude | suffix_1m | 1 | — | 2 | 0 | 5.033 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Kimi K3 | claude | suffix_1m | 2 | 979,261 | 1 | 0 | 67.366 | ✓ | $2.939943 |
| MiniMax M2.5 | claude | suffix_1m | 1 | 191,265, 191,304 | 2 | 7 | 191.344 | ✗ (시간 초과) | $0.117228 |
| MiniMax M2.1 | codex | default | 1 | 154,891 | 1 | 0 | 12.336 | ✓ | $0.046623 |
| Qwen3 32B | claude | suffix_1m | 1 | 30,571 | 1 | 0 | 2.772 | ✓ | $0.004612 |
| Claude Opus 4.5 | codex | default | 1 | 158,861 | 1 | 0 | 8.236 | ✓ | $0.795280 |
| Grok 4.6 | claude | suffix_1m | 1 | 489,210 | 1 | 0 | 63.355 | ✓ | $0.979542 |
| Grok 4.7 | codex | default | 1 | 412,264 | 1 | 0 | 41.227 | ✓ | $0.825350 |
| DeepSeek-R1 | claude | suffix_1m | 1 | 124,612, 124,651 | 2 | 0 | 76.376 | ✓ | $0.343612 |
| Claude Sonnet 4.6 | claude | suffix_1m | 1 | 979,171 | 1 | 0 | 33.856 | ✓ | $3.672444 |
| Claude Sonnet 5 | claude | suffix_1m | 1 | 979,225 | 1 | 10 | 180.274 | ✗ (시간 초과) | $2.448062 |
| Claude Sonnet 5.5 | claude | suffix_1m | 1 | — | 0 | 10 | 180.315 | ✗ (시험 가드) | $0.000000 |
| Qwen3 235B A22B 2507 | codex | default | 1 | 202,132 | 1 | 0 | 65.595 | ✗ (스트림 미완료) | $0.000000 + ? (1) |
| Qwen3 Coder Next | codex | default | 1 | 202,548 | 1 | 0 | 5.682 | ✓ | $0.101322 |
| GPT-6 Astra | claude | suffix_1m | 1 | — | 2 | 0 | 3.850 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| GPT-5.6 Sol | claude | suffix_1m | 1 | — | 2 | 0 | 3.288 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Grok 4.3 | claude | suffix_1m | 1 | 979,198 | 1 | 0 | 67.877 | ✓ | $1.224522 |
| Grok 4.6 | codex | default | 1 | 393,217 | 1 | 0 | 43.799 | ✓ | $0.787244 |
| GLM 5 | claude | suffix_1m | 1 | 195,176 | 1 | 0 | 43.341 | ✗ (회수 오답) | $0.195198 |
| Claude Opus 4.8 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Qwen3 32B | codex | default | 1 | 26,519 | 1 | 0 | 2.669 | ✓ | $0.004005 |
| Claude Fable 5.1 | claude | suffix_1m | 1 | — | 0 | 10 | 180.328 | ✗ (시험 가드) | $0.000000 |
| Claude Opus 4.6 | codex | default | 1 | — | 0 | 0 | 0.548 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GLM 4.7 | codex | default | 1 | 160,447 | 1 | 0 | 44.309 | ✓ | $0.096345 |
| Claude Sonnet 5 | codex | default | 1 | — | 0 | 0 | 0.549 | ✗ (CLI 글자 수 제한) | $0.000000 |
| MiniMax M2.5 | codex | default | 1 | 154,888 | 1 | 0 | 15.043 | ✓ | $0.046638 |
| DeepSeek-R1 | codex | default | 1 | — | 1 | 0 | 1.137 | ✗ (업스트림 오류) | $0.000000 + ? (1) |
| DeepSeek-V3.1 | claude | suffix_1m | 1 | 124,613 | 1 | 0 | 14.794 | ✓ | $0.072329 |
| DeepSeek-V3.1 | codex | default | 1 | 101,497 | 1 | 0 | 11.682 | ✓ | $0.058920 |
| Kimi K3 | claude | suffix_1m | 1 | — | 0 | 11 | 177.272 | ✗ (시험 가드) | $0.000000 |
| GPT-5.6 Luna | codex | default | 1 | — | 0 | 0 | 0.550 | ✗ (CLI 글자 수 제한) | $0.000000 |
| Claude Fable 5.1 | codex | default | 1 | — | 0 | 0 | 0.547 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GPT-6 Luna | claude | suffix_1m | 1 | — | 2 | 0 | 2.296 | ✗ (업스트림 오류) | $0.000000 + ? (2) |
| Claude Opus 5 | claude | suffix_1m | 1 | — | 1 | 10 | 179.696 | ✗ (업스트림 오류) | $0.000000 + ? (1) |
| GPT-5.6 Terra | codex | default | 1 | — | 0 | 0 | 0.553 | ✗ (CLI 글자 수 제한) | $0.000000 |
| MiniMax M2 | codex | default | 1 | — | 0 | 0 | 0.549 | ✗ (CLI 글자 수 제한) | $0.000000 |
| GLM 5 | codex | default | 1 | 158,107 | 1 | 0 | 18.251 | ✗ (회수 오답) | $0.158110 |
Codex의 단일 입력 글자 수 제한도 확인했습니다. 이 버전은 turn/start에서 텍스트가 1,048,576자를 넘으면 input_too_large로 거절합니다. 예를 들어 1,638,627자를 넣은 시도는 게이트웨이 요청이 0건이었습니다. 표의 “CLI 글자 수 제한”은 실제 클라이언트 실패이며 모델의 토큰 창 거절이나 유료 호출이 아닙니다. 여러 턴에 걸쳐 쌓인 이력의 전체 한도까지 의미하지는 않습니다. 큰 창의 API 직접 시험과 이 단일 입력 CLI 시험을 구분해야 합니다.
Astra는 추가로 icodex 경로에서 303,942 및 303,936 입력 토큰의 회수 과제를 두 번 모두 완료했습니다. 이 독립 합성 과제는 시험 경로가 200K 이상의 입력을 받는다는 증거입니다. 자동 압축 성공, 최대 창, 이미 거절된 대화의 복구까지 입증하지는 않습니다.
컨텍스트 한도와 압축 오류 구분¶
자동 압축 시작값은 모델 창보다 작게 설정될 수 있습니다. 그 부근에서 오류가 났다는 사실만으로 서버 창의 한도라고 판단할 수 없습니다. 업스트림 오류 코드, 전송 경로, 보고된 입력 사용량, 실패한 작업을 함께 확인해야 합니다.
| 관측 | 확인할 수 있는 사실 |
|---|---|
| 명시적 컨텍스트 창 거절 | 시험 경로에서 해당 요청이 너무 큽니다. 사용량이 없으면 정확한 경계는 미측정 상태입니다 |
conversation_blocked / this conversation cannot be continued |
제공자가 대화를 거절했습니다. 명시적인 길이 초과 오류는 아닙니다 |
| 일반 응답과 후속 압축에서 같은 거절 | 압축도 실패했습니다. 가정 창을 늘리면 해결된다는 증거는 없습니다 |
no policy-permitted compatible Responses target |
게이트웨이 승인·변환 단계에서 허용된 호환 대상이 없습니다. 경로 기능과 요청 기능을 확인해야 합니다 |
Astra 자동 압축 오류 재현과 수정¶
별도의 2턴 시험에서 model_auto_compact_token_limit=180000으로 설정했습니다. 첫 턴에 약 204K의 합성 입력을 보내고 다음 턴에서 자동 압축을 유도했습니다. 수정 전에는 첫 턴이 완료됐지만 압축 요청은 제공자 호출 전에 게이트웨이 HTTP 400으로 거절됐습니다. Codex가 tools:[]와 함께 parallel_tool_calls:false를 보냈고, 실행할 도구가 없는데도 Responses 변환 검증기가 이를 거절한 것이 원인이었습니다.
수정은 도구가 생략되거나 null 또는 빈 배열일 때만 이 설정을 허용합니다. 실제 도구 선언이 있으면 기존 지원 조건을 유지하며, 원격 상태·불투명 추론·미지원 추론 모드도 계속 거절합니다. 네이티브 Responses 전달은 그대로입니다. 모델 창이나 사용자의 압축 기준을 늘리는 변경이 아니라 요청 변환 호환성 수정입니다.
| 시험 | 빌드 | 압축 기준 | 첫 입력 | 압축 입력 | 다음 입력 | 압축 완료 | 턴 상태 | 추정 비용 |
|---|---|---|---|---|---|---|---|---|
| astra-180k | baseline-a24b6dd | 180,000 | 204,605 | — | — | ✗ | completed → failed | $2.558058 |
| astra-180k-capture | baseline-a24b6dd | 180,000 | 204,611 | — | — | ✗ | completed → failed | $2.558132 |
| astra-180k-fixed | compaction-fix | 180,000 | 204,608 | 201,604 | 44,874 | ✓ | completed → completed | $5.650710 |
| astra-180k-fixed-local | local-compaction-fix | 180,000 | 204,602 | 201,607 | 44,847 | ✓ | completed → completed | $5.649284 |
| astra-180k-fixed-repeat2 | compaction-fix | 180,000 | 204,614 | 201,610 | 44,872 | ✓ | completed → completed | $5.650435 |
수정된 격리 환경에서 두 번 모두 압축 완료 이벤트와 다음 응답을 확인했습니다. 첫 입력은 204,608 / 204,614, 압축 입력은 201,604 / 201,610, 다음 턴 입력은 44,874 / 44,872토큰이었습니다. 설치된 런처와 수정된 실제 로컬 서비스에서도 204,602 → 201,607 → 44,847토큰으로 성공했습니다. 로컬 경로는 global. 별칭을 사용하며 공개 데이터에 요청한 모델 ID를 별도로 보존합니다. 모두 합성 이력으로 실제 자동 압축을 실행한 결과이며 단순히 긴 첫 턴만 성공한 결과가 아닙니다.
압축도 별도의 모델 요청입니다. 두 수정 후 격리 실행에서 압축 요청 비용은 각각 $2.531295 / $2.530970, 다음 턴 비용은 $0.561320 / $0.561295였습니다. 첫 턴·압축·다음 턴을 합친 비용은 $5.650710 / $5.650435입니다. 보고된 캐시 쓰기 토큰을 포함한 설정 단가 추정치이며 청구서 금액은 아닙니다. 수정 전 실행은 압축 전에 거절되어 작업량이 다르므로 총비용만으로 비용 증가나 성능 저하를 비교할 수 없습니다.
무과금 회귀 시험도 설치된 Codex 앱 서버와 로컬 모의 응답으로 압축 이벤트를 실행합니다. 변환 테스트는 도구 없는 압축 허용과 실제 도구·미지원 상태 거절을 함께 검증합니다. 실측이 확인한 범위는 추론을 끈 해당 Astra 브리지 경로입니다. 다른 모든 모델의 압축, 개인 이력 재개, 제공자 변경, 다른 추론 모드, MCP 서버, 다중 에이전트 작업은 검증 범위 밖입니다. 게이트웨이의 배포·회계 프로필 조건도 계속 적용됩니다.