네이티브 Converse와 관리자 비교¶
노드별 mayu 게이트웨이는 네이티브
POST /model/{configured-model}/converse와 /converse-stream을 수신합니다.
Bearer 또는 x-api-key 방식의 가상 키로 인증하세요. 클라이언트의 AWS SigV4
신원은 이 키를 대신하지 않습니다. 게이트웨이는 설정된 공급자 자격 증명으로
업스트림 요청에 서명합니다.
Converse는 지원되는 Bedrock Runtime 목적지에서만 동작합니다. 업스트림 모델도 요청한 API와 콘텐츠를 지원해야 합니다. Mantle 목적지와 사용자 지정 SDK 엔드포인트 재정의는 제외합니다. AWS 리전·FIPS·dualstack 엔드포인트는 SDK resolver가 선택합니다. 네이티브 요청은 리디렉션을 따르거나 숨은 전송 재시도를 수행하지 않습니다.
JSON과 네이티브 eventstream 프레임 바이트를 보존합니다. 필수 가드레일 삽입과
검증된 개인정보 마스킹은 정책상 예외입니다. 잘못되거나 충돌하는 가드레일,
지원하지 않는 가격 변경 옵션과 모호한 구조는 거절합니다. 클라이언트가
guardrailConfig를 다시 지정하려면 필수 guardrailIdentifier와
guardrailVersion만 포함해야 합니다. Bedrock은 멤버 이름의 대소문자를 구분하므로
guardrailConfig·serviceTier·performanceConfig의 대소문자 변형도 거절합니다. 스트림에는
messageStop과 유효한 후속 사용량이 있어야 합니다. 중단 시 AWS 예외를 보내고
회계 불확실성을 유지합니다. 모든 업스트림 모델에서 모든 네이티브 필드를
지원한다는 의미는 아닙니다.
비교 실행¶
- mayu의
/admin/ui/에 전체 관리자 권한으로 로그인합니다. - Model comparison / 모델 비교에서 설정된 모델 두 개와 API를 고르고 동일한 프롬프트, 출력 한도, 반복 횟수를 입력합니다.
- 시험에 필요한 모델·팀·예산 권한을 가진 가상 키를 제공합니다. 관리자 권한은 가상 키 승인을 대신하지 않습니다.
- 비교를 실행합니다. A/B 다음 B/A 순서로 순차 호출합니다. 1–5라운드는 중단 조건이 발생하기 전 최대 2–10건의 요청 시도를 의미합니다.
- 결과별 사용량 근거와 비용을 확인합니다. 필요한 경우 메모리의 JSON을 내보냅니다. 자격 증명, 프롬프트, 응답 본문은 포함하지 않습니다.
UI는 시작할 때 키 입력란을 비우며 키를 영속 저장하지 않습니다. 취소는 대기 작업을 중단하지만 이미 제출한 업스트림 호출에는 비용이 발생할 수 있습니다. 취소·통신 단절 결과의 비용은 미확정입니다. 콘솔을 다시 읽거나 잠그면 메모리의 결과를 지웁니다. 별도의 서버 측 시험 예산을 자동 생성하지 않으므로 기존 가상 키·팀의 하드 한도를 사용하세요.
측정값 읽기¶
| 필드 | 의미와 한계 |
|---|---|
| 추론 HTTP 상태 | 관리자 bridge HTTP 상태와 별개 |
| 응답 성공 | 텍스트·도구 응답이 구조적으로 완료됨. 품질·정확도 점수는 아님 |
| 응답 실패 | HTTP·통신 오류, 거부, 필터, 출력 잘림, 빈 응답·잘못된 응답 포함 |
| E2E 시간 | 내부 데이터 핸들러 경과 시간. 업스트림 대기·완료를 포함하며 브라우저 왕복은 제외 |
| E2E 출력 tokens/s | 보고된 출력 토큰 ÷ 해당 시간. 일정 구간의 decode 처리량은 아님 |
| TTFT | 비스트리밍 UI에서는 관측하지 않으며 null |
| 비용 | 설정 가격 × 관측 사용량. 정수 microUSD와 기존 half-even 정산 사용 |
| 회계 확인됨 | 시도 1건, 완전한 정산 1건, 충분한 사용량 근거와 설정 가격. 청구서 대사는 아님 |
| 여러 시도 | 마지막 정산만으로는 불완전한 근거로 표시. 앞선 실패 호출을 무료로 가정하지 않음 |
| 캐시 | 쓰기 TTL 미확인·검증되지 않은 OpenAI 캐시 입력 해석은 불확실성을 유지 |
현재 UI는 텍스트 프롬프트를 보내며 최대 출력은 4,096토큰입니다. 두 모델의 기본 동작 비교에 적합합니다. 컨텍스트 창 포화나 동시 부하를 생성하는 도구는 아닙니다. 네이티브 API 클라이언트는 동일한 라우팅·정책 검사 아래에서 지원되는 다른 콘텐츠를 제출할 수 있습니다.
일반 분석 대시보드는 집계 스키마를 사용합니다. 여기서 설명한 추가 불확실성·시도 근거는 비교 결과에 표시됩니다. 성능 결과에서 게이트웨이 지연, 캐시 비용, 실제 UI·SDK 호환성을 확인하고, 모델별 성능에서 컨텍스트 용량, 생성 처리량, 과제 실패를 확인하세요.