inferplane의 강점

운영 정책을 중앙에서 정하면 각 게이트웨이가 요청마다 적용합니다. inferplane은 전용 거버넌스 제어 영역과 모델 접근·예산 판단·개인정보 보호 경계·회계를 집행하는 데이터 영역을 결합합니다. 코딩 에이전트는 하나의 게이트웨이 주소와 허용된 모델 이름을 사용하고, 설정된 규칙이 어떤 공급자 시도를 허용할지 결정합니다.

핵심은 이 제어들이 함께 작동한다는 점입니다. 저렴한 경로도 개인정보 조건을 충족해야 하고, 내부 경로도 예산 안에 있어야 하며, 폴백도 두 조건을 모두 지켜야 합니다.

API 연결에서 정책에 따른 실행으로

API 통합, 라우팅, 관측 기능은 게이트웨이의 유용한 기능입니다. 다른 게이트웨이도 예산·가드레일·제어 영역과 데이터 영역 분리를 제공하므로 이를 독점 기능으로 주장하지 않습니다. 예를 들어 Envoy AI Gateway 아키텍처는 영역 분리를, LiteLLM 프록시 아키텍처는 인증·예산·요청률 제한을 설명합니다.

기능 개수보다는 다음의 구체적인 운영 동작과 보장 범위를 기준으로 inferplane을 평가하세요.

운영 요구	inferplane의 설계	팀에 주는 효과
모든 프롬프트를 관리 서비스에 중계하지 않고 정책 관리	inferplaned가 정책·권한을 배포하고 mayu가 추론과 집행을 담당	에이전트 근처 또는 공유 게이트웨이로 배치하며, 매 요청의 추론 승인에서 제어 영역 HTTP를 분리
여러 클라이언트에 같은 규칙 적용	매칭되는 GovernancePolicy가 모델 접근·요청률·할당량·금전·라우팅 제한	지원되는 수신 경로가 거버넌스를 공유하므로 사용자가 매번 개인정보 경로를 직접 선택할 필요가 없음
전체 지출 중단 전에 동작 변경	예산 티어가 지정된 대안을 선택하고 선택적 엄격 목적지가 모든 시도를 제한	경제형 모델 전환 기준과 하드 한도를 따로 정의
민감 요청을 승인된 목적지 안에서 처리	로컬 검사, InternalOnly, 검증된 Mask, Block, 제한된 폴백	컨텍스트 선택·예산 전환·재시도에도 개인정보 보호 의무 유지
공유 회계의 위치 선택	노드별 영속 금전 권한 또는 동기식 공유 Postgres 승인	로컬 요청 승인과 전역 예산을 결합하거나, DB 의존성을 명시하고 키·요청률·토큰·금전을 공유
실제 동작의 근거 설명	라우팅 근거, 시도별 권한 회계, 감사 체인, 메트릭	추천·실제 공급자 시도·미확정 지출을 구분

이 동작은 알파 제품에 구현된 메커니즘입니다. 조직·팀 관리 역할 전체, 완전한 사용자 예산 풀, 상용 운영 검증은 아직 미완료입니다. 기능 지원 범위와 상용화 준비도를 확인하세요.

관리 경로와 추론 경로 분리

제어 영역이 규칙을 정하고 데이터 영역이 적용합니다. inferplaned는 GovernancePolicy와 예산 사용 권한을 배포하고 사용량 텔레메트리를 받으며, 선택적으로 단기 Bedrock 자격 증명을 중개합니다. mayu는 요청 인증, 지원 내용 검사, 승인된 경로 선택, 사용 승인, 공급자 호출, 사용량 기록을 담당합니다.

프롬프트와 응답 스트림은 제어 영역 HTTP 서비스를 통과하지 않습니다. 로컬 검사와 유한한 세션 선호 상태에는 원격 분류기나 어피니티 서비스가 필요하지 않습니다. 운영자는 관리와 추론의 배포 경계를 나눌 수 있지만, 장애 중 무제한 동작이 보장되는 것은 아닙니다.

프로파일 선택	요청 시 사용 권한	활용 범위
로컬 mayu	로컬 저장소·카운터, 선택적 로컬 정책 파일	제어 영역 없이 게이트웨이 하나 평가
노드별 영속 금전 · ADR-045	중앙에서 확정된 유한 예산 권한과 비공개 저널	추론마다 공유 DB를 호출하지 않고 관리되는 장비 전체의 정책 예산 집행. 키·요청률·토큰 할당량은 로컬 유지
공유 Postgres · ADR-046	동기 키 조회와 원자적 요청률·토큰·금전 예약	여러 게이트웨이의 공유 승인. 접근 가능한 Postgres 필요

기존 로컬 권한은 준비 상태·정책 나이·권한 기한을 만족할 때만 사용할 수 있습니다. 제어 영역이나 권한 DB 장애 중에는 보충할 수 없습니다. 공유 모드는 DB 장애 시 새 승인을 거부합니다. 아키텍처 다이어그램은 각 의존성을, 배포 프로파일은 장애 시 동작을 설명합니다.

규칙을 설정하면 게이트웨이가 자동 적용합니다

자동화는 운영자의 명시적 선택에서 시작합니다. 데이터 처리 경계를 스스로 알아내거나 예산을 임의로 만들거나 모델을 자동 승인하지 않습니다.

운영자 설정	mayu의 자동 동작	유지해야 할 경계
가상 키, 허용 모델, 팀·사용자 정책 선택자, 선택적 검증 신원	인증하고 적용되는 제한 평가	모델 치환으로 접근 권한 확대 불가. 전체 관리 역할·사용자 예산 풀 모델은 미완료
공급자 목적지, 가격, 컨텍스트 윈도, 기능	공개 모델 이름을 해석하고 비호환 경로 제외	메타데이터 선언은 실제 배포와 일치해야 함
PII 처리 동작과 명시적 내부 모델 이름	지원되는 원본 내용을 검사하고 내부 라우팅·마스킹 후 재검사·차단	유한 탐지기. 미확인·불투명 입력은 onUninspectable 적용. internal 라벨은 운영자 선언
예산 참조, 임계치, 치환 모델	설정된 사용 임계치가 활성화되면 유효 경로 변경	엄격 전환에는 enforceTargets 필요. 기존 치환은 원래 모델을 유지할 수 있음
별도 하드 한도와 회계 프로파일	과금 호출 전에 검사. 권한 프로파일은 시도마다 예약하고 확인된 사용량 정산	저렴한 내부 경로도 한도 소비. 불완전한 사용량은 예약을 유지할 수 있음
컨텍스트 목적지, 임계치, 키워드, 선택적 안정성	Shadow에서 추천, Enforce에서 호환 경로 선택, 로컬의 성공 목적지 선호를 재검증	규칙 기반 신호는 작업 난도·모델 품질의 증거가 아님. 개인정보·엄격 목적지 조건 완화 불가
감사 싱크와 모니터링	판단·시도·사용량·거부 기록	분석은 예산 권한이 아니며 본문 수집은 별도 선택 기능

정책 배포와 적용은 비동기입니다. 새 정책이 모든 게이트웨이에 즉시 반영되는 단일 트랜잭션은 아닙니다. 운영 한도를 바꾸기 전에 동기화·정책 만료 조건을 설정하고 이미 발급된 예산 권한을 고려하세요.

하나의 설정으로 여러 상황을 자동 처리합니다

저장소에는 적응형 게이트웨이 설정과 거버넌스 정책이 있습니다. 예제는 engineering 팀, auto 별칭, 내부 economy 목적지, 월 $100 전환 임계치, 별도의 월 $150 하드 한도를 사용합니다. 금액·주소·가격·모델 ID는 예시입니다.

운영 정책 설정

1. 공급자 주소·모델 ID를 바꾸고 내부 처리 경계를 검증합니다. 실제 기능·컨텍스트 윈도·회계 가격을 선언하고 예제가 참조하는 비밀은 비밀 관리 도구로 공급합니다.
2. 거버넌스 정책과 함께 내부 라우팅 또는 마스킹 중 하나를 로드합니다. 제공된 게이트웨이 설정은 내부 라우팅을 선택합니다. 둘 다 로드하면 마스킹과 내부 목적지가 모두 필요합니다.
3. 클라이언트를 mayu에 연결하고 허용된 가상 키를 발급합니다. 설정된 목적지의 프로토콜·기능과 호환되는 요청에 auto를 계속 사용합니다.
4. Shadow에서 컨텍스트 추천을 평가하고, 워크로드 결과가 자동 선택을 뒷받침하면 routing.context.mode: Enforce를 명시적으로 설정합니다. 개인정보·엄격 예산 라우팅은 이 컨텍스트 전환을 기다리지 않습니다.
5. 여러 게이트웨이의 회계에는 선택한 영속 예산 또는 공유 프로파일을 따릅니다. 로컬 policies를 control_plane으로 교체해야 하며 둘은 함께 쓸 수 없습니다. 해당 권한·상태 저장소도 설정하세요.

명령과 전체 호환성 요건은 적응형 라우팅을 참고하세요.

요청별 판단 확인

처리 흐름 다이어그램 크게 보기. 개념적 판단 흐름이며 뒤 단계가 앞의 제한을 덮어쓰는 것이 아니라 제약이 함께 적용됩니다. 수신 변환과 준비 상태 검사는 프로토콜별 계약을 유지합니다.

예시 요청·상황	예제 정책의 자동 동작
전환 임계치 아래의 일반적인 검사 가능한 auto 요청	Shadow는 기본 경로를 유지하며 컨텍스트 추천 기록. Enforce는 호환되는 weak/normal/strong 목적지를 선택할 수 있음
지원되는 이메일·전화번호·카드 등 탐지 범위의 PII 신호	InternalOnly가 승인된 내부 economy 목적지로 제한. 접근·기능·사용 승인도 충족해야 함
대안 마스킹 정책에서 PII 탐지	사용 가능한 경로를 반환하기 전에 마스킹과 독립 재검사를 완료. 안전하지 않은 변환은 거부
불투명하거나 검사할 수 없는 입력	예제의 onUninspectable: Block이 생성 거부
$100 전환 임계치 활성화	enforceTargets: true가 매핑된 모델 이름을 economy로 제한하며 이후 허용된 재시도에도 적용. 개인정보 규칙 충돌이나 목적지 불가 시 거부 가능
$150 하드 한도의 잔여 권한으로 다음 시도를 승인할 수 없음	경제형·내부 경로여도 과금 호출 전에 거부
지원되는 출력 확정 경계 전에 승인된 공급자 실패	허용되는 폴백도 같은 개인정보·접근·엄격 목적지 검사와 새 시도 승인을 통과해야 함. 제한 없는 외부·고가 경로로 우회 불가
스트림 종료 시 사용량 불완전	권한 회계가 증명되지 않은 지출을 유지하며 관측 사용량과 불확실성을 구분

전환은 프로파일의 회계 상태를 기준으로 평가합니다. 외부 청구서의 정확한 임계치나 이미 실행 중인 요청의 중단을 보장하지 않습니다. 예약 때문에 표시된 정산 지출이 하드 한도에 도달하기 전에 요청을 거부할 수 있습니다. 모델·공급자 전환으로 캐시 적중을 잃을 수도 있습니다. 비용 절감을 주장하기 전에 총 정산 비용·재시도·지연·작업 성공률을 평가하세요.

자동화해도 운영자가 결정해야 할 것

PII 검사는 이메일, 지원 전화번호, 카드, SSN, IPv4, 한국 주민등록번호 형식의 유한 범위를 다룹니다. 모든 개인정보 발견, 지역별 법규 준수, 공급자 신뢰를 입증하지 않습니다. 내부 목적지는 선언한 처리 경계를 실제로 만족해야 합니다. 안전한 경로를 확보할 수 없으면 엄격한 개인정보 규칙은 거부하며, 컨텍스트·비용 선호로 경계를 완화하지 않습니다.

오탐, 놓치거나 난독화된 값, 검사할 수 없는 내용이 있을 수 있습니다. 보호 대상 구조 필드 때문에 안전한 마스킹이 불가능할 수도 있습니다. 워크로드에 맞는 정책을 선택하기 전에 검사 계약과 마스킹 한계를 확인하세요.

사용자가 게이트웨이를 우회할 수 있는지는 네트워크 제어와 공급자 자격 증명에 달려 있습니다. 공격자가 제어하는 노드는 mayu 설치나 자격 증명 중개 활성화만으로 신뢰할 수 있게 되지 않습니다. HA 데이터베이스 배포, 복구 검증, 모델 품질 평가도 운영자 책임입니다.

로컬 빠른 시작에서 시작하고 회계 프로파일을 선택하세요. 보안 경계와 상용화 준비도를 기준으로 파일럿 범위를 정할 수 있습니다.