멀티벤더 AI 검증에서 설정한 모델과 실제 호출을 구분하는 법
설정에 적힌 모델 이름만으로 실제 호출 모델을 확정할 수 없다. 당시 AGY 선택자의 폴백 기록을 바탕으로 설정값, 호출 경로, 실행 식별 근거를 구분하는 점검 기준을 정리했다.

설정에 그 이름이 있으면 그 모델이 일한다는 전제는 당시 AGY 작업 기록과 맞지 않는다. 내 운영일지에는 PLAN 검증의 CCPA/Flash 폴백이 76회로 기록돼 있다. 멀티벤더 검증을 구성하는 독자에게 이 기록에서 정리해 전할 기준은, 설정값 확인과 실제 호출 경로 확인을 분리하는 것이다.
운영일지에 남은 76회 폴백
2026년 7월 3일 작업 기록에는 당시 AGY에서 gemini-3.1-pro-preview를 쓰면 CCPA/Flash로 폴백한다고 남아 있다.
폴백은 요청한 모델 대신 다른 모델로 전환되는 동작을 뜻한다.
이 사건의 범위는 당시 AGY가 받던 모델 선택자다.
Gemini API 전체에서 그 이름이 존재하지 않았다는 뜻으로 확대할 수는 없다.
내 운영일지에는 이 선택자로 인한 PLAN 검증의 폴백이 76회였으며, 선택자를 gemini-3.1-pro로 일괄 교정했다고 기록돼 있다.
76회는 운영일지에 적힌 값이다.
이 글에서 당시 개별 호출 로그를 다시 세어 확인한 수치가 아니며, 전체 요청 대비 비율이나 완료된 결과물 수를 뜻하지 않는다.
이 수치는 실측 로그에서 발견됐다고 작업 기록에 적혀 있다. 기록에 따르면 ~/.gemini/antigravity-cli/log/ 아래에서 “model ... not recognized ... defaulting to CCPA” 문구를 세어 76회를 확인했다. 교정 범위는 설정 사본과 기본값을 합쳐 14곳, 7개 파일이었다. 이 글은 그 실측 기록을 출발점으로 삼는다.
별도의 7월 8일 작업 기록에는 주입 디렉티브 2곳의 preview 선택자와 companion 기본값을 수정한 내역이 있다. 잘못된 값이 여러 위치에 남아 있었다는 기록이지만, 어떤 원본에서 복사돼 퍼졌는지까지 보여 주지는 않는다. 이 수정 내역을 앞선 일괄 교정과 합쳐 하나의 복구 작업으로 설명하지 않는다.
선택자는 호출 경로와 시점에 따라 확인한다
이 사건에서 사용한 교정값을 현재의 권장 모델명으로 가져오면 안 된다. 7월 15일 작업 기록에서는 AGY가 bare 슬러그에서 thinking level을 포함한 표시명 방식으로 전환됐고, 관련 설정과 문서를 수정했다. 당시에는 표시명 문자열 자체가 호출 인자로 쓰였다.
또한 7월 22일 작업 기록에서는 오버레이 제거 뒤 preview 금지 훅을 없애고 모델 인벤토리 확인으로 전환했다. 따라서 이 기록에서 정리할 기준은 접미사를 일괄 금지하는 것이 아니라, 실제 호출 경로가 받는 값을 확인하는 것이다. 공식 API 모델명과 설치된 CLI의 선택자 목록도 구분해서 대조하도록 정리돼 있다.
작업 기록에서 정리한 기준: 설정에 적힌 값, 호출 경로가 허용하는 값, 해당 실행에서 확인된 모델을 따로 대조한다.
7월 20일 기록에는 환경변수의 모델 값 6개가 로컬 CLI 인벤토리와 모두 일치했다고 남아 있다. 이는 설정값과 목록의 대조 결과다. 해당 모델들의 실제 응답을 모두 호출해 확인했다는 뜻도, 앞선 폴백 사건의 복구 호출 기록도 아니다.
설정 수정과 호출 확인을 잇는 순서
당시 실패 기록에서는 MCP별 환경변수가 프로세스 환경변수보다 우선해, 다른 설정을 고쳐도 남아 있는 옛 값이 적용될 수 있다고 정리했다. 이 우선순위를 모든 도구에 적용할 수는 없다. 아래는 관련 작업 기록에서 정리한 기준을 바탕으로 제안하는 점검 순서다.
- 실제 참조 위치를 확인한다. 모델 환경변수를 읽는 경로와 설정 사본, 기본값을 나열하고 해당 환경의 적용 우선순위를 확인한다.
- 실행 설정과 과거 기록을 나눈다. 활성 호출 경로의 값을 수정하되, 사고 당시 로그와 기록은 보존하고 정정 내용을 연결한다.
- 변경 뒤 잔존값과 반영 조건을 점검한다. 확인 범위를 정한 뒤 남은 값이 실행 설정인지 과거 기록인지 구분한다. 해당 환경에서 재시작이나 CLI 버전 변경이 필요한지도 확인한다.
- 비교 가능한 조건으로 호출 경로를 대조한다. 같은 모델과 비교 가능한 시점·입력으로 확인하고, 종료 상태와 출력, 오류 로그, 대체 여부를 함께 남긴다.
- 결과를 해당 실행에 연결한다. 실행 식별자와 검증 대상을 대조해 호출 근거와 산출물이 같은 실행에서 나온 것인지 확인한다.
이 절차는 앞으로 적용할 점검 제안이다. 앞선 AGY 선택자 사건에서 이 순서대로 복구 호출을 수행해 정상 응답까지 확인했다는 보고가 아니다. 기록에서 정리한 검색 기준도 실제로 관찰한 오류·대체 문구를 포함하는 것이며, 경고가 검색되지 않았다는 사실만으로 모델 일치를 확정하지 않는다.
같은 실행의 증거로 판정한다
실패 기록과 실행 식별자 검증 기록을 바탕으로, 이 글에서는 다음과 같이 판정 기준을 정리한다. 로그의 모델 값이 요청값을 그대로 적은 것인지, 실제 처리 모델을 식별하는 근거인지도 구분한다. 식별 근거가 없다면 일치와 불일치 어느 쪽도 확정하지 않는다.
| 확인한 상태 | 판정과 다음 확인 |
|---|---|
| 호출이 오류로 끝났다 | 호출 실패로 기록하고 실제 오류 내용을 확인한다. 오류 원인을 모델 이름이나 접근 조건으로 미리 단정하지 않는다. |
| 대체 기록과 실제 처리 모델이 확인됐다 | 요청한 모델과 대조하고 대체 상태를 명시한다. 검증 벤더로 집계하기 전에 실제 모델의 벤더 계열도 확인한다. |
| 응답은 있지만 실제 모델 식별 근거가 없다 | 증거 부족으로 보류한다. 경고 부재나 종료 상태만으로 모델 일치를 판정하지 않는다. |
| 실제 모델 식별 근거가 요청과 일치한다 | 산출물이 같은 실행과 같은 검증 대상에 연결되는지 확인한다. 일치 판정은 그 호출로 한정한다. |
벤더 계열 확인이 필요한 별도 사건도 기록돼 있다.
7월 3일의 quota 사건에서는 AGY 검증이 claude-sonnet-5로 폴백해 PASS를 반환했고, 작성자도 같은 Claude 계열이었다.
이는 preview 선택자가 CCPA/Flash로 폴백한 사건과 원인이 다르다.
그 실패 기록에서 정리한 운영 기준은 대체 상태를 명시하고, 부족한 검증은 복구 뒤 다시 확인하는 것이다. 결과 파일명에 벤더명이 있다는 이유만으로 독립 벤더의 정상 검증으로 집계하지 않는다. 실행 식별자 검증 기록에서도 같은 실행과 같은 검증 대상에서 나온 결과인지 연결하도록 정리돼 있다.
다른 작업 기록에는 AGY 환경변수 5곳이 표시명에서 bare 슬러그로 되돌아가 이를 복원한 내역도 있다. 관련 기록에서 정리한 기준은 과거의 성공을 이후 실행의 보증으로 삼지 않고, 설정과 호출 경로를 확인한 시점의 증거를 남기는 것이다. 이번 결과에서 모델을 식별할 수 없다면, 그 빈칸은 추정으로 채우지 않고 증거 부족으로 남긴다.
여러 벤더의 결과를 하나의 검증 기록으로 묶는 방법과 그 한계는 멀티벤더 AI 검증 글에서 따로 다뤘다. 이 글은 그중 모델 식별 한 단계만 떼어 본다.
아직 댓글이 없습니다.