당신이 AI에게 코드를 맡기고 같은 모델에게 검토까지 부탁했다면, 완료됐다는 답을 받고도 무엇을 더 확인해야 할지 망설여지는가. 운영 기록에서 정리한 기준은 작성자와 독립 검증자의 권한을 나누고, 판정을 실제 파일과 실행 결과에 연결하는 것이다.

2026-06-22 작업 기록에는 Codex 실행 레인이 완료를 보고했지만, 별도 Sonnet 검증자가 실제 파일에서 요청한 수정이 반영되지 않았음을 확인해 FAIL로 판정한 사례가 있다. 이 사례에서 검증자가 확인한 것은 완료 보고와 실제 파일의 차이였다.

작성과 검증의 역할을 나누는 기준

운영 노트는 작성자가 자기 산출물의 단독 승인자가 되지 않도록 권한을 나눈다. 이 노트의 기본 배치는 Claude·Codex·Gemini 가운데 작성 벤더를 정하고, 나머지 두 비저술 벤더가 검토하는 방식이다. 노트에는 사소한 수정의 예외와 사용 한도 소진 시 대체 절차도 따로 있다.

왼쪽 열은 Claude·Codex·Gemini 가운데 작성 벤더로 지정된 하나가 산출물을 작성하되 자기 산출물의 단독 승인자가 되지 못함을 보인다. 오른쪽 열은 나머지 두 비저술 벤더가 검토자가 되어, 서로의 판정을 보기 전에 각자의 결과를 반환함을 보인다.
작성자가 자기 산출물을 혼자 승인하지 못하도록 작성과 검증의 권한을 나누는 것이 교차 검증의 기준이다.

독립 검증에 관한 운영 기준은 검증자들이 서로의 판정을 보기 전에 각자의 결과를 반환하도록 정리돼 있다. 작업 요청서 가이드 요약은 검증에 필요한 목표·문맥·범위·제약·확인 방법·산출물·인계 조건을 적도록 안내한다. 프로젝트 규칙 가이드 요약은 여기에 금지사항과 실패 이력도 남기도록 설명한다.

계획·테스트·구현의 검토 순서

이 운영 노트는 계획·테스트·구현이라는 산출 단계마다 비저술 벤더의 검토를 배치한다. 계획을 검토한 뒤 테스트를 작성하고 검토하며, 이어 구현을 작성하고 검토하는 순서다. 각 단계의 확인 근거를 갖추기 전에는 다음 단계로 진행하지 않는 기준으로 정리돼 있다.

계획 검토, 테스트 작성, 테스트 검토, 구현 작성, 구현 검토의 다섯 단계가 순서대로 이어진다. 계획·테스트·구현 각 산출 단계마다 비저술 벤더가 검토하며, 각 단계의 확인 근거를 갖추기 전에는 다음 단계로 넘어가지 않는다. 테스트에는 수정 전 실패와 수정 후 통과를 보이는 red/green 증거가, 구현에는 실행한 검사의 명령과 결과가 따른다.
각 산출 단계는 비저술 벤더의 검토와 실행 가능한 확인 근거를 갖춘 뒤에야 다음 단계로 넘어가는 구조이다.

테스트 선행 가이드 요약은 수정 전에 실패 테스트를 세우고, 수정 전 실패와 수정 후 통과를 확인하는 red/green 증거를 요구한다. 검증 가이드 요약에서는 테스트·린트·타입체크·빌드처럼 실행 가능한 검사의 명령과 결과를 요구사항 해석에 대한 검토와 구별한다. 검사 통과 결과가 뒷받침하는 범위도 해당 검사가 확인한 내용으로 한정한다.

2026-06-22 기록의 6단계 구성

앞 절의 검토 순서가 실제 단계로 어떻게 배치됐는지는 2026-06-22에 쓴 파이프라인 노트에 남아 있다. 이 노트에는 과거 운영 스냅샷이라는 표지가 붙어 있고, 현행 단계·벤더·검증 게이트는 AGENTS.md와 같은 볼트의 현재 멀티벤더 검증 워크플로우 노트를 기준으로 판단하라고 적혀 있다. 아래 표는 그 과거 구성을 벤더 이름으로 옮긴 것이다. 원 노트의 omc, omx, agy 표기는 Claude, Codex, Gemini로 바꿨다.

단계작업작성자검증자
1계획 작성Claude없음
2계획 검증없음Codex, Gemini
3테스트 작성Codex없음
4테스트 검증없음Claude, Gemini
5구현 작성Codex없음
6구현 검증없음Claude, Gemini

이 구성에서 검증 단계는 작성 벤더와 다른 벤더만 맡는다. 검증이 실패하면 지적 사항을 디스크에 기록하고 실행 레인으로 되돌려 재작업하며, 검증 통과와 테스트 green이 모두 확인되기 전에는 세션을 끝낼 수 없다고 적혀 있다. 메인 대화에는 검증 결과의 경로, 한 줄 요약, 판정만 돌아오게 하고 원문은 불러오지 않는다는 규칙도 있다.

노트는 단계의 순서와 벤더, 게이트가 훅으로 강제된다고 적는다. 이 글은 그 차단 범위를 실험으로 확인하지 않았다. 이 구성은 2026-06-22 시점의 기록이며, 같은 구성이 이후에도 유지됐는지는 현행 기록에서 따로 확인해야 한다.

판정을 파일과 증거에 연결하기

7월 8일 작업 기록에서 Codex 리뷰는 두 검증자가 서로 다른 파일 내용을 승인해도 게이트가 해제되는 결함을 찾았다. 기록에는 필요한 검증자들의 판정을 현재 파일 바이트와 다시 대조하도록 수정하고, 공격 재현 검사와 게이트 테스트 52건의 통과를 확인했다고 남아 있다. 이 해시 검사의 강제 범위는 단일 실제 파일이었으며, 집계 대상과 삭제에는 예외가 있었다.

이 운영 기록의 정리는 벤더 다양성을 보조 수단으로 두고, 검토 대상과 실행 증거를 판정에 연결하는 일을 우선한다.

운영 노트의 반례 우선 검토 기준은 비어 있거나 판단 기준이 희박한 스펙을 기본 실패로 다룬다. 이는 노트에 정리된 판정 기준이며, 앞의 파일 바이트 검사 결과가 빈 스펙 차단까지 입증하는 것은 아니다.

검증 판정 계약은 진행을 막을 지적에 재현 명령, 실패 테스트, 코드와 불변식의 충돌, 스펙 충돌 같은 근거를 요구한다. 검증자의 의견이 갈리면 판별 테스트를 만들고, 근거 없는 의견은 조언으로 구별하도록 정리돼 있다. 반례를 찾지 못했다는 사실만으로 정확성이 증명되는 것은 아니라는 한계도 함께 둔다.

공통 누락과 실제 응답 벤더 확인

2026-07-28 기록에는 셸 가드에 결함 10종을 역주입하고 우회가 재현되는지 확인한 뒤, Terra와 Sonnet 5에 블라인드 검토를 맡긴 결과가 있다. 두 모델이 모두 놓친 우회 계열도 2종이었다. 셸 가드에 한정된 단일 시행이므로 일반 코드 검증 능력으로 확대할 수 없는 결과다.

검증 호출의 실제 응답 벤더가 바뀐 사건도 있다. 2026-07-03 글 검증 기록에서는 Gemini 사용 한도가 소진된 뒤 Claude 계열로 조용히 폴백해 PASS가 반환됐다. 작성자도 Claude 계열이어서 독립성이 깨진 상태였고, 기록은 복구 후 재검증이 필요하다고 남겼다.

이 사례와 운영 노트에서 정리한 폴백 기준은 실제 응답 벤더와 degraded 상태를 결과에 남기는 것이다. 여기서 degraded는 예정된 검증 배치를 충족하지 못한 대체 상태를 가리킨다. 독립성이 약해졌다면 복구 후 재검증 대상으로 두도록 정리돼 있다.

실행 가드는 작동 범위까지 확인하기

2026-06-23 작업 기록에는 검증 서브에이전트가 임시 revert로 테스트 실패 여부를 확인하던 중 미커밋 작업분을 지웠다가 복원한 사고가 남아 있다. 당시에도 해당 git 조작을 금지하는 규칙이 있었다. 사고 노트는 검증자의 git 파일 조작 범위를 명시하고, 파일을 지정해 스테이징하며, 예상하지 않은 삭제를 점검하도록 정리한다. git 조작 사고의 경위와 복구 기록은 멀티에이전트 코딩에서 실제로 사고 난 것들에서 따로 다룬다.

7월 8일 감사는 파괴적 git 가드를 기계적 강제 항목으로 분류했다. 같은 날 완료 게이트가 꺼져 있음을 발견하고 재무장한 기록도 있다. 다만 이 기록에는 개별 파괴 명령의 차단 실험이나 전체 명령 패턴의 차단 범위가 제시돼 있지 않다.

이 감사에서 정리한 점검 기준은 문서에 적힌 관례와 실제 실행 경로에서 강제되는 검사를 구분하는 것이다. 실행 가드를 확인할 때도 어떤 명령과 경로에 연결돼 있는지, 사람의 확인을 요청하는지 실행을 거부하는지, 우회 가능한 범위는 무엇인지 구별하도록 한다.