검증자는 작성자 뒤에서 검토하니 더 정확할 거라고 기대하기 쉽다. 반려 목록 앞에서 막막할수록 그 판단에 기대고 싶어진다. 하지만 이번 기록에서는 반려 사유 자체가 틀려, 수정 전에 지적부터 확인해야 했다.

서로 다른 검증 레인이 같은 계획서를 검토한 세션이었다. 계획서는 반려를 거쳐 통과했지만, 그 과정에서 사실과 다른 반려 사유도 확인됐다. 검증 결과가 반려라는 이유만으로 그 안의 모든 지적이 수정 근거가 되지는 않았다.

나는 지적을 그대로 수정 지시로 받아들이지 않기로 했다. 이번 기록에서 남길 교훈은 검증자도 틀릴 수 있다는 점이다. 매 라운드의 실패 사유를 고치기 전에, 그 사유가 사실인지 재확인하는 단계를 두기로 했다.

메모에 정리한 교차 검증의 기준은 단계마다 작성자와 검증자를 서로 다른 벤더로 두는 것이다. 그 구성은 교차 검증을 처음 세우는 법에서 다뤘다. 작성자와 검증자를 나눠도, 검증자가 낸 지적의 근거는 별도로 확인해야 한다.

아래의 분류와 채택 게이트는 메모에서 정리한 판단 기준이다. 위치·인용·수치, 부재 주장, 논리·모순에 따라 확인할 근거를 나눈다. 각 분류의 정확도나 확인 비용을 측정했다는 뜻은 아니다.

이번 세션의 기록과 앞으로 적용할 기준을 구분해 적는다. 기록에 남은 것은 잘못된 부재 주장과 대체 모델을 거친 통과다. 그 기록을 바탕으로 지적의 원본 근거와 검증 조건을 함께 남겨 채택 여부를 판정한다.

없다고 잘라 말한 지적이, 실제로는 있었다

기록에는 계획서가 서로 다른 두 검증 레인의 검토를 받으며 두 번 반려된 뒤 세 번째 판에서 통과한 것으로 남아 있다. 이 계획은 v1, v2, v3 세 판이었고, 두 레인이 낸 지적은 모두 25건이었다. 기록 날짜는 2026년 7월 30일이다. 그중 한 라운드의 반려 사유 두 건은 사실과 달랐다. 실제 상태를 확인한 결과, 두 주장 모두 반증됐다.

하나는 "그 도구 트리에는 특정 확장 표면이 없다"는 주장이었다. 확인해 보니 ~/.cursor/mcp.json에 playwright가 활성 상태로 등록돼 있었다. 없다는 전제를 근거로 계획을 고칠 수 없는 상태였다.

다른 하나는 "그 자원은 심링크가 아니라 비용이 0"이라는 주장이었다. 확인 결과 그 자원은 심링크였다. 비용이 없다는 결론은 심링크가 아니라는 잘못된 전제에 기대고 있었다.

이 확인으로 실제 비용의 크기까지 밝혀진 것은 아니다. 반증된 것은 심링크가 아니라는 전제와 그 전제에 의존한 판단이다. 반증 기록에서도 확인한 범위를 넘어 새로운 결론을 붙이지 않아야 한다.

두 전제를 그대로 받아들였다면 실제로 필요했던 정리 작업 하나가 계획에서 통째로 빠졌을 것이다. 그렇게 빠진 작업이 있는 채로 계획이 통과할 수 있었다. 반려 사유를 반영하는 일이 오히려 계획에 구멍을 만들 수 있었던 셈이다.

잘못된 반려는 잘못된 통과만큼 위험하다.

아래 표의 Codex 표기는 검증 절 기록을 따랐다. 노트 상단 요약은 같은 검증을 “Codex Sol xhigh + AGY Pro”로 적어 표기가 다르다.

판검증 레인결과
v1Codex Sol xhighFAIL
v2Codex Sol xhighFAIL, 사실오류 2건 포함
v3Codex Sol xhighPASS
3라운드째AGY verify_logicPASS, REQUIRED_FIXES: none. 대체 실행(degraded)으로 기록

최종 계획서는 필수 수정 사항이 남지 않은 상태로 통과했다. 다만 그 통과에는 대체 모델로 검증했다는 조건이 붙어 있었다. 지적의 사실 여부와 검증 레인의 상태는 각각 기록해야 할 대상이었다.

지적을 세 종류로 나눠 다르게 다룬다

메모에서 정리한 분류 기준은 지적마다 필요한 근거를 구분하기 위한 것이다. 지적의 표현이 얼마나 단정적인지는 채택 기준으로 삼지 않는다. 무엇을 확인해야 그 주장의 참과 거짓을 가를 수 있는지부터 정한다.

지적을 세 종류로 나눠 비교한 그림이다. 위치·인용·수치 지적은 해당 원본의 위치와 내용을 대조한 뒤 판정한다. 부재 주장은 원본 상태와 확인 범위를 기록한 뒤 판정하며, 지목된 자리에서 못 찾았다고 다른 범위에도 없다고 결론 내리지 않는다. 논리·모순·일관성 지적은 문서 안 근거로 판정하고 외부 전제는 따로 확인한다.
지적은 표현의 단정성이 아니라 무엇을 확인해야 참거짓을 가를 수 있는지에 따라 다르게 다뤄야 한다는 것이다.

첫째는 위치·인용·수치를 짚는 지적이다. "몇 번째 줄", "이 문서의 이 구절", "이 값"처럼 대조할 대상을 지정한다. 이 유형은 해당 원본과 대조해 위치와 내용이 모두 맞는지 확인한 뒤 판정한다.

둘째는 부재를 주장하는 지적이다. "~가 없다", "~는 하지 않는다"처럼 대상이나 동작이 없다고 단정한다. 이번 기록의 확장 표면과 심링크처럼, 그 전제를 확인할 원본 상태를 대조 대상으로 삼는다.

부재 주장을 확인할 때는 어디까지 확인했는지도 함께 적도록 한다. 지목된 자리에서 찾지 못했다는 결과만으로 다른 범위에도 없다고 결론 내리지 않는다. 근거가 부족하면 채택이나 반증을 서두르지 않고 확인 대상을 더 정한다.

셋째는 논리·모순·일관성을 짚는 지적이다. "이 부분과 저 부분의 전제가 서로 다르다"는 주장이라면 문서 안의 두 근거를 나란히 대조한다. 문서 내부의 모순만 다룬다면 그 안에서 판정하고, 외부 사실이 전제로 섞여 있다면 해당 사실도 따로 확인한다.

지적 종류 예시 표현 필요한 조치
위치·인용·수치 몇 번째 줄, 이 구절, 이 값 해당 원본의 위치와 내용을 대조한 뒤 판정
부재 주장 ~가 없다, ~는 하지 않는다 원본 상태와 확인 범위를 기록한 뒤 판정
논리·모순·일관성 이 부분과 저 부분의 전제가 다르다 문서 안 근거로 판정하고 외부 전제는 별도 확인

다음은 분류 방법을 설명하기 위한 가상 예시다. "이 부분(3번째 문단)의 수치가 다른 부분(6번째 문단)의 전제와 안 맞는다"는 문장에는 위치와 논리가 섞여 있다. 위치와 수치가 맞는지 먼저 대조하고, 두 전제가 실제로 충돌하는지는 따로 판정하도록 한다.

채택 게이트: 번호를 매기고, 원본을 열고, 반증을 기록한다

나는 이번 기록을 바탕으로 실패 사유의 재확인을 수정 앞에 두기로 했다. 아래는 그 결정을 적용하기 위해 메모에서 정리한 채택 기준이다. 모든 항목을 이번 세션에서 실행했다는 보고나, 반복 실행으로 효과를 측정한 결과는 아니다.

지적 목록을 받으면 먼저 건별로 번호를 붙이고 필요한 근거에 따라 분류한다. 다음으로 원본을 열어 대조하며, 좌표가 어긋나도 곧장 버리지 않고 근처를 좁게 다시 훑는다. 문제가 어디에도 없으면 반증됨으로 표시하고 사유를 기록에 남긴다. 마지막으로 살아남은 지적에만 수정을 적용하고, 확인되지 않은 항목은 보류한다.
수정보다 앞서 지적의 근거를 확인하고 반증까지 기록하는 것이 채택 게이트의 핵심이다.

지적 목록을 받으면 건별로 번호를 붙인다. 각 항목을 필요한 근거에 따라 분류하고, 원본 대조 결과나 문서 안의 판단 근거를 붙인다. 확인할 수 없는 항목은 미확인으로 남기고 수정 대상으로 넘기지 않는다.

기록에는 번호, 종류, 확인 결과, 판정을 남긴다. 예를 들면 "3번 · 부재 주장 · 원본 확인: 설정 파일에 항목 등록돼 있음 · 판정: 반증됨"처럼 적을 수 있다. 이 번호는 기록 형식을 보여 주기 위한 예시이며 실제 지적 순서를 뜻하지 않는다.

짧게 적더라도 무엇을 근거로 판정했는지는 남겨야 한다. 부재 주장이라면 확인 범위와 실제 상태를, 논리 지적이라면 충돌한다고 본 전제를 적는다. 다음 문단들은 좌표가 어긋난 지적을 받았을 때 적용할 처리 기준이다.

대조 결과 좌표가 어긋난 건은 그 자리에서 곧장 버리지 않는다. 어긋난 건 지목된 위치일 뿐, 지적이 짚은 문제 자체까지 없다는 뜻은 아니어서다.

지목된 자리 주변을 좁게 다시 훑어 같은 문제가 근처에 있는지부터 확인하고, 문제 자체가 어디에도 없을 때만 "반증됨"으로 표시하고 버린다.

버렸다고 그 기록을 지우지는 않는다. 살아남은 지적에만 수정을 적용하고, 반증된 지적은 왜 반증됐는지까지 남겨 둔다.

이 기록이 다음 라운드에서 값어치를 한다. 검증을 다시 돌렸을 때 같은 지적이 또 올라오면, 그사이 원본이 바뀌지 않았을 때만 처음부터 다시 조사하지 않고 이전 반증 기록을 그대로 참조한다.

원본이 바뀌었다면 그 기록은 무효로 보고 처음부터 다시 확인한다.

이 기준에서 반증된 지적을 일부만 수정에 섞는 일은 피한다. 주장 일부만 타당하다면 항목을 나눠 각각의 근거와 판정을 남긴다. 확인이 끝나지 않은 항목은 반증된 항목과 구분해 보류한다.

레인이 막히면 통과의 값도 달라진다

이번 세션에서는 한 벤더의 검증 레인이 한도 소진으로 정상 모델을 쓰지 못했다. 세션 내내 대체 모델로 폴백해 검증을 진행했고, 그 조건에서 판정이 나왔다. 기록에는 이 검증을 성능 저하 상태로 분류해야 한다고 명시돼 있다.

대체 모델로 검증한 벤더는 작성자와 다른 벤더였다. 따라서 작성자가 자기 산출물을 검증하지 않는다는 원칙은 유지됐다. 다만 벤더가 다르다는 조건을 충족한 것과 예정된 정상 레인으로 검증한 것은 별개의 조건이다.

최종 통과는 필수 수정 사항이 남지 않았다는 결과로 기록돼 있다. 그 결과에는 성능 저하 상태의 대체 검증이라는 표시도 함께 남겨야 한다. 정상 레인이 복구되면 재검증해야 한다는 의무까지 기록에 남아 있다.

이 기록만으로 복구 뒤 재검증까지 끝났다고 말할 수는 없다. 통과 여부, 검증 조건, 남은 재검증을 구분해 적어야 한다. 통과라는 단어 하나로는 그 세 가지를 모두 전달할 수 없다.

이번 기록에서 확인된 것은 한 세션의 반증과 대체 검증 결과다. 메모에서 정리한 분류 기준이 다른 작업에서도 같은 효과를 낸다고 측정한 것은 아니다. 비슷한 실전 기록은 프로그래밍 카테고리에 모아 둔다.

자주 묻는 질문

검증자가 지적한 내용은 원칙적으로 다 반영해야 하지 않나?

그대로 반영할 근거는 부족하다. 이번 기록에서도 반려 사유 두 건이 실제 상태와 달라 반증됐다. 메모에서 정리한 기준은 지적을 건별로 확인하고 근거가 남은 항목만 수정에 반영하는 것이다.

모든 지적을 다 원본과 대조해야 하나?

메모의 기준은 주장에 필요한 근거에 따라 확인 대상을 나누는 것이다. 위치·인용·수치와 부재 주장은 해당 원본을 대조하고, 문서 내부의 논리·모순은 문서 안 근거로 판정한다. 논리 지적에 외부 사실이 전제로 섞여 있다면 그 사실도 따로 확인한다.

부재를 주장하는 지적은 왜 원본 확인이 필요한가?

없다는 전제가 틀리면 필요한 작업을 계획에서 빼게 될 수 있기 때문이다. 이번 기록에서는 없다고 지적된 확장 표면이 이미 활성 상태였고, 심링크가 아니라던 자원도 심링크였다. 두 전제를 받아들였다면 필요한 정리 작업이 빠진 채 계획이 통과했을 것이다.

대체 모델로 받은 통과는 어떻게 기록해야 하나?

통과 결과와 대체 검증 조건을 함께 기록한다. 이번 세션에서는 작성자와 다른 벤더가 검증한다는 원칙은 유지됐지만, 한도 소진에 따른 성능 저하 상태로 분류해야 했다. 정상 레인이 복구되면 재검증해야 한다는 의무도 남아 있다.