AI Workbench
서로 다른 AI 모델이 계획 · 구현 · 검토를 나눠 맡는 로컬 개발 자동화 도구
개인 프로젝트 · Windows 데스크톱 · 2026.09 ~ 진행 중
담당 범위
| 담당 | 제품 방향 · 규칙 · 상태 흐름 · 승인 단계 설계. 구현은 AI에게 맡기고(바이브 코딩), AI가 지켜야 할 작업 규칙을 문서로 만들어 운영 |
| 협업 | 없음 (개인 프로젝트) |
| 상태 | 사용 중 · 계속 고치는 중 |
30초 요약
AI 코딩 도구 여러 개를 하나의 작업 흐름으로 이어 붙인 도구다. 계획 · 구현 · 검토를 서로 다른 AI 모델이 나눠 맡고, 단계마다 AI끼리 교차 검토한다. 사람은 첫 계획을 확정할 때와, 자동화가 멈춰 선 자리에서만 본다.
모델 둘을 잇는 것 자체는 어렵지 않다. 이 도구에서 공을 들인 것은 둘이다.
- AI가 한 일을 믿을 수 있게 — AI의 “다 했다”는 말을 그대로 받지 않고, 다른 모델의 검토와 실행 기록으로 다시 확인한다
- 끝없이 돌지 않게 — 모든 반복에 상한을 걸고, 넘으면 멈춰서 왜 멈췄는지 남긴다
핵심 축: AI끼리 교차 검토 · 기록으로 판정 · 상한과 멈춤 · 단계별 권한
문제 상황
- AI 코딩 도구는 빠르다. 하지만 “다 했다”는 말을 그대로 믿을 수 없다
- 사람이 매번 지시문을 쓰고, 결과를 옮기고, 다시 검토를 시키는 반복이 크다
- 그렇다고 자동으로 계속 돌리면, 잘못된 방향으로 스스로 계속 나아가 사람이 끼어들 틈이 없어진다
- 권한을 다 열면 위험하고, 다 막으면 일을 못 한다
주요 설계 포인트
① AI끼리 교차 검토
계획 · 검토와 구현을 서로 다른 모델에 배정한다. 구현한 모델은 자기 결과를 검토할 수 없다.
단계마다 구현 → 자동 검증 → 다른 모델의 검토 순서로 돈다. 계획은 여러 번 검토한 뒤 확정하는데, 첫 계획은 사람이 확정하고, 할 일 목록을 이어 갈 때의 다음 계획부터는 서버 검사를 통과할 때만 자동으로 확정된다.
② 말이 아니라 기록으로 판정
서버는 모델의 보고를 사실로 받지 않는다. 실행 기록과 저장소 상태를 직접 읽어 결과를 받아들일지 정한다. 읽기만 해야 하는 단계에서 수정하려 한 흔적이 보이면 그 결과를 버린다.
③ 상한과 멈춤 — 끝없이 돌지 않게
상한이 없으면 자동화는 틀린 방향으로도 계속 간다. 그래서 모든 반복에 상한을 걸었다.
| 상한 | 넘으면 |
|---|---|
| 단계 하나의 보정 횟수 | 검증이 계속 실패하면 멈춘다. 그 자리에서 이어서 진행할 수 있다 |
| 계획 요청 하나의 호출 수 | 3회 |
| 작업 전체 | 호출 수 · 걸린 시간 · 보정 횟수를 작업 전체가 나눠 쓴다 |
| 할 일 목록 연속 진행 | 1~10개, 기본 5개. 목록이 줄지 않거나 남은 항목이 없어도 멈춘다 |
| 동시 실행 | 서버 전체에서 2건. 폴더가 겹치는 작업은 함께 돌지 않는다 |
멈춘 까닭은 종류별로 나눠 기록한다(사람이 중단 · 실행 환경 문제 · 보정 상한 등). 이어서 진행해도 되는 종류와 아닌 종류도 따로 구분한다.
진행 중에 범위 밖 일에 걸리면 일시정지하고 확인 카드를 띄운다. 사유와 추천안을 보여 주고, 사람이 고른 것만 반영해 이어 간다. 사람은 매 단계를 보는 대신 이 카드가 뜰 때만 본다.
④ 단계별 권한
실제 권한은 세 가지가 모두 겹치는 범위로만 정해진다.
| 겹쳐야 하는 것 | 뜻 |
|---|---|
| 단계의 범위 | 지금 단계가 허용하는 일 |
| 모델에 준 권한 | 그 모델에게 열어 준 일 |
| 확인된 기능 | 그 모델이 실제로 할 수 있다고 확인된 일 |
- 계획 · 검토 단계는 항상 읽기 전용이다
- 제한된 쓰기 권한으로 도는 단계는 비밀 정보 · 패키지 추가 · 프로젝트 밖 쓰기에 닿으면 멈추고 사람에게 묻는다
- 전체 권한으로 도는 구현 단계는 패키지 수정을 허용하되 바뀐 파일을 표시한다. 푸시와 프로젝트 밖 쓰기는 이 단계에서 기술적으로 막지 못하므로, 아래 ⑥처럼 “지침일 뿐”이라고 표시한다
- 푸시는 도구가 하지 않는다. 사람이 직접 한다
⑤ 되돌릴 수 있는 진행
단계마다 로컬 커밋을 남기고, 서버가 그 목록을 관리한다. 설명되지 않는 변경이 보이면 그 위에 쌓지 않고 멈춘다.
⑥ 막지 못하는 것은 막지 못한다고 적는다
기술적으로 강제할 수 없는 제한은 화면과 기록에 “지침일 뿐” 이라고 표시한다. 막은 것처럼 보이게 두지 않는다.
⑦ 끝까지 이어 가기
프로젝트의 할 일 목록을 읽어, 한 항목이 끝나면 다음 항목의 계획부터 다시 시작한다. 몇 개까지 이어 갈지는 ③의 상한을 따른다.
구조
- .NET 로컬 서버 + React 화면 + WebView2 창
- 화면은 표시와 입력만 맡는다. 모델 · Git · 파일 접근과 마지막 권한 검사는 서버만 한다
- 화면에는 자유 명령 입력이 없다. 등록된 명령만 실행한다
- 새 모델은 어댑터로 추가한다. 지금은 GPT(Codex) · Claude · Gemini 를 붙였다
어떻게 일했는가
코드는 직접 쓰지 않고 AI에게 맡겼다. 대신 AI가 지켜야 할 작업 규칙(승인 단계 · 검증 기준 · 인계 양식 · 기록 방식)을 문서로 만들어 운영했고, 실제로 쓰면서 나온 문제를 근거로 구조를 고쳤다.
- 잘못 잡은 판정 고치기 — 읽은 문서 속 낱말을 “수정하려 했다”로 잘못 판정하는 문제가 있었다. 같은 상황을 다시 만드는 시험을 붙여 고쳤다
- AI가 일을 바꿔치기한 문제 — 사람이 직접 실행해야 끝나는 일을 AI가 문서 작업으로 바꿔 끝낸 것을 찾았다. 직접 재야 하는 검증을 별도 경로로 넘기는 방식으로 다시 설계하고 있다
규모 (2026.11 기준)
| 항목 | 값 |
|---|---|
| 자동 시험 | 서버 2,000여 건 · 화면 1,000여 건 |
| 적용 | 연습용을 포함해 6개 프로젝트 |
시간이 얼마나 줄었는지 같은 효과 수치는 재지 않았다.