파일 접근 권한 분리
QA Agent가 처음으로 목표 통과율을 넘은 날이었다.
보안 강화랑 UX 개선, 스킬 쌓기를 같이 했는데, 전부 60% 달성의 밑거름이 됐다.
ClawMux 문서 보강도 틈틈이 했다.
가장 구조적인 변화는 에이전트 파일 접근 권한을 분리한 거다.
그 전까지는 Planner, Executor, Sheet Writer 에이전트가 파일 시스템에 직접 접근할 수 있었다.
코드를 읽거나 소스를 탐색할 수 있었다.
근데 에이전트가 강력해지면서 무분별한 파일 접근이 문제가 됐다.
추론 에이전트가 임의의 프로젝트 파일을 읽을 수 있으면, 보안상 위험할 뿐 아니라 디버깅도 어려워진다.
어디서 파일을 읽었는지 추적이 안 되니까. 그래서 파일 접근을 전부 탐색 전용 에이전트로 몰아넣었다.
Planner랑 Executor, Sheet Writer에서 파일 읽기를 뺐다.
코드를 봐야 하면 탐색 에이전트한테 의뢰하는 식이다.
이건 최소 권한 원칙이다.
추론하는 에이전트는 파일을 읽을 필요가 없다.
파일을 봐야 하는 건 탐색 에이전트가 한다.
역할을 명확히 나누니까, 문제가 생겼을 때 어디서 왔는지 추적하기도 쉬워졌다.
슬랙 명령을 모달로
/qa 명령을 인라인에서 모달로 바꿨다.
그 전까지는 슬랙에서 /qa를 치면 인라인으로 입력을 받았다.
근데 이 방식은 입력값 검증이 까다로웠다.
모달로 바꾸니까 구조화된 입력을 받을 수 있어서 검증이랑 사용자 경험이 다
좋아졌다.
그리고 대기 중 멈춤 감지 로직도 개선했다.
QA 에이전트는 브라우저를 돌리느라 오래 걸리는 작업이다.
그런데 에이전트가 진짜 일하고 있는 건지, 멈춰 있는 건지 구분이 안 될 때가 있었다.
멈춘 걸 진짜 일하는 걸로 착각하면 실행이 무한히 걸리고 진짜 일하는 걸 멈춘 걸로 착각하면 실행이 중간에 죽는다.
이 감지 로직을 더 정확하게 만들었다.
관리자 스킬 직접 쌓기
스킬 시스템에 직접 스킬을 쌓기 시작했다.
QA Agent는 실행 결과에서 패턴을 추출해서 도메인 스킬로 승격시키는 파이프라인을 가지고 있다.
근데 처음엔 쌓인 스킬이 없다.
그래서 내가 직접 관리자 화면에서 흐름을 돌려보면서 절차를 익히고 그걸 스킬로 문서화했다.
세 가지 스킬을 만들었다.
코스 생성, 국비지원 코스 필수 정보 입력, 수강생 등록. 이 스킬은 다음에 같은 흐름을 실행할 때 Planner가 조회해서 활용한다.
처음부터 스킬이 있으니까 실행이 훨씬 안정적이었다.
첫 60% 통과율
그리고 이날 처음으로 목표 통과율을 넘었다.
28개 케이스 중 17개가 통과했다.
60.7%. 이게 가능했던 건 멀티 에이전트 구조 덕분이었다.
단일 함수 시절에는 병렬 실행도, 막힌 케이스만 재시도하는 것도, 막힌 원인을 분석하는 것도 안 됐다.
그래서 통과율이 50% 언저리에서 멈췄다.
근데 Inspector가 막힌 원인을 분석하고 2단계 재시도가 막힌 케이스만 다시 돌리고 파일 접근이 분리되면서 실행이 안정해졌다.
60%는 “처음으로 결과를 신뢰할 수 있다”는 기준이었다.
동전 던지기 수준이 아니라, 결과를 보고 판단에 쓸 수 있는 단계. 이날 그 기준을 넘었다.
ClawMux 문서 보강
QA Agent 외에 ClawMux 문서도 정리했다.
신뢰도 임계값 문서화가 하나. 코드에는 낮은 신뢰도일 때 보통 등급으로 폴백하는 로직이 있었는데, 문서에는 이 설명이 빠져 있었다.
그래서 코드는 맞는데 문서가 틀린 상태였다.
문서에 이 동작을 추가하고 가이드 문서 세 개를 새로 썼다.
설치, 설정, 작동 원리. 그리고 라우팅 로그에 마지막 사용자 메시지의 앞 100글자를 같이 출력하게 만들어서 디버깅할 때 어느 요청인지 바로 알 수 있게 했다.
세션 로거도 CREATE-only로 바꿨다.
기존에는 APPEND 모드라서 기존 노트를 덮어쓰는 문제가 있었다.
작업 타임라인이 날아갔다.
CREATE-only로 바꾸니까 매 대기 이벤트마다 새 타임스탬프 노트가 만들어져서 전체 작업 기록이 보존된다.
마무리
60% 통과율은 마일스톤이었다.
처음으로 “이 결과를 믿고 쓸 수 있다”는 느낌이 들었다.
그리고 그 60%는 하루아침에 온 게 아니다.
파일 접근 분리, 모달 전환, 스킬 쌓기, 며칠간의 안정화 작업이 다
쌓여서 나온 결과다.
파일 접근을 탐색 에이전트로 몰아넣은 결정이 특히 잘 먹혔다.
역할이 명확해지니까 실행이 안정해졌고 디버깅도 쉬워졌다.
최소 권한 원칙은 보안뿐 아니라 안정성에도 기여한다.
이 60%는 시작이었다. 이후 며칠간 탐색 에이전트를 더 안정화하면서 통과율이 계속 올라갔다.
구조가 제자리를 잡으니까 개선 속도가 빨라졌다.