AI 에이전트가 보고서를 요약하는 것과 실제 결제를 실행하는 것은 위험이 다릅니다. 둘 다 같은 도구 호출로 취급하면 사용자는 어느 순간 업무가 확정되는지 알기 어렵습니다. 사람이 승인해야 하는 경계는 모델의 자신감이 아니라 실행 결과의 영향으로 정해야 합니다.
승인이 필요한 행동을 먼저 분류한다
정보 검색이나 초안 작성은 보통 되돌리기 쉽습니다. 반면 송금, 고객 통지, 계약 변경, 데이터 삭제는 외부 상태를 바꾸고 회수가 어려울 수 있습니다. 도구별 권한과 영향 범위를 기록해 승인 수준을 나눕니다.
단순히 금액이 작다고 자동 실행해도 된다는 규칙은 위험합니다. 반복 횟수나 수신자 범위, 변경 대상의 민감도를 함께 봐야 합니다. 조직 정책이 정한 경계가 모델 프롬프트보다 우선하도록 서버에서 강제합니다.
승인 요청에는 결과를 보여 준다
사용자에게 '진행할까요?'만 묻지 말고 대상, 금액, 수신자, 변경 전후 값, 예상 부작용을 제시합니다. 사람이 무엇을 승인했는지 기록하려면 요청 내용의 안정된 요약과 작업 식별자가 필요합니다.
승인 화면을 연 뒤 데이터가 바뀔 수 있습니다. 실행 직전에 대상의 버전을 다시 확인하고 승인 당시와 다르면 재승인을 요청합니다. 오래된 화면의 확인 버튼이 새로운 거래에 적용되지 않게 하는 것이 핵심입니다.
승인과 실행을 분리한다
에이전트는 제안을 만들고 서버가 정책 검사 및 실제 실행을 맡습니다. 승인 토큰은 한 작업, 한 대상, 정해진 만료 시각에만 유효하게 설계합니다. 브라우저의 체크박스만으로 고위험 도구를 열어 주지 않습니다.
중단·재시도 상황도 생각해야 합니다. 승인 뒤 네트워크가 끊기면 같은 작업을 다시 실행하지 않도록 멱등 키를 적용하고, 실행 결과를 작업 기록에 연결합니다. 승인 완료와 실행 완료를 서로 다른 상태로 보여 줍니다.
가상 사례: 고객 전체에 발송할 안내문
AI가 문안을 작성하고 발송 대상 3만 명을 선택했다고 가정해 봅시다. 문안 검토만으로는 실제 대상과 발송 시각을 확인하지 못합니다. 최종 승인 화면에는 문안 버전, 대상 조건, 예상 건수와 예외 집단을 표시합니다.
실행 직전 대상 집계가 크게 달라지거나 제외 규칙이 바뀌면 발송을 멈춥니다. 소규모 시험 발송과 전송 취소 가능 시간도 검토할 수 있습니다. 이 수치는 설명을 위한 가상 예시이며 실제 서비스의 규모를 뜻하지 않습니다.
감사 기록과 실패 대응을 남긴다
누가 무엇을 제안했고 어떤 내용으로 승인했으며 실제 도구가 무엇을 반환했는지 연결합니다. 모델의 자연어 설명만 저장하면 나중에 실행 인자를 재구성하기 어렵습니다. 민감한 값은 필요한 범위만 기록합니다.
승인을 거절했을 때 에이전트가 우회 도구를 찾지 못하도록 동일 정책을 모든 경로에 적용합니다. 운영 중에는 승인 대기 시간, 재승인 원인, 잘못된 실행 시도를 확인합니다. 잘 설계된 승인 경계는 사람에게 책임을 떠넘기지 않고 판단에 필요한 정보를 제공합니다.
현장에 적용할 때의 순서
- 승인 도구 목록을 영향도별로 분류한다
- 승인 화면에 실행 인자와 대상 버전을 보여 준다
- 승인·실행 결과를 같은 작업 ID로 연결한다
주의할 실패: 승인 화면을 연 뒤 대상이 수정돼도 이전 확인을 그대로 적용하면 사용자가 보지 않은 내용이 실행된다.
관찰할 지표: 재승인 건수, 거절 뒤 우회 시도, 승인 후 실행 실패를 따로 집계한다.
적용 전 체크리스트
- 영향이 큰 도구가 서버 정책상 승인을 요구하는가
- 승인한 대상·버전과 실행 대상이 일치하는가
- 거절·중단·재시도 경로에서 우회 실행을 막는가
참고 자료
NIST AI Risk Management Framework. NIST 자료는 AI 위험을 맥락에 따라 관리하는 상위 프레임워크입니다. 여기의 승인 토큰과 도구 실행 단계는 이를 업무 시스템에 적용한 설계 예시입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#AI에이전트 #도구승인 #인간검토 #AI거버넌스 #업무자동화 #권한관리 #에이전트보안 #멱등성 #감사로그 #기업AI
