사내 검색 AI가 근거를 찾지 못했는데도 유창하게 답하면, 사용자는 그 답을 규정으로 받아들일 수 있습니다. 모른다는 응답은 기능 실패가 아니라 위험을 제어하는 정상 경로입니다. 어떤 때 답변을 보류하고 누구에게 넘길지 제품 규칙으로 설계해야 합니다.
검색 결과의 존재와 충분성을 구분한다
관련 문서가 하나 나왔다고 질문의 핵심을 뒷받침한다고 볼 수 없습니다. 문서가 오래됐거나 질문에 필요한 조건이 빠져 있을 수 있습니다. 답변 전에 출처의 권한, 유효 시점, 질문과의 범위를 확인합니다.
문서 검색 점수는 문장 생성의 진실성을 보증하지 않습니다. 점수 한계값만으로 자동 답변 여부를 결정하지 말고, 필수 사실을 실제로 추출할 수 있는지와 출처끼리 충돌하는지도 검사합니다.
답변 보류를 구체적인 상태로 만든다
'잘 모르겠습니다'라는 문장만 내보내면 사용자는 무엇이 부족한지 알기 어렵습니다. 관련 자료 없음, 권한 부족, 문서 충돌, 적용일 불명 같은 이유를 구분해 보여 줍니다. 공개 가능한 범위에서 다음 행동도 안내합니다.
권한이 없는 문서의 존재 자체가 민감할 수 있습니다. 접근 불가 이유를 상세히 드러내기 전에 정책을 확인합니다. 사용자가 추가 정보를 입력하면 해결되는 경우와 관리자 검토가 필요한 경우를 다르게 처리합니다.
근거가 있는 부분만 답한다
질문의 일부만 문서로 확인됐다면 전체를 하나의 단정문으로 포장하지 않습니다. 확인된 사실과 미확인 부분을 분리하고, 어느 문장에 어떤 문서가 근거인지 연결합니다. 원문을 열어 확인할 수 있는 경로도 제공합니다.
인용 위치만 붙인다고 안전해지는 것은 아닙니다. 인용된 문장이 실제 주장과 일치하는지 평가해야 합니다. 제품이나 규정의 예외 조건을 생략하는 요약은 그럴듯하지만 실무에서 가장 위험한 오류 중 하나입니다.
가상 사례: 휴가 규정이 일부만 검색된 경우
사용자가 특정 직군의 특별휴가 일수를 묻는데 전체 직원 규정만 찾았다고 가정해 봅시다. 전체 직원 규정을 근거로 숫자를 답하면 직군별 예외를 놓칠 수 있습니다. 직군 문서가 없다는 사실을 표시하고 답변을 보류합니다.
검색 범위를 넓혀도 관련 문서가 없다면 담당 부서로 질의를 넘기고, 이후 확정된 답을 지식 문서에 반영할 수 있습니다. 사람에게 넘기는 기준과 응답 기한도 업무 흐름의 일부입니다. 이 사례는 설계를 설명하기 위한 가정입니다.
보류율을 무작정 낮추지 않는다
답변 비율이 높아지는 것이 품질 향상이라는 보장은 없습니다. 보류된 질문을 검토해 실제 문서 공백인지, 검색 실패인지, 질문이 모호한지 구분합니다. 유형에 따라 문서를 보강하거나 검색·질문 입력 방식을 개선합니다.
평가 세트에는 답이 있는 질문뿐 아니라 답이 없는 질문, 오래된 문서, 충돌 문서, 권한 없는 문서를 포함합니다. 잘못된 단정과 과도한 보류를 함께 측정합니다. 신뢰할 수 있는 검색 AI는 정답을 아는 범위를 명확히 합니다.
현장에 적용할 때의 순서
- 답변할 수 없는 질문의 유형을 수집한다
- 유형별로 검색·권한·문서 충돌을 검사한다
- 보류 이유와 담당자 연결을 화면에 표시한다
주의할 실패: 검색 점수만 높다는 이유로 예외 규정까지 단정하면 근거 링크가 있어도 오답이 된다.
관찰할 지표: 답변 보류와 잘못된 단정의 비율을 질문 유형별로 함께 본다.
적용 전 체크리스트
- 근거가 없거나 충돌하면 보류하는가
- 보류 이유와 다음 행동을 사용자에게 설명하는가
- 답 없는 질문을 포함해 평가하는가
참고 자료
NIST AI Risk Management Framework. NIST의 신뢰성 관리 원칙을 참고했습니다. 보류 사유 분류와 평가 항목은 기업 문서 검색에 맞춰 제안한 운영 설계입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#RAG #검색AI #환각방지 #답변보류 #근거검증 #기업AI #지식검색 #문서권한 #AI평가 #업무자동화
