사내 검색 AI가 관련 문서를 두 개 찾았는데 한쪽은 허용, 다른 쪽은 금지라고 설명합니다. 검색 점수가 높은 문서를 고르면 될까요? 검색 점수는 질문과 문서가 얼마나 관련 있는지를 나타낼 뿐, 어떤 문서가 현재 업무에 적용되는지를 보장하지 않습니다. 문서가 많아질수록 검색 성능과 함께 근거의 우선순위를 설계해야 합니다.
충돌은 오류가 아니라 업무의 일부다
본사 공통 규정과 특정 사업장의 예외 규정은 동시에 유효할 수 있습니다. 새 규정이 승인됐어도 시행일 전에는 구규정을 적용할 수 있고, 회의록에는 아직 승인되지 않은 제안이 담겨 있을 수 있습니다. 제목과 작성일만 보고 최신 문서를 고르면 이러한 차이를 놓칩니다.
문서 충돌을 모두 데이터 정리 실패로 취급할 필요는 없습니다. 중요한 것은 권위가 다른 문서와 적용 대상이 다른 문서를 구분하는 것입니다. 원본을 삭제해 충돌을 감추기보다 어느 범위에서 무엇을 따라야 하는지를 기계가 판단할 수 있게 표현해야 합니다.
문서 조각에도 적용 맥락을 붙인다
검색용으로 문서를 작은 조각으로 나눌 때 문서 ID, 버전, 승인 상태, 시행 시작·종료일, 적용 조직과 품목을 함께 보존합니다. 예외 조항은 상위 규정과의 관계도 기록합니다. 조각 안에 설명이 없더라도 원문 기준을 다시 찾을 수 있어야 합니다.
맥락을 보강한다고 모델이 추측한 내용을 공식 규정처럼 저장해서는 안 됩니다. 승인 여부나 시행일은 관리 시스템의 확정 필드에서 가져오고, 자동 생성한 요약은 원문과 별도로 표시합니다. 검색을 돕는 문장과 의사결정의 근거가 되는 관리 정보를 구분하는 것이 핵심입니다.
우선순위는 점수보다 업무 규칙으로 정한다
답변 전에 질문의 대상 조직, 작업일, 제품이나 계약을 확인합니다. 그 조건에 맞는 유효 문서를 먼저 좁힌 뒤 승인 권한과 예외 관계를 적용합니다. 같은 조건에서 동급 문서가 충돌하면 검색 점수 차이로 승자를 정하지 않고 충돌 사실을 사용자에게 보여 줍니다.
질문에 대상 사업장이 없으면 전체 규정을 섞어 답하지 않습니다. 공통 기준만 안내하거나 필요한 조건을 물어봅니다. 답을 늦추는 비용과 잘못된 기준을 적용하는 비용을 비교하면 어떤 질문에서 보류해야 하는지 합의하기 쉬워집니다.
가상 사례: 설비 점검 주기가 다른 두 문서
일반 작업표준에는 정기 점검 주기가 길게 잡혀 있고, 고온 환경용 부속 문서에는 더 짧은 주기가 정해져 있다고 가정해 봅시다. 검색 AI가 두 문서를 모두 찾았다면 설비가 어느 환경에서 운전되는지 확인한 뒤 적용 기준을 설명해야 합니다.
답변에는 선택한 근거뿐 아니라 다른 문서를 적용하지 않은 이유도 간단히 남깁니다. 예를 들어 특정 환경에만 적용되는 승인된 예외라는 설명과 원문 위치를 함께 보여 줄 수 있습니다. 사례의 주기는 실제 안전 기준이 아니라 문서 선택 구조를 설명하기 위한 가정이며, 실제 기준은 현장의 승인된 문서로 결정합니다.
평가 데이터에 일부러 충돌을 넣는다
정답 문서 하나만 있는 질문으로 RAG를 평가하면 운영에서 발생하는 충돌 대응을 알 수 없습니다. 시행일 전후, 폐기된 문서와 현행 문서, 본사 규정과 승인된 예외, 승인되지 않은 초안을 함께 넣은 질문을 만듭니다. 답변이 맞았는지와 적용 문서를 제대로 골랐는지를 따로 평가합니다.
또한 근거가 부족할 때 보류하는 능력도 봅니다. 자신 있게 한쪽을 선택한 답변보다 충돌을 설명하고 담당 부서 확인으로 넘긴 답변이 업무상 더 나을 수 있습니다. 보류율 자체를 낮추는 대신 불필요한 보류와 필요한 보류를 구분해야 합니다.
규정 담당자가 운영할 수 있어야 한다
문서 관리 화면에서 충돌 후보, 적용 범위 누락, 만료 예정 문서를 보여 주면 담당자가 검색 품질을 직접 개선할 수 있습니다. 답변 오류가 생길 때마다 프롬프트만 수정하는 방식은 문서 체계의 문제를 해결하지 못합니다. 변경된 규정은 검색 색인과 답변 캐시에도 반영돼야 합니다.
처음에는 중요한 규정 한 종류부터 적용해도 됩니다. 문서 소유자, 승인 단계, 예외 관계를 합의하고 실제 질문으로 검증한 뒤 범위를 넓힙니다. RAG를 믿을 수 있게 만드는 것은 많은 문서를 읽히는 능력뿐 아니라 적용할 수 있는 문서를 구분하는 능력입니다.
실무 체크리스트
- 문서 조각에 승인 상태와 시행일이 연결돼 있는가
- 예외 규정의 대상과 상위 규정을 확인할 수 있는가
- 동급 근거가 충돌할 때 답변을 보류하는가
참고 자료: Anthropic의 문서 조각 맥락 보강 설명. 참고 자료는 문서를 분할할 때 사라지는 맥락을 보완하는 검색 방법을 다룹니다. 승인 권한과 시행일의 우선순위는 기업별로 별도 정의해야 하는 업무 규칙입니다.
본문 이미지는 이해를 돕기 위해 생성한 개념 삽화이며 실제 측정 자료나 고객 현장 사진이 아닙니다.
#RAG #사내문서검색 #문서버전 #지식관리 #기업AI #근거기반답변 #검색품질 #문서승인 #업무규정 #AI도입
