종이 신청서나 거래명세서를 사람이 한 장씩 입력하던 업무에 OCR을 붙이면 화면 데모는 금방 그럴듯해진다. 문서의 글자가 구조화된 필드로 채워지기 때문이다. 그러나 주문번호의 한 자리, 납품일의 한 칸, 금액의 구분기호가 틀리면 이후의 승인·정산·고객 응대까지 잘못된 값을 따라간다. 문서 AI의 성공 기준은 읽은 글자 수가 아니라, 검증된 값이 올바른 업무 단계로 들어간 비율이다.
Microsoft의 Document Intelligence 투명성 안내도 문서 유형과 실제 데이터에 따라 추출 품질을 평가하고, 신뢰도에 따라 사람 검토로 보내는 방식을 설명한다. 여기서 제시하는 특정 임계값은 모든 조직에 통하는 정답이 아니다. 우리 문서와 오류 비용으로 경계를 정해야 한다.
먼저 문서가 아니라 업무 결과를 정의한다
같은 OCR 결과라도 어디에 쓰는지에 따라 허용 오차가 다르다. 주소 일부가 틀린 내부 검색 색인은 다시 찾을 기회가 있지만, 계좌번호나 납품 수량이 틀린 지급·출고 입력은 영향이 크다. 자동 입력할 필드, 담당자가 확인할 필드, 문서 전체를 반려할 조건을 업무 담당자와 함께 정한다. ‘인식 정확도 95%’ 같은 단일 수치는 특정 핵심 필드의 실패를 가릴 수 있다.
예를 들어 송장이라면 거래처, 문서번호, 발행일, 품목, 수량, 단가, 합계의 관계를 따져야 한다. 글자를 읽은 결과와 비즈니스 규칙의 검증은 다른 단계다. 합계가 맞아도 거래처 코드가 다른 회사로 매핑되면 잘못된 거래다. 반대로 표 형식이 낯설어 모델 신뢰도가 낮아도 사람이 보면 분명한 값일 수 있다.
필드마다 출처와 신뢰도를 함께 보관한다
추출 결과를 단순한 JSON 값으로만 저장하면 나중에 왜 그 값을 얻었는지 설명하기 어렵다. 각 필드에 원본 문서 ID, 페이지, 이미지의 위치, 추출 시각, 모델·규칙 버전, 신뢰도와 검증 상태를 연결한다. 원본의 어느 영역을 보고 나온 값인지 보여 줘야 검수자가 다시 읽을 수 있다. 문서를 수정하지 않고 추출 결과만 바꾸는 구조라면 정정 전후의 차이도 남긴다.
신뢰도는 검수 우선순위를 정하는 신호이지 정확성의 보증서가 아니다. 문서 품질, 손글씨, 표의 병합 셀, 촬영 각도, 낯선 양식 때문에 모델이 높은 점수를 주고도 틀릴 수 있다. 반대로 낮은 점수는 단지 레이아웃이 새롭다는 뜻일 수 있다. Microsoft의 문서 처리 기술 선택 안내도 필드별 근거와 신뢰도를 사람 검토에 연결하는 접근을 설명한다. 임계값은 실제 오류 사례를 모아 재조정해야 한다.
검증은 모델 바깥에서 한 번 더 한다
추출된 값에 형식 검사를 건다. 날짜가 가능한 날짜인지, 사업자 코드나 주문번호의 자릿수가 맞는지, 필수 필드가 빠졌는지, 수량×단가와 합계가 맞는지 확인한다. 내부 마스터 데이터와 대조할 때는 동명이인이나 비슷한 상호를 자동으로 하나에 매핑하지 않는다. 충돌하는 후보가 있으면 담당자가 고르게 한다. 모델을 더 크게 만드는 것보다 이 작은 규칙이 위험한 오류를 먼저 줄이는 경우가 많다.
문서 묶음의 구성도 확인한다. 한 파일에 여러 고객의 문서가 들어 있거나, 뒷장이 빠져 있거나, 같은 문서가 다시 들어오면 필드 하나의 정확도만으로 처리할 수 없다. 업로드 단계에서 파일 유형과 악성 파일 검사를 하고, 문서 유형 분류와 페이지 연결을 마친 다음에 필드 추출로 넘어간다. 잘못된 유형의 모델로 읽으면 모든 필드가 그럴듯한 오답이 될 수 있다.
검수 화면은 원본과 값을 나란히 보여 준다
사람 검토를 ‘확인’ 버튼 하나로 만들면 자동화 오류를 수동으로 추인하는 절차가 된다. 검수자는 추출값 옆에서 원본 영역을 바로 볼 수 있어야 한다. 경고 이유, 관련 규칙, 다른 후보값, 이전 문서와의 차이를 한 화면에 보여 주고, 수정·보류·반려를 구분한다. 키보드로 필드를 빠르게 이동하고 저장 전 변경 내용을 다시 확인할 수 있어야 실제 처리량이 나온다.
검수자에게는 모델의 신뢰도만 보여 주지 않는다. 그 점수가 높으면 사람이 무심코 통과시키는 자동화 편향이 생길 수 있다. 핵심 필드는 원본 확인을 강제하고, 위험이 낮은 필드만 표본 검수를 적용하는 식으로 정책을 나눈다. 검수 완료 후에는 어떤 사람이 어떤 값을 바꾸었고 어떤 업무 시스템으로 보냈는지 추적할 수 있어야 한다.
오류를 학습 자료로 되돌리되 개인정보는 줄인다
검수에서 고친 사례는 다음 개선의 자산이다. 오류를 필드별·문서 유형별·원본 품질별로 나누어 본다. OCR 자체가 글자를 잘못 읽었는지, 추출기가 다른 필드를 골랐는지, 비즈니스 규칙이 모호했는지 구분해야 맞는 개선책이 나온다. 원본 이미지와 개인식별정보를 개발·평가 환경에 무분별하게 복제하지 말고, 필요한 범위와 보관기간을 정한다.
운영 지표는 문서 전체의 자동 처리율 하나로 끝내지 않는다. 중요 필드의 정정률, 사람 검수 대기 시간, 반려 후 재접수율, 최종 업무 오류, 신규 양식에서의 실패를 함께 본다. 분기마다 다른 양식이 들어오면 평가 세트도 갱신한다. 모델 교체 전후에 동일한 문서 샘플을 돌려 실제 검수 부담이 줄었는지 확인한다.
도입 체크리스트
- 문서 유형과 업무 영향이 큰 필드를 먼저 정했는가?
- 원본 위치와 추출 근거를 필드에 연결했는가?
- 형식·합계·마스터 데이터 검증을 모델 밖에 두었는가?
- 낮은 신뢰도와 충돌 사례를 사람 검수로 보낼 수 있는가?
- 검수 화면에서 원본·결과·수정 이력을 함께 볼 수 있는가?
- 검수 결과를 개인정보를 지키며 평가 자료로 활용하는가?
OCR은 입력을 빠르게 시작하게 해 주지만, 업무 데이터의 책임을 대신 져 주지는 않는다. 읽기, 검증, 사람 판단, 기록을 분리한 시스템이 되어야 문서 자동화가 데모를 넘어 운영으로 간다.
