비전 AI가 부품을 ‘불량’으로 판정했습니다. 현장 작업자는 다시 보고 정상품으로 넘겼습니다. 몇 주 뒤 고객사에서 같은 부품의 품질을 묻습니다. 그때 저장된 값이 ‘AI 불량, 최종 정상’ 두 개뿐이라면 왜 판단이 달라졌는지 설명하기 어렵습니다. 반대로 원본 이미지, 검사 조건, 모델과 기준값, 사람의 재판정 이유, 최종 출하 여부가 연결돼 있다면 당시 결정을 검토할 수 있습니다. 산업용 AI에서는 정확도 지표만큼이나 판정의 증거 묶음이 중요합니다.
무엇을 한 건으로 묶을 것인가
검사 한 건에는 제품 또는 작업지시 ID, 촬영 시각, 카메라·조명·레시피 식별자, 원본 이미지 참조, 전처리 버전, 모델 버전, 판정 임계값, AI 결과, 작업자 확인 결과, 최종 처분을 연결합니다. 추론 점수나 결함 위치도 필요에 따라 저장합니다. 다만 모든 중간 배열과 고해상도 이미지를 무기한 보관하면 비용과 개인정보 문제가 생길 수 있습니다. 목적에 맞는 최소 증거와 보관 기간을 먼저 정하고, 중요한 불량·재검 건에는 더 풍부한 자료를 남기는 계층형 정책이 현실적입니다.
이미지 파일 이름만 기록하고 실제 파일을 나중에 덮어쓰면 증거가 사라집니다. 검사 ID와 불변 객체 키를 연결하고, 파일 해시 또는 무결성 확인 값을 남기면 원본이 바뀌었는지 확인할 수 있습니다. 촬영 실패와 이미지 누락도 정상 판정으로 섞지 말고 별도의 상태로 기록해야 합니다. 현장 네트워크가 끊겼다가 나중에 업로드될 때도 검사 ID가 중복되지 않도록 설계합니다.
‘모델 버전’만으로는 재현되지 않는다
같은 모델 파일이라도 카메라 각도, 조명, 리사이즈 방식, 검사 영역, 임계값이 달라지면 결과가 달라질 수 있습니다. 판정 증거에는 모델 아티팩트 버전뿐 아니라 전처리 파이프라인과 현장 레시피, 당시 적용된 정책 버전이 필요합니다. ‘모델 v3’라는 표기만으로는 부족합니다. 설정 변경이 언제 어느 라인에 배포됐는지 이력도 있어야 합니다. 여러 설비에 순차 배포한다면 같은 날짜에 서로 다른 판정 환경이 공존할 수 있습니다.
재현성에는 두 수준이 있습니다. 당시 화면에 무엇이 나타났는지 확인하는 감사용 재구성과, 같은 입력을 다시 모델에 넣어 결과를 계산하는 기술적 재실행입니다. 후자는 하드웨어와 라이브러리 차이로 완전히 같은 점수를 보장하기 어렵습니다. 따라서 당시 실제 출력값을 보존하면서, 필요한 경우 재실행할 수 있는 모델·설정도 관리하는 이중 접근이 안전합니다. AI 설명용 히트맵은 보조 자료이지 결함의 물리적 원인을 확정하는 증거로 과장해서는 안 됩니다.
사람의 재판정도 데이터다
현장 작업자가 AI 결과를 뒤집는 것은 시스템 실패일 수도 있고, 예외를 올바르게 처리한 것일 수도 있습니다. 재판정에 검사자, 시각, 선택한 사유 코드, 자유 기재, 승인 절차를 남기면 두 경우를 구분할 수 있습니다. 사유 코드는 ‘반사광’, ‘오염 제거 후 정상’, ‘촬영 불량’, ‘실제 결함’처럼 현장에서 사용할 수 있는 표현이어야 합니다. 무조건 긴 설명을 요구하면 형식적인 입력만 늘어납니다. 중요한 건 AI 판정과 사람의 최종 결정을 덮어쓰지 않고 나란히 보존하는 것입니다.
재판정 데이터는 모델 개선에도 도움이 되지만 바로 학습 정답으로 쓰면 위험합니다. 작업자 간 의견 불일치나 실제 후속 불량 여부를 확인해야 합니다. 특히 AI가 통과시켰지만 나중에 불량이 발견된 사례는 현장 피드백과 고객 클레임을 다시 검사 기록에 연결해야 보입니다. 이 연결이 없으면 모델은 현장에서 잘못 놓친 사례를 배우지 못합니다.
증거를 보관하고 찾는 운영 방식
모든 이미지를 운영 DB의 한 테이블에 넣기보다 메타데이터와 파일 저장소를 분리하고 안정적인 ID로 연결하는 방식이 관리하기 쉽습니다. 보관 기간은 제품 위험도, 계약, 내부 품질 정책에 맞게 정합니다. 접근 권한은 검사 담당자, 품질 관리자, 개발자에게 필요한 범위를 다르게 부여하고, 이미지 조회·다운로드 이력을 남깁니다. 모델 학습용으로 재사용할 때는 원래 검사 목적과 다른 데이터 활용이므로 별도 승인·비식별 검토가 필요할 수 있습니다.
운영 화면에서는 제품 ID나 출하 번호로 검사 건을 찾고, 원본→AI 출력→재판정→최종 처분을 시간순으로 볼 수 있게 합니다. 경고 없이 누락된 이미지, 판정 규칙과 모델의 불일치, 승인 없는 재판정은 별도 점검 목록에 올립니다. 초기에는 모든 상황을 자동화하려 하지 말고, 실제 고객 문의 하나를 골라 증거를 끝까지 찾아보는 연습부터 해 보세요.
NIST의 AI 위험관리 프레임워크 측정 플레이북은 AI 시스템의 성능뿐 아니라 사람의 감독과 사후 조치를 검토할 관점을 제공합니다. 우리 현장에 필요한 결론은 단순합니다. AI가 무엇을 말했는지뿐 아니라, 어떤 조건에서 그렇게 말했고 사람이 어떻게 결정했는지를 다시 볼 수 있어야 신뢰 가능한 품질 운영이 됩니다.
