불량이 거의 없는 생산라인에서 모든 제품을 정상이라고 판정해도 전체 정확도는 높게 나올 수 있습니다. 그래서 검사 AI의 성능을 정확도 한 숫자로 설명하면 중요한 위험을 놓칩니다. 현장에서는 실제 불량을 얼마나 잡았는지와 경보 중 정말 불량이 얼마나 되는지를 함께 봐야 합니다.
네 가지 결과를 먼저 세어 본다
정상을 정상으로 본 경우, 불량을 불량으로 본 경우, 정상을 불량으로 잘못 본 경우, 불량을 정상으로 놓친 경우를 구분합니다. 전체 건수를 바탕으로 이 네 가지를 세면 지표의 의미가 명확해집니다. AI가 불량이라고 표시한 것만 재검하면 놓친 불량을 알 수 없다는 점도 중요합니다.
검사 단위를 제품, 이미지, 결함 영역 중 무엇으로 볼지도 정합니다. 한 제품을 여러 번 촬영했다면 이미지 단위 성능과 제품 최종 판정은 다를 수 있습니다. 서로 다른 단위의 숫자를 한 표에서 비교하지 않도록 정의를 고정합니다.
정밀도와 재현율은 다른 질문에 답한다
정밀도는 불량이라고 경고한 대상 중 실제 불량의 비율입니다. 재현율은 실제 불량 중 찾아낸 비율입니다. 전자는 재검 업무량과 관련이 있고 후자는 미검출 위험과 관련이 있습니다. 둘 중 하나만 높이는 방식으로 현장 성능을 설명하기 어렵습니다.
임계값을 낮추면 더 많은 대상을 경고해 재현율이 높아질 수 있지만 정밀도가 낮아질 수 있습니다. 임계값을 고르는 문제는 통계 지표와 재검 인력, 불량 유형별 손실을 함께 고려하는 운영 판단입니다. 실제 출하 기준은 승인된 품질 절차와 연결해야 합니다.
가상 숫자로 보는 기저율의 영향
제품 10,000개 중 실제 불량이 10개이고, 그중 9개를 잡았다고 가정해 봅시다. 정상품을 불량으로 잘못 경고한 것이 100개라면 재현율은 90%지만 경고 109개 중 실제 불량은 9개이므로 정밀도는 약 8.3%입니다. 이 숫자는 개념을 설명하는 가상 예시입니다.
불량을 잘 잡는 모델이어도 경고 대부분이 정상품일 수 있다는 뜻입니다. 실제 불량 비율이 달라지면 같은 민감도와 오탐률을 가진 모델의 정밀도도 달라집니다. 시험용 데이터에서 불량 비중을 크게 늘렸다면 그 정밀도를 운영 라인에 그대로 적용하지 않습니다.
평가 표본을 두 목적에 맞게 구성한다
불량 유형별 검출 능력을 확인하려면 드문 결함을 충분히 포함한 도전 평가셋이 필요합니다. 동시에 실제 운영에서 경보가 얼마나 발생하는지 보려면 생산 분포를 반영한 별도 표본이 필요합니다. 두 평가셋의 역할과 표본 구성 비율을 명시합니다.
하나의 생산 로트에서 나온 비슷한 이미지가 학습과 평가에 섞이지 않도록 주의합니다. 제품군, 설비, 기간과 촬영 조건별로 성능을 나누어 보고 특정 결함에서 실패가 몰리는지도 확인합니다. 전체 평균은 이러한 차이를 숨길 수 있습니다.
불확실한 지표는 불확실하다고 표시한다
실제 불량 표본이 매우 적으면 재현율 추정도 크게 흔들립니다. 불량 몇 개를 모두 잡았다는 결과만으로 거의 완벽한 검사를 주장하지 않습니다. 표본 수와 평가 범위, 추정의 불확실성을 함께 제시합니다.
미검출은 정상 판정 제품의 표본 재검이나 후공정 결과와 연결해 찾아야 합니다. 후공정에서 발견된 불량을 어느 검사 이미지와 모델 버전에 연결할 수 있는지 준비합니다. 정답이 뒤늦게 확인되는 경우 평가 결과를 갱신하는 기준도 필요합니다.
모델 비교는 현장 부담까지 포함한다
새 모델이 재현율을 조금 높였지만 재검 물량을 크게 늘렸다면 검수 인력이 감당할 수 있는지 확인해야 합니다. 미검출 유형의 중요도도 다르므로 단순 건수 외에 결함 등급별 성능을 봅니다. 배포 판단에는 처리시간과 판정 보류 정책도 포함합니다.
운영 대시보드에는 정밀도·재현율과 함께 실제 건수, 데이터 기간, 모델·임계값 버전을 보여 줍니다. 좋은 검사 AI는 높은 숫자를 제시하는 모델이 아니라 어떤 오류가 남아 있고 누가 그 오류를 확인하는지 설명할 수 있는 시스템입니다.
실무 체크리스트
- 제품 단위의 오탐과 미검출 건수를 따로 관리하는가
- 실제 생산 분포와 도전 평가셋을 구분하는가
- 표본 수·모델 버전·임계값을 성능 지표와 함께 기록하는가
참고 자료: scikit-learn의 정밀도·재현율 기반 평가 설명. 정밀도·재현율 기반 평가와 임계값 전반의 요약 지표는 공식 문서를 참고할 수 있습니다. 본문 가상 사례의 계산은 개별 임계값에서의 정밀도와 재현율을 설명합니다.
본문 이미지는 이해를 돕기 위해 생성한 개념 삽화이며 실제 측정 자료나 고객 현장 사진이 아닙니다.
#검사AI #정밀도 #재현율 #불량검출 #불균형데이터 #비전AI #모델평가 #미검출 #오탐 #품질자동화
