AI 답변 100개를 평가해 평균 점수가 올랐더라도 현장 문의만 나빠졌다면 출시하면 안 됩니다. 전체 평균은 자주 들어오는 쉬운 질문에 끌릴 수 있습니다. 평가 데이터를 실제 업무의 실패 비용에 맞춰 나누어야 변경의 의미가 보입니다.
평가 세트의 구성을 먼저 공개한다
전체 질문 중 흔한 FAQ가 대부분이고 예외 규정은 몇 개뿐이라면 평균 점수는 예외 실패를 숨깁니다. 질문을 업무 유형, 난도, 언어, 문서 길이, 권한 조건과 최신성으로 나눠 분포를 기록합니다.
분포를 실제 문의량에 맞추는 운영 평가와 드문 고위험 사례를 충분히 담는 안전 평가를 구분합니다. 두 평가를 하나의 숫자로 합치면 어떤 위험을 받아들이는지 설명하기 어렵습니다.
정답 기준을 문장으로 정의한다
같은 답을 다른 말로 표현해도 맞을 수 있지만 핵심 조건을 빼면 틀릴 수 있습니다. 평가 예시에는 필수 사실, 허용 가능한 표현, 금지해야 할 단정, 필요한 근거를 함께 적습니다. 평가자는 그 기준으로 판단합니다.
정답 문서도 시간이 지나면 바뀝니다. 기준 답변의 출처와 적용 날짜를 남기고 평가 세트를 버전 관리합니다. 모델이 나빠진 것이 아니라 평가 기준이 바뀐 것인지 구분할 수 있어야 합니다.
세그먼트별 실패를 살핀다
예를 들어 전체 정답률은 올랐는데 긴 계약서 질의의 근거 누락이 늘었다면 실제 고객 업무에는 손해일 수 있습니다. 세그먼트별 오류율과 샘플 수를 함께 보고 작은 집단의 변동을 과장하지 않습니다.
오류를 검색 실패, 문서 선택 실패, 근거 해석 실패, 형식 오류처럼 단계별로 분류합니다. 같은 최종 오답이라도 고쳐야 할 위치가 달라집니다. 숫자 뒤에 대표 실패 사례를 붙여 팀이 개선 행동을 정할 수 있게 합니다.
비교 실험의 조건을 고정한다
프롬프트만 바꿀 때는 모델 버전과 검색 색인, 문서 집합을 가능한 한 고정합니다. 여러 요소가 동시에 달라지면 점수 차이의 원인을 알기 어렵습니다. 공개 평가와 별도로 최근 운영 질문을 익명화해 주기적으로 점검합니다.
반복 실행에서 결과가 달라질 수 있으므로 일부 질문은 여러 번 평가합니다. 자동 평가자를 쓰더라도 사람의 표본 검토와 불일치 점검이 필요합니다. 평가자가 선호하는 문체와 실제 정확성을 혼동하지 않도록 합니다.
출시 기준은 평균 밖에도 둔다
고위험 질문에서 잘못된 실행 지시나 권한 밖 정보를 내보내는 오류는 평균이 좋아도 출시를 멈출 이유가 됩니다. 필수 통과 항목과 개선 목표 항목을 분리하고 사전에 기준을 합의합니다.
출시 후에는 실제 문의 유형이 평가 세트와 달라지는지 모니터링합니다. 새 유형이 늘면 평가 세트를 업데이트하고 이전 버전과의 비교도 보존합니다. 평가의 목적은 보기 좋은 한 숫자를 만드는 것이 아니라 실패를 조기에 발견하는 것입니다.
현장에 적용할 때의 순서
- 평가 질문을 업무와 위험별로 분류한다
- 필수 사실과 허용 표현을 정답 기준에 적는다
- 변경 전후 실패 사례를 함께 검토한다
주의할 실패: 전체 평균이 오른다는 이유로 소수의 고위험 질문 오류를 덮으면 출시 판단이 왜곡된다.
관찰할 지표: 세그먼트별 샘플 수와 오류 유형을 점수 옆에 표시한다.
적용 전 체크리스트
- 질문 유형별 샘플 수와 오류율을 함께 보는가
- 고위험 사례의 별도 출시 기준이 있는가
- 정답 출처와 평가 세트 버전을 보존하는가
참고 자료
NIST AI Risk Management Framework. 프레임워크의 측정·관리 관점을 참고했습니다. 세그먼트와 출시 기준은 서비스의 위험에 맞춰 결정할 실무 제안입니다.
이미지와 도식은 이해를 돕기 위한 개념 시각화입니다. 특정 고객의 실제 설비·데이터·화면을 재현한 것이 아닙니다.
#AI평가 #LLMOps #평가데이터셋 #세그먼트분석 #RAG평가 #품질관리 #기업AI #모델검증 #근거평가 #배포기준
