답변 모델을 개선할 때마다 사람이 모든 결과를 읽기는 어렵습니다. 그래서 다른 언어모델에게 답변을 채점하게 하는 방식이 유용합니다. 하지만 평가 모델도 판단하는 모델입니다. 길고 매끄러운 답변을 선호하거나 먼저 제시된 답변에 더 높은 점수를 줄 수 있습니다. 자동 평가를 운영하려면 점수뿐 아니라 점수를 만드는 절차도 검증해야 합니다.
채점할 품질을 먼저 쪼갠다
좋은 답변이라는 하나의 기준에 정확성, 근거 충실도, 누락 여부, 이해하기 쉬운 표현을 모두 넣으면 평가가 흔들립니다. 먼저 항목을 나누고 각 항목의 통과·실패 예를 작성합니다. 금액이나 날짜처럼 프로그램으로 확인할 수 있는 항목은 규칙 기반 검사를 함께 씁니다.
예를 들어 근거에 없는 정책을 추가하면 실패, 고객의 핵심 질문을 놓치면 실패처럼 구체적으로 정합니다. 친절한 문체는 별도로 평가하되 사실 오류를 상쇄하지 못하도록 합니다. 종합 점수가 높더라도 필수 항목 하나를 실패하면 배포를 보류하는 기준이 필요할 수 있습니다.
모델 이름을 가리고 답변 순서를 바꾼다
비교할 답변에는 모델명이나 신구 버전 표시를 넣지 않습니다. 같은 질문과 근거를 제공한 뒤 답변 A와 B를 비교하게 하고, 순서를 바꾼 평가도 일부 수행합니다. 순서를 바꿨을 때 승자가 자주 뒤집힌다면 실제 품질 차이보다 평가 절차의 영향이 큰 구간일 수 있습니다.
두 답변이 비슷하면 동점이나 판단 불가를 허용합니다. 반드시 승자를 뽑게 만들면 의미 없는 작은 차이가 개선으로 보고될 수 있습니다. 블라인드와 순서 교환은 모든 편향을 제거하는 장치가 아니라, 일부 편향을 드러내고 완화하는 수단입니다.
평가 이유도 검증 대상이다
평가 모델이 그럴듯한 이유를 썼다고 올바른 판정이라는 뜻은 아닙니다. 이유가 실제 답변 문장과 근거에 연결되는지 살펴봅니다. 답변에 없는 표현을 비판하거나 참고 문서에 없는 사실을 정답으로 삼는 평가도 발생할 수 있습니다.
평가 결과에는 질문 ID, 후보 답변, 평가 기준 버전, 평가 모델 버전, 순서, 판정 이유를 남깁니다. 그래야 다음 달 점수가 달라졌을 때 답변 모델이 변한 것인지 평가자가 변한 것인지 구분할 수 있습니다. 평가 기준을 바꾼 결과를 과거 점수와 그대로 비교하지 않습니다.
가상 사례: 고객 안내문 두 버전 비교
한 후보는 짧지만 정확한 안내를 하고, 다른 후보는 친절한 인사와 함께 근거 없는 예외를 덧붙였다고 가정해 봅시다. 전체 인상만 평가하면 긴 답변이 유리할 수 있습니다. 기준을 나누면 정책 정확성에서는 짧은 답변이 통과하고 긴 답변은 실패해야 합니다.
이런 함정 문제를 평가셋에 포함합니다. 반대로 짧다는 이유만으로 빠진 필수 내용을 용인해서도 안 됩니다. 답변 길이를 맞추는 것보다 필요한 정보가 들어 있고 잘못된 정보가 없는지를 확인하는 것이 목적입니다.
사람과의 일치도는 업무별로 확인한다
운영자가 독립적으로 채점한 표본과 자동 판정을 비교합니다. 전체 평균뿐 아니라 정책 안내, 숫자 비교, 복잡한 예외처럼 업무 유형별로 불일치를 봅니다. 평가 모델이 자주 틀리는 유형은 사람 검토를 유지하거나 별도의 검사기를 추가합니다.
사람끼리 의견이 다른 질문도 중요합니다. 이 경우 자동 평가가 틀렸다고 단정하기 전에 기준이 모호한지 살펴봅니다. 정답이 불명확한 표본을 억지로 단일 정답으로 만들면 평가 시스템이 모호한 기준을 학습하게 됩니다.
점수 차이를 배포 판단으로 연결한다
작은 평가셋의 점수 상승은 우연일 수 있습니다. 고정된 회귀 평가셋과 새로 유입된 실제 질문 표본을 함께 사용하고, 결과의 변동과 중요한 실패 사례를 같이 봅니다. 같은 질문을 반복 튜닝하는 동안 평가셋에 과도하게 맞춰지지 않았는지도 점검합니다.
배포 결정에는 자동 점수, 필수 항목 실패 수, 사람 검토 결과, 비용과 응답시간을 함께 올립니다. 자동 평가의 장점은 판단을 완전히 대신하는 데만 있지 않습니다. 사람이 집중할 불일치와 위험한 사례를 빠르게 찾게 해 주는 것도 중요한 가치입니다.
실무 체크리스트
- 정확성·근거·문체를 분리해 평가하는가
- 답변 순서를 바꿨을 때 판정이 안정적인가
- 평가 기준과 모델 버전을 기록하고 사람 표본과 대조하는가
참고 자료: LLM 평가자의 위치·장황함 편향을 분석한 연구. 이 연구는 LLM 평가자의 위치 편향과 장황함 편향 등의 한계를 다룹니다. 본문의 운영 절차는 이러한 한계를 기업 업무 평가에 적용해 정리한 제안입니다.
본문 이미지는 이해를 돕기 위해 생성한 개념 삽화이며 실제 측정 자료나 고객 현장 사진이 아닙니다.
#LLM평가 #LLMAsAJudge #블라인드평가 #AI품질 #평가데이터셋 #모델검증 #생성형AI #회귀평가 #평가편향 #기업AI
