2026년의 AI 도입은 더 이상 모델 정확도만의 문제가 아닙니다. 국내에서는 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 이른바 AI 기본법이 시행됐고, 유럽연합도 AI Act의 투명성 의무를 본격 적용하기 시작했습니다. 이제 기업은 “AI를 쓰고 있다”에서 한 걸음 더 나아가 어디에서, 왜, 어떤 데이터로, 누구에게 영향을 주며, 누가 책임지고 있는지 설명할 수 있어야 합니다.
그런데 많은 조직이 첫 단추부터 어렵게 끼웁니다. 거대한 윤리 원칙을 만들고, 모든 프로젝트에 같은 체크리스트를 배포하고, 법무 검토가 끝날 때까지 현업을 기다리게 합니다. 문서는 늘지만 실제 위험은 잘 보이지 않습니다. 시작점은 정책 문서가 아니라 AI 인벤토리여야 합니다. 회사 안의 AI 사용 사례를 한곳에 모으고 위험도와 책임자를 연결하는 운영 장부입니다.
핵심: AI 거버넌스는 AI를 금지하는 절차가 아니라, 가치 있는 AI는 빨리 통과시키고 위험한 AI는 더 깊게 검토하는 교통 체계다.
이 글은 기술·운영 관점의 일반적인 안내이며 법률 자문이 아닙니다. 실제 적용 의무와 예외는 서비스, 산업, 이용자, 관할 지역에 따라 달라질 수 있으므로 법무·컴플라이언스 전문가와 함께 확인해야 합니다.
2026년, 무엇이 달라졌나
국내 AI 기본법은 생성형 AI와 고영향 인공지능을 둘러싼 투명성, 안전성, 사업자의 책무를 제도화했습니다. 예를 들어 고영향 인공지능 또는 생성형 인공지능을 이용한 제품·서비스는 이용자가 AI 기반이라는 사실을 알 수 있도록 하는 의무가 중요해졌습니다. 고영향 인공지능 해당 여부를 사전에 검토하고, 해당한다면 위험관리 방안, 사람에 의한 관리·감독, 이용자 보호, 설명과 문서 보존 같은 항목을 운영 과정에 반영해야 합니다.
유럽연합에서도 2026년 8월 2일부터 AI Act의 새로운 투명성 요구가 적용되기 시작했습니다. 챗봇처럼 사람이 AI와 상호작용하는 경우 이를 알리고, 일정한 AI 생성·조작 콘텐츠에는 기계 판독 가능한 표시나 명확한 공개가 요구될 수 있습니다. 국내 기업이라도 유럽 이용자에게 서비스를 제공하거나 유럽 공급망과 연결돼 있다면 영향 범위를 검토할 필요가 있습니다.
중요한 변화는 “좋은 AI를 만들자”라는 추상적 선언이 아니라 어떤 사용 사례에 어떤 통제를 적용했는지 증거를 남기는 일입니다. 그래서 인벤토리가 필요합니다.
AI 인벤토리는 모델 목록이 아니다
인벤토리를 만들라고 하면 데이터사이언스팀이 운영 중인 모델 이름부터 적는 경우가 많습니다. 그러나 실제 위험은 모델 저장소 밖에도 존재합니다. 고객 상담 SaaS의 자동 답변, CRM의 리드 점수, 채용 솔루션의 추천 기능, 문서 편집기의 요약 기능, 생산 설비의 비전 검사, 직원이 개인 계정으로 쓰는 생성형 AI까지 모두 살펴야 합니다.
특히 공급업체 제품에 내장된 AI는 놓치기 쉽습니다. 계약 당시에는 일반 소프트웨어였지만 업데이트 후 추천·요약·생성 기능이 추가될 수 있습니다. 따라서 인벤토리의 단위는 모델이 아니라 업무에서 실제로 쓰이는 AI 사용 사례가 되어야 합니다.
최소한 기록해야 할 12가지
- 업무 목적: 어떤 문제를 해결하고 어떤 지표를 개선하는가
- 업무 책임자: 결과에 책임지고 중단을 결정할 수 있는 사람은 누구인가
- 기술 정보: 자체 모델, 외부 API, SaaS, 모델·프롬프트·지식베이스 버전
- 영향 대상: 직원, 지원자, 고객, 환자, 협력사 등 누구에게 영향을 주는가
- 입력 데이터: 개인정보·민감정보·영업비밀이 포함되는가, 어디에 저장되는가
- 출력과 후속 조치: 참고 정보인가, 실제 승인·거절·가격·배치 결정으로 이어지는가
- 사람 검토: 언제, 어떤 정보로, 누가 재검토하고 결과를 뒤집을 수 있는가
- 오류의 영향: 금전, 안전, 권리, 평판, 업무 중단에 미치는 피해는 어느 정도인가
- 이용자 고지: AI 사용 사실과 생성·조작 콘텐츠 표시가 필요한가
- 평가 지표: 정확도뿐 아니라 오탐·미탐 비용, 편향, 안전성, 지연시간을 어떻게 측정하는가
- 운영 증거: 승인 기록, 평가 결과, 로그, 사고와 변경 이력이 어디에 남는가
- 종료 계획: 교체·중단 시 데이터와 로그를 어떻게 내보내고 삭제하는가
위험은 모델이 아니라 사용 맥락에서 결정된다
같은 언어 모델이라도 맞춤법을 고치는 용도와 채용 지원자를 자동으로 탈락시키는 용도의 위험은 전혀 다릅니다. 같은 이미지 모델도 사내 시안 제작과 의료 영상 판독 보조에서는 검증 수준이 달라야 합니다. 모델 이름이나 파라미터 수만 보고 위험 등급을 정하면 안 되는 이유입니다.
실무에서는 다음 질문으로 빠르게 1차 분류할 수 있습니다.
- AI 출력이 사람의 권리, 고용, 신용, 의료, 교육, 공공서비스 또는 안전에 영향을 주는가?
- 결과가 단순 참고인지, 자동으로 중요한 결정을 실행하는지?
- 잘못됐을 때 당사자가 결과를 알거나 이의를 제기할 수 있는가?
- 개인정보, 생체정보, 건강정보, 영업비밀이 입력되는가?
- 현실과 구분하기 어려운 음성·이미지·영상이나 대외 콘텐츠를 생성하는가?
- 사람이 충분한 시간과 정보, 권한을 가지고 결과를 검토·거부할 수 있는가?
저위험 사용 사례는 간단한 등록과 기본 보안 교육만으로 신속 승인할 수 있습니다. 중위험은 데이터 검토, 품질 평가, 이용자 고지, 정기 모니터링을 추가합니다. 중요한 권리나 안전에 영향을 주는 고위험 후보는 법무·보안·현업·기술 담당자가 함께 심층 검토하고, 필요하다면 고영향 인공지능 해당 여부 확인과 영향평가를 진행해야 합니다.
사람의 감독은 ‘마지막에 클릭’하는 것이 아니다
결재 화면에 승인 버튼이 있다고 사람의 감독이 완성되는 것은 아닙니다. AI의 권고를 거절하면 불이익이 생기거나, 판단 근거가 보이지 않거나, 처리량이 너무 많아 사실상 전부 승인한다면 인간 검토는 형식에 그칩니다.
유효한 감독에는 네 가지가 필요합니다. 첫째, 검토자가 AI의 역할과 한계를 이해해야 합니다. 둘째, 입력과 결과뿐 아니라 근거가 되는 자료와 신뢰 신호를 볼 수 있어야 합니다. 셋째, 충분한 검토 시간이 있어야 합니다. 넷째, 결과를 보류·수정·거절하고 상위 담당자에게 올릴 권한이 있어야 합니다. 시스템 설계 단계에서 이 권한과 화면, 업무 처리시간을 함께 설계해야 합니다.
정확도 95%만으로는 부족하다
전체 정확도 하나는 운영 위험을 감춥니다. 불량 검출 AI에서 미탐은 고객 사고로 이어질 수 있고 오탐은 생산성을 떨어뜨립니다. 고객 상담 AI의 사실 오류는 질문 유형에 따라 피해가 다르고, 특정 언어·연령·지역 집단에서만 품질이 낮아질 수도 있습니다.
평가는 실제 업무 비용을 반영해야 합니다. 대표 시나리오와 경계 사례, 의도적 공격 입력, 개인정보 노출, 금지된 답변, 도구 호출 실패, 검색 문서가 오래됐을 때의 행동까지 시험합니다. 기준을 넘지 못한 경우 배포를 막는 게이트와, 운영 중 지표가 악화되면 자동으로 제한 모드로 전환하는 조건도 정해야 합니다.
거버넌스의 실체는 ‘증거의 연결’이다
감사나 사고가 발생했을 때 담당자가 여러 메신저와 개인 폴더에서 승인 자료를 찾는다면 거버넌스는 작동하고 있지 않은 것입니다. 사용 목적에서 폐기까지 각 단계의 증거가 동일한 사용 사례 ID에 연결되어야 합니다.
예를 들어 배포 승인 기록에는 당시 모델 버전, 시스템 프롬프트, 검색 지식베이스 스냅샷, 평가 데이터 버전, 결과와 예외 승인 사유를 함께 남깁니다. 외부 모델 사업자가 모델을 조용히 업데이트해도 서비스 품질이 변할 수 있으므로 공급자 버전과 변경 공지를 추적하고, 중요 변경 시 재평가하도록 해야 합니다.
로그는 많이 남기는 것이 목적이 아닙니다. 누가 어떤 버전을 어떤 목적으로 실행했고, 사람 검토가 어떻게 이뤄졌으며, 이상 행동이 있었는지 재구성할 수 있어야 합니다. 반대로 프롬프트와 응답을 무조건 원문 저장하면 개인정보와 영업비밀이 또 다른 위험이 됩니다. 마스킹, 최소 수집, 보관 기간, 접근 권한을 함께 설계해야 합니다.
외부 AI를 쓸 때 계약서에 넣어야 할 것
기업 AI의 상당 부분은 외부 모델 API와 SaaS에 의존합니다. 그러나 책임은 “공급업체가 알아서 한다”는 한 문장으로 이전되지 않습니다. 구매 단계에서 최소한 다음 항목을 확인해야 합니다.
- 입력·출력 데이터를 모델 학습에 사용하는지, 옵트아웃이 가능한지
- 데이터 저장 지역, 보관 기간, 삭제 방식, 하위 처리업체 목록
- 모델과 안전정책의 중대한 변경을 사전에 알리는지
- 보안·개인정보·안전 사고의 통지 기한과 협조 범위
- 고객사가 독립 평가하거나 필요한 증빙을 받을 수 있는지
- 서비스 종료 시 데이터와 설정을 내보내고 완전히 삭제할 수 있는지
특히 에이전트형 AI가 메일 발송, 고객 정보 수정, 주문 취소처럼 실제 시스템을 조작한다면 도구별 최소 권한, 금액·범위 제한, 중요 작업의 이중 승인, 즉시 차단 스위치가 필요합니다.
사고 대응은 모델 장애와 다르다
AI 사고는 서버가 죽지 않아도 발생합니다. 시스템이 정상 응답하면서 틀린 정보를 대량 배포하거나, 특정 집단에 불리한 결과를 내거나, 비밀 정보를 노출할 수 있습니다. 따라서 기존 장애 대응 절차에 AI 특유의 탐지와 봉쇄 방법을 추가해야 합니다.
- 탐지: 품질 저하, 정책 위반, 데이터 유출, 비정상 도구 호출을 신고·모니터링한다.
- 봉쇄: 기능을 끄거나 읽기 전용·사람 검토 모드로 낮추고 토큰과 권한을 회수한다.
- 재구성: 모델·프롬프트·데이터·도구 버전과 로그로 영향 범위를 확인한다.
- 복구: 검증된 버전으로 롤백하고 잘못된 결정이나 콘텐츠를 정정한다.
- 학습: 평가 세트와 통제 기준을 갱신하고 재발 방지 조치를 인벤토리에 연결한다.
30·60·90일 실행안
첫 30일: 보이는 상태 만들기
전사 설문, SaaS 계약, API 사용량, 클라우드 비용, 브라우저 확장 프로그램을 통해 AI 사용 사례를 수집합니다. 완벽한 목록을 기다리지 말고 업무 목적, 책임자, 영향 대상, 데이터 종류, 자동화 수준만으로 최소 인벤토리를 엽니다. 익명 신고 채널을 두면 개인 계정으로 쓰는 ‘섀도 AI’도 발견하기 쉽습니다.
60일: 위험 기반 통제 연결하기
사용 사례를 저·중·고위험 후보로 나누고 승인 경로를 차등화합니다. 생성형 AI 고지, 개인정보 입력 금지, 사람 검토, 평가 기준, 로그 보관 같은 공통 통제를 템플릿으로 만듭니다. 고위험 후보부터 책임자와 중단 권한을 명확히 지정합니다.
90일: 개발·운영 흐름에 넣기
신규 구매와 개발 티켓에서 AI 여부를 묻고, CI/CD 배포 전에 평가 결과와 승인 ID를 확인하게 합니다. 모델·프롬프트·데이터 변경은 재평가 조건과 연결합니다. 월간 회의에서는 문서 개수 대신 미등록 AI 수, 평가 통과율, 사람 재검토율, 사고 탐지·봉쇄 시간 같은 운영 지표를 봅니다.
경영진이 봐야 할 대시보드
경영진에게 모델별 기술 점수 수십 개를 보여줄 필요는 없습니다. 전체 사용 사례와 미등록 추정치, 위험 등급별 수, 책임자 없는 사례, 평가 기한 초과, 외부 공급자 의존도, 중대한 사고와 평균 봉쇄 시간, 실제 비용 절감·매출·품질 개선을 한 화면에 연결하면 됩니다.
이렇게 하면 규제 대응이 사업 속도를 늦추는 별도 활동이 아니라 투자 우선순위를 정하는 장치가 됩니다. 가치가 낮고 위험만 큰 실험은 빨리 종료하고, 효과가 검증되고 통제가 준비된 사용 사례에 예산을 집중할 수 있습니다.
네이처프랙탈이 제안하는 접근
네이처프랙탈은 AI 도입을 모델 선정에서 시작하지 않습니다. 먼저 업무 흐름과 성과 지표, 영향을 받는 사람, 기존 시스템의 권한 구조를 함께 봅니다. 작은 PoC로 품질과 위험을 측정한 뒤 API·데이터·업무 화면에 통제를 넣고, 운영 로그와 재평가 절차까지 연결해야 실제 서비스가 됩니다.
핵심은 거대한 거버넌스 플랫폼을 한 번에 도입하는 것이 아닙니다. 지금 쓰는 협업 도구와 자산관리, 배포 파이프라인에 최소 인벤토리와 승인 증거를 연결하고, 위험이 큰 영역부터 깊이를 더하는 편이 현실적입니다. AI가 어디에 있는지 아는 회사만이 AI를 안전하게 확장할 수 있습니다.
실무 체크리스트
- 회사 안의 자체 모델, 외부 API, SaaS 내장 AI를 모두 사용 사례 기준으로 찾았는가?
- 각 사례에 업무 책임자와 기술 책임자, 중단 권한자가 지정됐는가?
- 영향 대상과 자동화된 결정의 무게를 기준으로 위험을 분류했는가?
- AI 사용 사실 및 생성 콘텐츠 고지 필요성을 검토했는가?
- 사람 검토자가 충분한 정보·시간·거부 권한을 갖는가?
- 모델·프롬프트·데이터·도구 버전과 평가 결과가 연결되는가?
- 공급업체의 데이터 사용, 변경 통지, 사고 대응, 종료 조건을 계약에서 확인했는가?
- 문제가 생기면 기능 제한, 롤백, 권한 회수, 영향 대상 통지가 가능한가?
참고 자료
- 국가법령정보센터 — 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법
- 국가법령정보센터 — AI 기본법 제31조 투명성 확보 의무
- 국가법령정보센터 — AI 기본법 제34조 고영향 인공지능 관련 사업자의 책무
- 국가법령정보센터 — AI 기본법 시행령의 영향평가 관련 조항
- European Commission — AI Act enforcement and transparency requirements from 2 August 2026
- European Commission — Article 50 transparency obligations FAQ
