GLOSSARY
설명가능성
AI 시스템이 특정 출력을 왜 생성했는지 인간이 감사할 수 있는 형태로 명확히 제시하는 능력. 규제를 받는 무역 의사결정에서는 설명가능성이 방어 가능한 결정과 과징금 대상 결정의 차이를 가른다.
설명가능성은 AI에서 모델이 왜 해당 출력을 산출했는지에 대해 충실하고 이해 가능한 설명을 제공할 수 있는 성질을 의미한다. 무역 운영 관점에서 "충실한"이란 그 설명이 사후 합리화가 아니라 실제 모델의 의사결정 과정과 일치함을 뜻하고, "이해 가능한"이란 데이터 과학자만이 아니라 세관 감사관도 이해할 수 있어야 함을 의미한다.
왜 중요한가
EU AI Act, BIS의 모델 리스크에 관한 감독 기대치, 그리고 GDPR Article 22는 동일한 요구사항으로 수렴한다: AI 시스템이 법적 효력을 갖는 결정을 내릴 때(제재 적중 해제, HS 코드 분류, 신용 한도 거절 등) 그 결론에 이르는 과정을 설명할 수 있어야 한다. 설명가능성이 없으면 방어도 없다.
관련 용어
- 모델 리스크 관리
- 감사 추적
- 고위험 AI 시스템
- 사람-개입형