사업소개

Developing Standards for Trustworthy AI: Overview
신뢰할 수 있는 인공지능(Trustworthy AI)의 표준 연구

인공지능신뢰성연구센터(Center for Trustworthy AI)는 1단계(2022~2025) 사업기간 동안 신뢰할 수 있는 인공지능(trustworthy AI)의 표준을 확립하기 위한 연구를 수행하고 있습니다.

법적ˑ 윤리적 검토 결과와 공학적 연구 결과를 융합하여 추상적 가이드라인 수준이 아닌, 인공지능 개발자들이 데이터셋의 전처리, 모델 훈련, 모델 후처리의 각 단계에서 활용할 수 있는 신뢰성 측도(metrics)를 제시하고자 합니다. 이는 인공지능 신뢰성의 진정한 사회적 파급을 위해서는 법과 가이드라인을 내세우는 것만으로는 본질적인 한계가 있고, 결국 AI를 개발하는 담당자들이 현장에서 바로 이해하고 적용할 수 있도록 법적, 윤리적 요건을 측정가능한 측도로 구체화하는 것이 필수적이라는 분석에 따른 것입니다.

현재 대표적인 AI 규제법안인 EU AI법안은 모든 AI에 공통의 문제동인(problem drivers)이 존재하므로 공통된 대응이 필요하다는 전제 하에 수평적 규제체계(horizontal regulatory framework)로 준비되고 있으며, 이미 우리나라, 캐나다, 브라질 등 여러 나라의 입법에 영향을 미치고 있습니다.
그러나 AI는 각 영역(domain), 적용단계(layer/level), 그리고 용례(actual use case)별로 다른 맥락(context)에서 작동하므로, 표준은 맥락특유적(context-specific) 접근을 바탕으로 마련될 필요가 있습니다.

표준의 구체적인 방향성을 설정하기 위해, 주요 국가의 AI 신뢰성 표준 준비 상황을 먼저 살펴보면 이하와 같습니다.

ISO/IEC JTC 1/SC42 표준

미국 국가표준기술원(NIST) 표준

EU 표준화기구(ESO)의 향후 표준 제정 절차

ISO/IEC JTC 1/SC42 표준

미국 국가표준기술원(NIST) 표준

EU 표준화기구(ESO)의 향후 표준 제정 절차

NIST는 미국 상무부(DoC) 산하의 표준화 기관으로서 이하 표준들을 발표하였습니다.

NIST AI 100-1, Artificial Intelligence Risk Management Framework (AI RMF 1.0) (2023) : 이 표준은 2020년 국가AI이니셔티브법(National Artificial Intelligence Initiative Act of 2020; P.L. 116-283)의 수권 하에 제정되었으며, AI 리스크 관리체계(AI RMF)에 있어 주된 도전과제를 리스크 측정, 리스크 용인, 리스크 우선순위 책정, 조직적 통합 및 리스크의 관리로 나누어 살펴보고, AI의 리스크와 신뢰성 항목을 유효성·신뢰성, 안전성, 보안성·회복탄력성, 책임성·투명성, 설명가능성·해석가능성, 프라이버시 강화, 공정성·편향관리로 나누어 분류하면서, AI RMF의 핵심 프로세스를 거버넌스(Govern), 매핑(Map), 측정(Measure), 관리(Manage)로 나누어 제시하고 있습니다.

NIST AI 100-2e2023 ipd, Adversarial Machine Learning – A Taxonomy and Terminology of Attacks and Mitigations (2023) : 적대적 기계학습을 회피공격(evasion attacks), 오염공격(poisoning attacks), 프라이버시 공격(privacy attacks)로 범주화하여 유형화하고 있고, 현재 최초 공개 초안(initial public draft) 단계에 있습니다.

NIST는 미국 상무부(DoC) 산하의 표준화 기관으로서 이하 표준들을 발표하였습니다.

NIST SP 1270, Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)

편향을 시스템적 편향(systemic bias), 인적 편향(human bias), 통계적/전산적 편향(statistical/computational bias)로 구분하여 유형화하고, 이를 해결하기 위한 사회기술적 관점(socio-technical perspective)으로 ① 데이터셋의 가용성·대표성·적합성, ② 시험 및 평가를 지원하기 위한 측정과 측도를 위한 시험·평가·검증·검토(TEVV) 상의 고려사항, ③ 인적 요소들을 지목하면서 각각의 도전과제와 방향성을 제시합니다

NISTIR 8312, Four Principles of Explainable Artificial Intelligence (2021)

설명가능성의 네 가지 원리로 설명(explanation), 유의미(meaningful), 설명정확도(explanation accuracy), 지식의 한계(knowledge limits)를 제시하면서 실질적인 설명을 제공할 수 있는 방법론을 고민하고 있습니다.

NISTIR 8367, Psychological Foundations of Explainability and Interpretability in Artificial Intelligence (2021)

설명가능성과 해석가능성의 심리적 기초의 검토를 통해 설명가능성은 시스템을 디버깅하거나 설계를 개선하려는 개발자들에게 가치가 있는 반면, 해석가능성은 규제기관, 정책결정자, 일반이용자 에게 유리하다고 분석하되, 결국 해석가능성이 담보되려면 설명가능성이 요구된다는 점을 강조합니다. 아울러 해석가능성의 의미를 데이터를 구조화된 배경 지식의 맥락에 배치하여 이해하기 쉬운 방식으로 표현하며, 본질적이고 통찰력 있는 차이를 포착하고, 이에 따른 출력을 인간 사용자로부터 추출된 값과 비교하여 정당화하는 과정으로 개념화하고 있습니다.

ISO/IEC JTC 1/SC42 표준

미국 국가표준기술원(NIST) 표준

EU 표준화기구(ESO)의 향후 표준 제정 절차

EU AI법안 제40조 제1항은 Regulation (EU) 1025/2012에 따라 EU의 관보(OJEU)에 발간된 통합표준(harmonised standards; HAS)을 준수하는 고리스크 AI시스템과 기반모델은 해당 표준이 2장 또는 28b조의 요건을 포함할 경우 이들 조항의 준수를 추정한다고 규정합니다.

제1a항 : EC가 EU AI법 규정의 요구사항을 모두 포괄하는 표준화 요청을 동법 시행일부터 2달 후까지 발하도록 하고 있습니다.

제1b항 : 이러한 표준화 요청 시 표준을 부록 II에 열거된 유럽단일시장 제품안전법규와 일치시키는 등 표준의 일관성 확보를 명시하도록 합니다.

제1c항 : 표준화 과정에 참여하는 주체가 Regulation (EU) 1025/2012에 따라 제4(a)조에 기재된 신뢰성 있는 인공지능에 대한 일반원칙을 고려하는 한편, 인공지능에 대한 투자 및 혁신 촉진을 추구하고 EU단일시장의 경쟁력과 성장을 증진하도록 노력하며, 표준화에 대한 국제협력을 강화하고 EU의 가치, 기본권 및 이해관계와 일치하는 국제표준을 고려할 뿐 아니라, 이해관계의 균형 잡힌 대표성과 모든 관련 이해관계자의 효과적인 참여를 보장해야 한다고 명시합니다.

여기서 통합표준(HAS)을 담당할 EU 표준화기구(ESO)의 핵심은 EU회원국들의 국가표준기관들의 연합체인 유럽표준위원회(European Committee for Standardization; CEN)와 비영리기구인 유럽전자기술표준화위원회(European Committee for Electrotechnical Standardization; CENELEC)이고, 유럽전기통신표준협회(European Telecommunications Standards Institute; ETSI)도 관련된 범위 내에서 조력할 것으로 보입니다. 만약 EU AI법이 2024년 초에 EU이사회를 통과하여 제정이 완료될 경우 2년의 시행유예기간 동안 다음 표준 준비 과정이 바쁘게 진행될 것으로 보입니다.

본 센터에서는 이들 표준들이 대체로 추상적인 AI윤리의 수준에 머무르거나 모든 AI에 공통된 문제동인을 식별하는데 집중하여 개발현장에서 곧바로 참조할 수 있는 구체적이고 정량화된 기준을 제시하는 데에는 아직 미흡하다고 판단하면서 대안을 연구하고 있습니다. 다만 NIST의 AI RMF 1.0는 구체적인 AI의 활용의 맥락을 식별하고 관련된 리스크를 매핑(map)하며 이를 측정(measure)하는 방법론을 제시하였다는 점에서 진일보한 측면이 있는데, 이 역시 각 영역, 적용단계, 용례별 구체적인 사회적 위해를 식별하고 솔루션을 제공하는 단계에는 이르지 못하고 있습니다.

이러한 표준들의 한계를 극복하고 새로운 국내외 표준을 제시하기 위해, 본 센터는 다음 단계로 표준을 준비 중입니다.

표준 채택을 위한 기고서 작성, 제출에 그치지 않고, 표준 준비 과정에서 정립한 각종 측도와 지표를 2단계(2025-2029)에서의 인공지능 신뢰성 측정/교정을 위한 모듈의 개발에 직접 적용할 예정입니다.