신뢰받는 제품 개발 프로세스를 만드는 책임 있는 AI (RESPONSIBLE AI)

생성형 AI가 등장 이후 그 기술을 도입하여 비즈니스 가치를 확대하고자 하는 기업이 폭발적으로 늘고 있다. 빅테크 기업에서 제공하는 GPT 관련 API 나 오픈 소스 등을 활용하여 기존 시스템에서 가능하지 않았던 AI 제품과 기능을 쉽게 구현할 수 있게 되었다. 이에 따라 GPT를 활용해 적은 노력으로 조직의 성장을 돕는 AI 기능들을 시장에 출시하고 있는 서비스 기업들도 빠르게 늘고 있다. 하지만, 환각(Hallucination)이나 데이터 편향성과 같은 AI 기술의 불안정성에서 오는 윤리적 이슈는 여전히 존재한다. 더불어 AI 기술의 한계를 통제하지 못한 채 제품을 출시할 경우 새로운 사회 문제를 만들어 낼 가능성은 매우 높다.

일반적으로 AI와 관련된 윤리적 이슈를 떠올릴 때, 인간의 일자리를 빼앗거나 불평등을 심화시키는 경제 문제, 잘못된 정보나 편향 데이터로 학습한 고정관념을 강화하는 사회 문제를 떠올린다. 하지만 현재의 IT 생태계 환경에 불완전한 기술로 인해 발생하는 성능, 보안, 시스템 통제로 생기는 문제의 심각도와 회복 비용을 상상해 보면 그 AI 기술 파급력은 전무후무하다고 할 수 있다. 예를 들어, 기업에서 구축한 AI 제품이 부정확한 답변을 하거나, 문제가 되는 결과물을 생산하는 경우, 기업은 제품과 비즈니스에 대한 평판을 잃는 수준을 넘어 법적, 재무적 문제로 이어질 수 있다.

이러한 위험을 다루기 위한 ‘책임 있는 인공지능(Responsible AI, 이하에서 ‘RAI’라고 다룬다.) 구현’이라는 주제가 주목을 받고 있다. 최근 MIT 슬론 매니지먼트 리뷰와 보스턴 컨설팅 그룹의 RAI 글로벌 경영진 연구 조사^[1]에 따르면 RAI는 "개인과 사회를 위해 인공지능 시스템을 개발하고 운영하면서 동시에 비즈니스에 혁신적인 영향을 미칠 수 있도록 보장하는 원칙, 정책, 도구, 프로세스가 포함된 프레임워크"로 정의한다. 이는 “인간 중심의 접근 방식으로 AI의 연구, 개발 및 배포를 수행함으로써 인공지능 시스템을 안전하고 신뢰할 수 있으며, 윤리적인 방식으로 발전시킨다”는 개념이다. 이와 유사한 목적을 지향하는 ‘신뢰할 수 있는 인공지능(Trustworthy AI)’ 또는 ‘윤리적 인공지능(Ethical AI)’이라는 용어들이 있으나, 노스이스턴 대학의 Experiential AI연구소^[2]에 따르면 해당 용어들은 도덕적 행위자가 아닌 인공지능을 인격화하는 표현으로 RAI가 보다 옳은 의미의 용어라는 의견이기에 이번 글에서는 RAI라는 단어로 통일하여 사용한다. RAI는 전체 프로덕트 라이프사이클에 적용하여 안전, 편향성, 공정성, 개인정보 보호 이슈 등 인공지능 기술의 도입으로 발생할 수 있는 여러 위험 요소를 완화하고 원하는 비즈니스 성과에 더욱 가까이 도달하고자 하는 목적을 가진다.

RAI 적용이 어려운 이유

RAI는 비즈니스 위험 요소를 완화하는 것 이상으로, 더 나은 제품과 서비스, 장기적인 수익성 개선, 채용 및 유지율 향상과 같은 측정 가능한 비즈니스 이점이 있다. 위에서 언급한 RAI 글로벌 경영진 연구 조사에선 RAI를 적극적으로 도입하는 리더 기업은 41%의 측정 가능한 비즈니스 이점을 실현했다고 답한 반면, 그렇지 아닌 기업의 경우는 14%에 불과했다는 점을 알 수 있다.

[그림 1] RAI 원칙 도입 후 얻은 비즈니스 이점 (출처: RAI 글로벌 경영진 연구 조사)

RAI를 선도적으로 도입한 기업은 더 좋은 제품/서비스를 구축할 수 있었고, 브랜드나 선행 연구에서도 큰 이점을 얻을 수 있었다. 또한 점점 더 엄격해지는 AI 규제 환경에도 더욱 잘 대처할 수 있는 것으로 나타났다. 이런 명확한 이점에도 불구하고, 기업은 다음의 5가지 원인으로 RAI를 조직 내에 완전히 정착시키지는 못했다는 결과가 눈에 띈다.

 1. RAI전문 인재 발굴의 어려움 (54%)
 2. RAI에 대한 교육이나 지식 부족 (53%)
 3. 상위 결정권자의 제한적인 우선순위 지정과 관심(43%)
 4. 자금력 부재 (43%)
 5. 제품 개발 과정에서 제한적인 우선순위 지정과 관심 (42%)

RAI의 필요성을 체감한 기업들은 이런 원인을 해결하기 위해 전략, 교육 차원에서 많은 노력을 기울였지만, 아직까지 RAI는 많은 기업에서 매우 제한적인 범위에서 적용되고 있는 것이 현실이다. 설문 대상 기업의 84%는 RAI를 최우선 경영 과제로 삼아야 한다고 답했음에도, 이중 21%만 실제 실행 규모와 범위 제한 없이 RAI를 실무에 적용하고 있다고 한다.

RAI를 조직 전체에 확대 적용하여 유의미한 비즈니스 임팩트를 창출하기 위해서는 캠페인성의 인식 문화를 형성하는 것만으로는 부족하다. RAI에 대한 개념과 원칙을 ‘이해하는 것’과 조직 내 합의된 규칙으로서 ‘지켜내는 것’ 간에는 큰 차이가 있기 때문이다. 필요성에 대한 이해와 결정을 하는 것을 넘어, 실무 적용 단계에서 일상적이고 당연한 절차로써 원칙과 통제 시스템 등이 자리잡지 못하면, RAI 적용은 실패하고 비즈니스 경쟁력으로 살아나지 못한다. 조직 전반에 RAI 실행 과정을 통제할 수 있는 거버넌스와 프로세스, 도구가 함께 뒷받침되어야 한다.

RAI 적용을 위한 가이드라인, 거버넌스 및 제품 개발 프로세스

RAI의 설계 원칙 이해를 위한 가이드라인

RAI의 초기 프레임워크와 가이드라인은 학계에서 연구되어 오던 개념과 방법론을 기반으로 쉽게 이해하고, 적용 가능하도록 작성되었다. 실무자들은 가이드라인을 통해 많은 시간을 들여 학습하지 않고도 직관적으로 RAI 기반의 제품을 설계 시 고려해야 할 단계와 요소를 이해할 수 있게 되고, 이를 통해 개발 시 큰 문제가 될 수 있는 데이터 편향성과 다른 위험 요인들을 의식적으로 고려하여, 사전에 통제할 수 있다.

RAI와 관련된 대표적인 가이드라인으로는 마이크로소프트에서 발표한 HAX(Human-AI eXperience) 가이드라인^[3]과 Google의 People+AI 가이드라인^[4]이 있다. 두 가이드라인은 공통적으로 AI 기술을 활용해 사용자에게 지속 가능한 가치를 제공할 수 있도록, 사용자 목적 정의, 데이터 수집, 설명 가능성, 신뢰 형성, 에러 핸들링 방법 등을 직관적으로 제시한다. 특히, 마이크로소프트 HAX 가이드라인에서는 시간이 지남에 따라-AI를 지속적으로 사용함에 따라- 달라지는 사용자 경험을 강조하며, 인터랙션 설계에 필요한 원칙을 설명한다. 즉 AI의 속성 및 사용자의 다양한 이용 행태에 걸친 설계 원칙을 참고하여, AI 기능의 가치와 역할을 정의하고, 단계별로 갖추어야 할 인터랙션 요소를 고민하는 것이 매우 중요하다.

[그림 2] 마이크로소포트 HAX 가이드라인 (출처: 마이크로소프트)

전략부터 제품 개발, 모니터링까지 포괄하는 엔드 투 엔드 거버넌스

조직 내에서 RAI의 필요성에 대한 공감대와 가이드라인 원칙들을 지속적이고 일관성 있게 가져가려면 AI 모델 개발 및 전 라이프사이클에 걸쳐 심도 있는 고민과 전사적인 거버넌스를 갖추는 노력이 필요하다. 더불어, RAI에 대한 커뮤니케이션 수단으로써 상황 제어 시스템, 성과 지표(OKR이나 KPIs), 프로세스, 성과 및 위험 보고 메커니즘을 정의하고, 이를 제품 개발 프로세스 내에 통합하는 것이 필수적으로 요구된다고 보스턴 콘설팅 그룹은 제안한다^[5].

PwC의 RAI 툴킷^[6]에서는 윤리 원칙을 부분적으로 적용하는 것 이상으로, 조직 내에서 책임감 있도록 AI를 도입하고, 운영하는 과정에서 발생하는 리스크와 제어 방법에 초점을 맞춘 엔드 투 엔드 거버넌스 프레임워크를 제안한다. 이 거버넌스 프레임워크는 다음과 같이 모두 6단계로 이루어진다.

 ① 전략(Strategy)
 ② 계획(Planning)
 ③ 생태계(Ecosystem)
 ④ 개발(Development)
 ⑤ 구축(Deployment)
 ⑥ 모니터링 및 보고(Monitor & Report)

이를 통해 업무 플로우 과정에서 명확한 역할과 책임, 추적 가능성과 지속적인 평가를 적용할 수 있도록 한다.

[그림 3] PwC RAI 프레임워크 (출처: PwC)

모델 라이프사이클 관리를 위한 세분화된 프로세스와 통제 시스템 AI 모델 기반의 제품을 개발하기 위해서는 일반적인 제품 개발 프로세스보다 더욱 세분화된 개발 프로세스가 필요하다. PwC의 RAI 툴킷은 적용 단계에서 9개의 레벨로 프로세스를 세분화한 것이 인상적이다. 기업 차원의 전략을 이해한 뒤, AI 적용 범위를 결정하고 단계별 게이트 질문을 제시하여 AI 모델 배포의 타당성을 검증한다. AI 모델의 적용 범위를 결정한 뒤, 배포 이후의 사용자 반응에 따라 지속적으로 모델의 개선 및 중단 여부를 판단한다. 기능을 배포하는 것 이상으로 지속적으로 모델의 상태와 반응을 관찰하며, 모델의 라이프사이클을 관리하는 점이 핵심이다. AI가 제공하는 아웃풋에 대한 신뢰를 형성하고, 피드백 루프를 통해 지속적으로 아웃풋의 품질을 높여야 하는 AI 기반 제품에서 지속적인 라이프사이클 관리는 굉장히 중요하게 작용한다. 아래의 다섯 가지 단계별 게이트는 제품 개발 프로세스에서 다음 단계로 넘어가기 전에 짚어보아야 할 기준에 해당된다.

 • 비즈니스 적합성 검증 : 해당 비즈니스에 AI 솔루션을 적용하는 것이 적합한가?
 • 성능 적합도 검증 : AI 모델은 기대한 수준의 성능을 보여주는가?
 • 프로덕션 환경 배포 여부 결정 : AI 모델을 프로덕션 환경에 배포할 것인가?
 • AI 모델의 운영 방식 결정 : 모델을 지속적으로 운영할 준비가 되어 있는가?
 • 모델 개선 및 중단 여부 결정 : 모델은 현재 상태 그대로 지속해야 하는가? 혹은 재학습/재설계하거나, 모델 서비스를 중단해야 하는가?

[그림 4] PwC가 제안하는 RAI 모델 개발 프로세스 (출처: PwC)

일반적인 기업의 업무 형태는 새로운 AI모델의 개발 및 배포에 집중하는 경향이 있다. 하지만 RAI를 이뤄내기 위해서는 제품을 만드는 구성원 모두가 사용자가 느끼는 가치에 책임감을 가지고, 일정 수준 이상의 품질 기준을 달성해야 한다. 또한 이를 개발하는 프로세스가 배포 이후의 라이프 사이클에 대해서도 관심을 기울이고 참여를 이끌어낼 수 있어야 한다.

윤리와 기술의 결합 시스템

RAI 기반의 제품 개발 프로세스를 잘 정착시키기 위해서 모델 엔지니어링 과정에서 적절한 기술 도구를 활용하여 전체 시스템으로 접근을 하는 것이 필요하다. 최근 RAI를 지원하는 여러 개발 도구들이 등장하고 있는데, 대표적인 제품으로는 구글 텐서플로우(TensorFlow)의 RAI 툴킷과 마이크로소프트의 RAI 대시보드가 있다.

구글 텐서플로우: ML 워크플로우

텐서플로우에서는 앞에서 소개한 PwC의 모델 개발 라이프사이클과 유사한 흐름으로 각 단계에 해당하는 도구와 리소스를 제공한다^[7].

 • 1단계 문제 정의
 • 2단계 데이터 구성 및 준비
 • 3단계 모델 빌드 및 학습
 • 4단계 모델 평가
 • 5단계 배포 및 모니터링

각 단계에서는 사용자 문제 정의 및 AI 적용 전략에 도움을 주는 PAIR(People+AI Research) 가이드라인과, 데이터의 편향을 확인하고 개선할 수 있도록 도와주는 Know your Data^[8], 모델의 공정성, 프라이버시 등의 문제를 고려하여 모델을 빌드하는 TF Model Remediation/TF Privacy, NLP 모델의 시각화를 통해 모델의 해석 가능성을 돕는 도구등 단계별 필요에 맞게 사용할 수 있도록 구성했다.

[그림 5] NLP 모델을 시각화해서, 의사결정을 돕는 LIT 도구 (출처: 깃헙^[9])

마이크로소프트: RAI 대시보드

마이크로소프트는 지난 4월 자사의 애저 클라우드에서 동작하는 RAI 대시보드^[10]를 공개했다. 이는 모델 엔지니어링 관점에서 배포하기 전에 모델의 타당성과 품질을 평가하여 제품 경험 향상에 도움이 준다. 지속적으로 모델의 에러를 식별(Identify)하고, 에러 발생의 이유를 진단(Diagnose) 한 후 디버깅하여 문제를 완화(Mitigate)할 수 있도록 돕는다. 데이터를 기반으로 모델 개발과 관련된 액션 아이템을 찾아 제품의 품질을 개선하는 목적이다.

[그림 6] 마이크로소프트RAI 대시보드를 활용한 모델 디버깅 과정 (출처: 마이크로소프트)

RAI 대시보드는 6가지 컴포넌트로 구성되며, 모델의 성능 및 공정성에 영향을 미칠 수 있는 원인을 찾아 해결을 도와준다.

 • 성능 및 공정성 평가(Model Statistics) : 모델의 성능을 평가하고, 그룹 공정성 문제(모델의 예측이 다양한 사람들 그룹에 미치는 영향)를 평가한다.
 • 데이터 탐색(Data Explorer) : 데이터 세트의 분산 및 통계를 이해하고 탐색한다.
 • 오류 분석(Error Analysis) : 데이터 세트에서 오류가 어떻게 분포되어 있는지 보고 이해한다.
 • 모델 해석 가능성(Model Interpretability) : 모델의 예측과 전체 및 개별 예측이 어떻게 이루어지는지 이해한다.
 • 반사실적 분석(Counterfactual Analysis) : 반대의 혹은 다른 모델의 예측을 가진 가장 가까운 데이터 포인트를 제공하면서, 특징 교란(Feature perturbation)이 모델 예측에 어떤 영향을 미치는지 관찰한다.
 • 인과 추론(Causal Inference) : 과거의 데이터를 활용하여 특정 시도나 개입이 실제 세상에서의 결과에 어떤 영향을 미치는지 인과적인 효과를 분석한다.

[그림 7] 마이크로소프트 RAI 대시보드 화면 예

RAI의 적용을 돕는 시스템 도구들은 앞으로 더욱 많이 등장할 것이다. 지금은 비즈니스 AI 시장이 시작된 시점이기에, AI 모델을 적용하는 관점에서 발굴되지 않은 문제들이 많다. 이러한 불확실한 문제들을 직접 해결하기보다, 도구를 적극 활용한다면 좀 더 효율적으로 프로세스 운영과 품질이 확보된 RAI 제품을 릴리스 할 수 있을 것이다.

향후 과제

앞으로 RAI는 점차 권장을 넘어, 비즈니스 확장을 위해서 필수적으로 갖춰야 할 조건이 될 것으로 보인다. 앞서 소개한 조직 내 거버넌스와 제품 개발 프로세스, 그리고 이를 지원하는 시스템 도구를 도입하는 것은 AI의 윤리적 이슈를 일상적인 규칙으로 고민하고, 적용할 수 있도록 하는데 도움을 줄 것이다. 더욱 중요한 것은, 위와 같은 시스템을 적용하고 유지할 수 있도록 하는데 경영진의 관심과 참여가 필수조건이라는 점이다. 실제로 RAI를 적용한 후, 비즈니스 이점을 실현되기까지 평균 3년이 걸린다고 한다^[11]. 강력한 거버넌스 체계는 최고 경영진의 강한 의지와 명확한 메시지로부터 시작된다. 조직에서 RAI의 확산 적용을 가속화하기 위해서는 그 중요성을 상위에서부터 인지하고 구성원들에게 해당 태스크에 KPI와 인센티브가 명확하게 제시될 필요가 있다. 경영진의 공감에서부터 상위 전략으로, 그리고 다시 AI 제품을 담당하는 프로덕트 매니저와 엔지니어까지 RAI에 대한 이니셔티브는 끊기지 않고, 반복적인 피드백 루프를 통해 더욱 팽창해야 한다. AI를 활용해 비즈니스의 성장을 가속화하고자 한다면, RAI실행을 위한 거버넌스, 프로세스 그리고 다양한 도구들을 적용해 가며, AI 모델 자체뿐만 아니라 그것을 바라보는 관점과 실행 역량에 대한 성숙도를 높이길 권한다.



References
[1] Elizabeth M. Renieris, David Kiron, and Steven Mills, “To Be a Responsible AI Leader, Focus on Being Responsible Findings from the 2022 Responsible AI Global Executive Study and Research Project”, September 19, 2022
[2] Institute for Experiential AI at Northeastern University, “What Is the Difference Between AI Ethics, Responsible AI, and Trustworthy AI?”
[3] Microsoft, HAX Toolkit, https://www.microsoft.com/en-us/haxtoolkit/ai-guidelines/
[4] Google, People + AI Guidebook, https://pair.withgoogle.com/guidebook
[5] Boston Consulting Group, Strategic RAI Implementation
[6] PwC, PwC Responsible AI Framework & Toolkit
[7] TensorFlow, TensorFlow: Responsible AI Toolkit
[8] People + AI Research, GitHub, Know Your Data
[9] GitHub, “Learning Interpretability Tool”
[10] Microsoft, Responsible AI Dashboard
[11] Elizabeth M. Renieris, David Kiron, and Steven Mills, “To Be a Responsible AI Leader, Focus on Being Responsible Findings from the 2022 Responsible AI Global Executive Study and Research Project”, September 19, 2022



▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.