아실로마 AI 원칙과 리더들의 자기반성
'아실로마 AI 원칙(Asilomar AI Principles)'이라고 들어보셨나요? 2017년 제안된 이 원칙은 인공지능 연구 목표와 연구비 지원 방향 및 윤리 원칙 등을 담은 AI 개발자들의 공통된 약속인데요. 아실로마 AI 원칙은 인공지능 연구가 인간에게 유용하고 이로운 혜택을 제공해야 한다는 것을 목표로 삼고 있어요. 연구비에 대한 지원 역시 컴퓨터 과학뿐 아니라 경제, 법, 윤리 등 다양한 분야를 고려해야 한다고 명시하고 있고요.
그런데 올해 3월, 스티브 워즈니악(Steve Wozniak), 앤드루 양(Andrew Yang), 일론 머스크(Elon Musk)를 비롯한 인공지능 분야 리더들과 학자들 1,000여 명이 AI 시스템 훈련을 6개월간 멈추자는 서명에 동참한 일이 있었습니다. Future of Life라는 비영리 기관의 발표에 따르면 서명에 동참한 리더들은 아실로마 AI 원칙이 지켜지지 않고 있다는 사실을 인정하며 고도로 발달된 인공지능 시스템의 위험성에 주목했어요[1]. 인공지능 기술은 급격하게 발전하고 있지만 인공지능 모델 혹은 시스템에 대한 규제가 부족하다는 자기반성이었죠.
이렇게 업계 리더들이 나서서 자발적으로 인공지능 기술의 한계와 위험성에 대한 목소리를 내는 것은 그만큼 현재 연구되는 기술들이 뛰어나지만 아직 그 기술들을 전적으로 믿을 수는 없다는 것을 의미해요. ChatGPT의 허언증 문제, Bard의 부정확한 답변 등이 업계 리더들과 일반 사용자들이 인공지능 기술에 대한 불신을 갖게 된 최근 사례라 할 수 있죠.
ChatGPT의 허언증 문제는 이른바 hallucination 혹은 artificial hallucination으로 불리는 생성형 AI의 오류인데요. 실제 존재하지 않은 사실이나 물리적 현상을 마치 존재하는 것처럼 생성형 AI가 만들어내는 거예요. 한국일보의 한 기사에 따르면 ChatGPT에게 "조선왕조실록에 기록된 세종대왕의 맥북 프로 던짐 사건에 대해 알려줘"라고 묻자 "세종대왕의 맥북 프로 던짐 사건은 조선왕조실록에 기록된 일화로, 15세기 세종대왕이 새로 개발한 훈민정음(한글)의 초고를 작성하던 중 문서 작성 중단에 대해 담당자에게 분노해 맥북 프로와 함께 그를 방으로 던진 사건입니다"라는 답변을 내놓았다고 해요[2]. 이 같은 오류는 대량의 데이터로 비지도 학습(unsupervised learning)을 하는 경우 발생할 수 있는 결과로 알려져 있어요[3].
구글이 야심 차게 내놓은 인공지능 챗봇 Bard도 부정확한 답을 내놓았습니다. "9세 어린이에게 제임스 웹 우주망원경(James Webb Space Telescope)의 새로운 발견에 대해 어떻게 설명할 수 있을까?"라는 질문에 Bard는 "최초로 태양계 밖 행성을 찍는데 쓰였다"라고 답했는데요. NASA에 따르면 실제 태양계 밖 행성을 처음 촬영한 것은 제임스 웹 우주망원경이 아닌, 유럽남방천문대의 거대 망원경(Very Large Telescope)이라고 해요.
위의 사례에서 보듯 뛰어난 성능을 넘어 믿을 만한 인공지능에 대한 고민이 필요한 시점인데요. 인공지능 시스템의 신뢰를 저해하는 대표적인 세 가지 요인을 살펴볼까요?
인공지능 모델, 왜 믿기 어렵나
1) 불성실한 훈련으로 만들어지기 때문
대부분의 인공지능 모델은 훈련이라는 과정이 필요해요. 훈련은 데이터를 입력해 머신러닝 모델의 성능을 높이는 과정으로, 훈련을 거쳐야 개발자가 원하는 업무를 수행하는 머신러닝 모델이 되죠[4]. 따라서 머신러닝 모델은 개발자의 의도와 목표에 따라 그 성능이 결정된다고 할 수 있어요. 개발자가 모델을 제대로 구현하지 못하거나 적합한 데이터를 사용하지 않는다면 결과는 고스란히 모델 성능의 저하로 이어지게 되죠.
예를 들어 의학 분야에서 쓰이는 인공지능의 경우 성능이 끼치는 영향이 매우 중요한데요. 어떤 의학적 조치가 필요한지 의료진이 올바르고 빠른 결정을 내리게 해주는 중요한 근거가 인공지능 모델의 성능에서 비롯되기 때문이에요. 그런데 한국 사람을 위한 의학 인공지능 모델을 다른 인종에게서 수집한 데이터로 구축한다면 어떻게 될까요? 의학 데이터 수집은 시간과 비용이 많이 걸리는 작업이므로 이미 수집된 타 인종의 데이터를 사용하면 인공지능 시스템을 저비용 고효율로 개발할 수는 있습니다. 그러나 한국인 환자의 특성이 반영되지 않은 인공지능 모델이므로 이러한 시스템이 내놓은 결과에 대해 전적으로 의지하기 어려울 수 있죠. 의료진의 결정에 도움을 주겠다는 애초 목표를 달성하기 어렵게 되는 것입니다. 따라서 인공지능 모델 훈련 과정에서 목표에 어울리는 양질의 데이터를 확보하고 그에 맞는 모델을 개발하는 작업이 중요해요.
2) 투명성이 부족하기 때문
모델의 투명성 문제는 인공지능 시스템에 대한 신뢰를 결정하는 또 다른 요인이에요. 모델의 투명성이라는 개념은 설명력과 유사한 뜻으로, 개발자가 자신이 구축한 인공지능 모델을 제3자에게 설명할 수 있어야 한다는 의미예요.
인공지능 모델의 형태는 각각 다를 수 있으나 보통의 경우 입력값(input)을 받아들여 출력값(output)을 만들어냅니다. 따라서 출력값이 어떻게 도출되는지 완벽히 이해될 수 있어야 하죠. 그 과정이 투명하게 이해되지 못한다면 입력값이 어떻게 처리되는지 이해될 수 없을 뿐 아니라 출력된 값에 대해 전적인 신뢰를 보내기 어려워요. 과정이 불투명하다면 결과도 불투명하게 되는 거죠.
인공지능 모델의 투명성 문제는 인공지능 모델의 복잡성과도 관련이 있어요. 데이터 수집 기술의 발전에 따라 입력값의 형태가 다양해지고 수집된 데이터의 전체 사이즈가 커지면서 이를 올바르게 분석할 모델의 구조도 복잡해지는데요. 특히 딥러닝 모델은 입력층과 출력층뿐 아니라 은닉층의 구조가 매우 복잡해서 블랙박스 모델이라고 불리기도 해요. 따라서 블랙박스화되어 버리는 인공지능 모델의 투명도를 높이기 위한 연구가 활발히 진행되고 있으며, 향후에도 중요한 인공지능 연구 분야의 하나가 될 것입니다.
3) 사용자가 적응하기 때문
인공지능 모델의 신뢰를 저해하는 세 번째 요인은 사용자의 적응 이슈를 들 수 있어요[5]. 인공지능 모델의 결과가 완벽하지 않더라도 사용자가 그 부족함에 적응해 버리는 거죠.
인공지능 모델의 훈련은 엄격한 실험 환경에서 이뤄지는데요. 그렇다 보니 실제 사용 과정에서는 실험 환경에서 예상하거나 다룰 수 없는 다양한 상황이 펼쳐지게 됩니다. 가령 사용자의 음성 명령을 파악해 답변을 내놓는 AI 스피커를 생각해 볼게요. 모델을 개발하고 테스트하는 과정에서는 사용자의 음성이 또렷하고 발음도 명확했을 거예요. 그러나 실제 AI 스피커가 쓰이는 환경은 생활 소음, 사투리, 목소리 상태 등 AI 스피커의 본래 성능을 100% 발휘할 수 없도록 만드는 다양한 제약들이 있기 마련이죠.
이런 경우 모든 사용자가 인공지능 시스템의 에러를 리포트한다든지, 운영자가 사용자의 불편함을 추적할 수 있다면 인공지능 모델은 수정되고 발전될 여지가 있습니다. 결과적으로 신뢰도도 높아지겠죠. 그러나 사용자의 적응 문제는 이런 여지를 저해하는 결과를 낳습니다. 즉, 인공지능 시스템이 완벽하지 않더라도 어느 정도 맞춰가며 적응해 버리는 사용자가 생기게 되는 거죠. 인공지능 모델이 사용자에게 적응하는 것이 아니라 사용자가 인공지능 모델의 오류에 적응하는 것이에요. 이런 사용자 적응 현상은 인공지능 모델 개발 이후에도 지속적인 업데이트가 중요함을 보여줍니다.
인공지능 기술, 이제는 신뢰성 고민해야
인공지능 기술은 고도로 발전된 수학적 모델과 빅데이터의 힘을 통해 인간의 능력을 뛰어넘는 성능을 보여주고 있어요. 인간의 언어를 이해하는 것뿐 아니라 인간이 지각하기 어려운 다양한 정보도 포착하죠. 앞으로도 일상생활과 산업 현장에서 인공지능 기술의 영향력은 계속 커질 텐데요. 따라서 이제는 인공지능의 신뢰성을 본격적으로 고민할 때입니다. 앞서 언급한 아실로마 AI 원칙이 천명하듯 인간에게 유용하고 이로운 혜택을 제공하는 인공지능 시스템은 신뢰라는 튼튼한 뿌리를 가져야 할 테니까요.
참고자료
[1] https://futureoflife.org/open-letter/ai-principles
[2] https://hankookilbo.com/News/Read/A2023022215200000727
[3] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9939079
[4] https://www.v7labs.com/blog/quality-training-data-for-machine-learning-guide
[5] Will You Accept an Imperfect AI? Exploring Designs for Adjusting End-user Expectations of AI Systems. https://www.microsoft.com/en-us/research/publication/will-you-accept-an-imperfect-ai-exploring-designs-for-adjusting-end-user-expectations-of-ai-systems
