AI(Artificial Intelligence, 인공지능)가 4차 산업혁명의 핵심 기술로 등극하면서 많은 기업이 전담 조직을 신설하는 등 역량 확보를 위해 노력하고 있습니다. 그 연장선에서 AI 기술이 각종 데이터 분석 업무에 있어 혁신적 성과를 보장할 것이라고 기대하는 것은 당연한 일입니다. 하지만 우수한 성과가 많을 것만 같은 AI의 실제 활용 사례를 면밀히 살펴보면 그다지 만족스럽지 않은 경우가 대부분입니다. AI 기술이 갖는 우월함은 있지만, 특히 통계와 같이 전통적이고 학문적으로 탄탄한 분석모델이 이미 적용되고 있는 영역에서 획기적인 AI 모델을 개발하는 것은 쉬운 일이 아닙니다. 그렇다 보니 AI 분석모델을 도깨비 방망이쯤으로 생각했던 사람들이 그 가능성조차 폄하하는 경우도 종종 발생합니다.

그렇다면 AI 분석모델에 대한 오해의 실체는 무엇일까요? AI 분석모델이 비즈니스 성과를 보장하기 위해 본질적으로 가져야 하는 요소는 무엇일까요? 세 가지 관점에서 사례와 함께 살펴보겠습니다.

오해 1. AI 분석모델은 구조상 해 찾기 과정이 블랙박스여서 결과가 도출된 이유를 설명하기 어렵지만, 월등히 좋은 예측 결과를 보장한다면 설명력이 부족해도 활용할 수 있습니다.
→ 진실: 잘 만들어진 분석모델은 예측 성능도 중요하지만, 결과가 도출된 경위를 설명할 수 있어야 합니다.

AI 분석모델 도입을 고려하는 대부분의 기업은 AI가 사람보다 월등한 분석 결과를 보장하리라 기대합니다. 하지만 그렇지 못한 경우도 있고 단계적 개선이 필요하여 모델 완성에 오랜 시간이 걸릴 수도 있습니다. (모델을 완성하는데 2년 이상 걸리는 경우도 있습니다!) 이와 같은 경우 AI 모델 도입은 어려운 것일까요? 이는 분석모델의 역할을 어떻게 정의하느냐에 따라 달라집니다.

좋은 분석모델은 의사결정 기준이 될 수 있어야 하고 비즈니스 관점에서 설명할 수 있는 결과를 제시해야 합니다. 예측력은 상황에 따라 좋을 수도 나빠질 수도 있기 마련입니다. 하지만 분석 결과가 도출된 이유를 설명할 수 있다면 합의 기준으로 활용할 수 있습니다. 예측력이 아무리 좋은 모델이라도 결과의 이유를 설명하지 못하면 실무자는 임원을 설득하기 어렵고 임원도 어떤 방향의 의사결정을 내려야 할지 곤혹스러워집니다.

좋은 분석모델은 비즈니스 관점에서 결과의 이유를 설명할 수 있어야 합니다.

에스코어(S-Core)의 성공 사례는 물류 운임(항공·해상 컨테이너, 건화물선) 예측 모델입니다. 화주와 물류사 간의 운임 협상은 각자 계약에 유리한 시황정보를 주장하며 수차례에 걸친 줄다리기를 해야 합니다. 이 같은 상황에서 에스코어가 제시한 운임예측 모델은 비교적 합리적인 합의 기반을 제공하였습니다. 운임을 결정하는 수요·공급의 변화와 경제 요인이 운임에 어떤 영향을 미쳤는지 설명할 수 있었기 때문입니다.

B2B 사업을 하는 모 기업을 대상으로 에스코어가 개발한 수요예측 모델도 좋은 사례로 들 수 있습니다. 이 경우는 영업담당자보다 월등한 예측력을 보여주었다기보다 예측 모델의 구조(경제 요인, 공급 요인, 수요-공급 차에 의한 전략 요인)가 갖는 현실성과 수요예측 결과를 설명할 수 있음으로 인해 적용 가능성을 인정받았다는 사실에 의미가 있습니다. 이 기업은 현재 AI 수요예측 엔진이 영업부서의 수요예측 업무를 대체하는 것을 목표로 모델 개선 작업을 진행하고 있습니다.

만일 결과에 대한 설명을 원하는 누군가에게 "AI 모델이 왜 이런 결과를 만들었는지는 블랙박스에요"라고 답한다면 AI 분석모델 도입은 어려워질 것입니다. 설명 가능한 AI(Explainable AI)가 중요한 영역으로 연구되고 있는 이유이기도 합니다.

오해 2. AI 기술이 좋은 데이터를 선별하여 탁월한 결과를 생성할 수 있으므로 많은 변수 데이터를 제공할수록 결과가 더 좋아집니다.
→ 진실: 꼭 그렇지 않습니다. 좋은 분석 결과를 얻기 위해서는 변수 데이터의 양보다도 분석모델이 비즈니스 행태를 적절히 반영하는지가 중요합니다.

예측모델을 만들 때 예측대상을 목적변수, 예측을 위해 활용되는 변수를 설명 인자라고 해 보겠습니다. 상당수의 사람들은 설명 인자가 많을수록 좋고 AI 모델이 그 많은 인자 중에서 똑똑한 인자를 선별하여 양질의 결과를 도출할 것이라 믿습니다. 하지만 설명 인자가 비즈니스 행태를 반영하지 못하면 좋은 성과를 기대하기 어렵습니다.

딥러닝 기반 수요예측 모델을 개발할 때의 일입니다. 예측 모델을 개발할 때 가장 먼저 하는 작업은 예측 대상(수요)의 변동이 왜 발생하는지에 대한 비즈니스 시나리오를 정의하고 이 시나리오를 설명할 수 있는 인자가 무엇인지를 선정하는 것입니다. 총 7개의 인자를 선정하였는데 글로벌 경기, 판매 추이, 재고 현황, 경영 계획, 전략적 수요 조정 등 실제 수요 변화에 영향을 주는 인자들이었습니다. 하지만 고객은 본인들이 보유하고 있던 9개의 인자를 예측 모델에 반영하길 원했습니다. 이유는 그들이 평소에 성과지표로 보고하던 익숙한 것들이고 AI 모델이 이들 중 좋은 인자를 선별하여 양질의 결과를 도출할 것이라는 막연한 기대감이 있었기 때문이었습니다. 문제는 이들 9개 인자에는 수요 변동에 영향을 주는 인자가 누락되어 있거나 수요 변동과 연관성이 높지 않은 인자들이 포함되어 있었다는 점입니다. 결국 우리는 두 가지 경우를 모두 테스트하여 비교해야만 했습니다. 결과는 어땠을까요? 9개 인자로 개발한 모델의 예측력보다 비즈니스 시나리오상 유의한 7개 인자로 개발한 모델의 예측력이 30% 이상 좋았습니다.

"가지고 계신 데이터가 무엇인가요? 가능한 많이 주시면 저희가 모델을 정의해 보겠습니다"라고 대응하는 데이터 사이언티스트는 신뢰도가 낮아집니다. "데이터 이전에 비즈니스를 설명해 주시겠어요? 데이터는 그에 맞게 다시 요청드릴게요"라고 말하는 데이터 사이언티스트가 필요합니다. AI 기술이 모든 것을 자동으로 고려해 줄 수 없다는 사실을 명심해야 합니다.

AI 분석모델에 비즈니스 행태가 반영되어야 양질의 결과를 얻을 수 있습니다.

오해 3. AI 모델에 필요한 데이터 통합이 이루어지면 다양한 업무 영역의 분석 요구를 쉽게 충족시켜 줄 것입니다.
→ 진실: 데이터 통합만이 능사가 아닙니다. 통합된 데이터를 잘 활용하기 위해서는 협업 분석 조직과 성과 평가가 필요합니다.

최근 상당수 대기업이 데이터 통합을 차세대 혁신 과제로 선정했습니다. 과연 데이터 통합이 이들 기업의 분석 역량을 비약적으로 향상시켰을까요? 데이터 통합은 작게는 수십억 원, 많게는 천억 원대의 투자를 수반하지만 대부분의 기업이 통합 이후 데이터 활용 과정에서 현실적인 어려움에 부딪히게 됩니다. IT 관점으로 통합을 하다 보니 정작 분석에 필요한 모든 데이터가 통합되지 않았거나 어렵게 통합한 데이터가 기대만큼 활용되지 못하는 상황에 놓이는 것입니다. 그 이유는 분절된 조직 문화를 넘어선 분석 협업이 필요한데 이를 이끄는 실행 주체가 없기 때문입니다. 에스코어(S-Core)가 경험한 대표적인 사례는 제조, 그리고 영업·마케팅 영역입니다.

제조 부문은 수율과 품질 불량 그리고 설비 고장의 원인을 알아내어 생산성을 높이고 품질 비용을 최소화하는 것이 중요합니다. 이를 위해서는 단위 공정과 설비도 분석해야 하지만 많은 경우 공정과 설비 간 연계 분석이나 제조 외의 공조와 유틸리티 같은 시설 요인을 포함하는 통합 분석이 필요합니다. 일반적인 생산 조직은 설비 단위, 공정 단위로 분절되어 있기 때문에 연계·통합 분석이 필요한 경우 이를 리드할 상위 조직 체계가 필요합니다. 하지만 현실적으로 분석을 위한 협업 체계를 구축하기란 쉽지 않으며 전사 AI 조직이 있다고 해도 현장 직원들과 밀착 협업하지 않으면 실효성 있는 분석모델을 개발하기 어렵습니다. 결국 제한적인 분석모델을 테스트하다가 기대에 못 미치는 성과로 인해 흐지부지 종료되는 경우가 허다합니다.

영업·마케팅 데이터 분석도 유사한 협업 이슈가 발생합니다. 고객 반응, 가격, 경쟁 관계 등 매출에 영향을 미치는 요소는 매우 다양합니다. 이들 데이터의 통합 분석이 필요하다는 사실은 알고 있으나 상품 기획, 마케팅, 영업 조직이 분절된 환경에서 일하다 보니 이를 위한 협업 추진은 미흡한 것이 일반적입니다. 종합적 분석모델이 만들어지지 않아 가격탄력도 분석이 수요 변동을 제대로 나타내지 못하고, 마케팅 활동별 판매 영향도를 충분히 설명할 수 없으며, 소비자 반응 분석 결과가 다음 상품 기획에 충실히 반영되지 못하게 됩니다. 결국 영업·마케팅 데이터의 통합은 개선되었을지 모르지만 분석모델은 AI 기술을 적용했다는 미디어 홍보 용도를 넘어서기 어렵게 되는 경우가 많습니다.

또 하나 공통적인 통합 이슈는 분석 성과 평가 체계가 미흡한 것입니다. 협업을 위해서는 관련 부서 전문가, 데이터 사이언티스트, IT 및 혁신 조직이 포함된 태스크포스를 구성하고 일을 추진해야 합니다. 그러나 업무에 대한 성과평가 기준이 명확하지 않으면 분석모델 개발에 적극적일 수 없게 됩니다. 결국 데이터 통합에 막대한 투자를 집행하고도 협업 분석 실행 체계가 갖추어지지 않아 기대했던 성과를 만들어 내지 못하게 됩니다. 전사적 분석 협업을 위한 하향식(Top-Down) 추진 및 성과평가에 대한 현실적 고민이 없다면 성공적인 분석모델 개발도 멀어질 수밖에 없을 것입니다.

AI 모델이 통합 데이터를 잘 활용하기 위해서는 협업 분석 조직과 성과 평가가 필요합니다.

AI 분석모델의 성과, 결국 사람에 달려 있습니다.

AI 기반 분석에 대해 가장 흔하게 접할 수 있는 세 가지 오해를 설명하였습니다. 이러한 오해는 향후 AI 모델이 확실한 성과를 내기 위해 겪을 수밖에 없는 중요한 시행착오라고 생각합니다. AI 기술의 발전과 데이터 통합, 그리고 AI 전문조직을 갖추는 것이 중요하나, 이것이 성공을 보장하는 것은 아닙니다. AI 분석모델 개발에서 가장 중요한 것은 AI 기술 자체라기보다는 해당 영역의 비즈니스 이해여야 하고, 부문별 전문가들로 구성된 태스크포스와 C 레벨 임원들의 강력한 지원입니다. 결국 AI 적용의 성패를 좌우하는 것은 기술이 아니라 "사람"입니다.



▶  해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶  해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.