- 이번 아티클은 2024년 9월, 삼성SDS가 대외 고객을 대상으로 진행한 「REAL SUMMIT 2024」 행사 중, ‘Hyperautomation 추진을 위한 고려 사항 5가지’ 세션 발표 내용을 기반으로 작성되었습니다. -
글로벌 기업 경영진 대상으로 진행한 설문조사에서 응답자의 90% 이상이 '우리 기업은 생성형 AI를 적극 도입해서 잘 활용할 수 있다.'고 답했습니다. 하지만, 최근 1년간 삼성SDS가 실제 만나본 400여 개의 기업 및 기관들의 체감과는 약간의 차이가 있습니다. 지난 5월 한국능률협회컨설팅(KMAC)과 공동으로 진행한 'Gen AI Market Awareness & Perceptions' 설문조사 결과에 따르면, 실무 및 임원진을 포함한 600여 명의 기업 고객 중 56%만이 '2년 이내에 생성형 AI를 도입'할 것이라고 답했고, 나머지 44%의 고객은 '2년 이후나 도입 시점이 정확하지 않다'라고 답했습니다.
그렇다면, 어떠한 고민이 기업의 생성형 AI 도입 계획에 영향을 미치고 있는 것일까요? 기업 고객들은 생성형 AI 도입에 있어 '제한적인 활용 사례(46%)', '투자 대비 성과의 불확실성(40%)', '생성형 AI 기술의 미성숙(28%)' 등을 주요 우려 사항으로 꼽았습니다. 생성형 AI 도입을 통해 기업의 하이퍼오토메이션(Hyperautomation)의 긴 여정을 시작해야 하는 시점에서, 기업의 대표적인 5가지 고민 사항을 하나하나 짚어가면서 해결책을 함께 논의해 보도록 하겠습니다.
기업이 생성형 AI를 도입하면 어디에 어떻게 활용할 수 있을까요? 비즈니스에 가치 있는 생성형 AI Use Case 발굴은 크게 2가지 방법으로 접근할 수 있습니다.
첫째, 프로세스 자동화 측면의 접근입니다. 지난 수십 년간 기업들은 프로세스 표준화 및 통합, 시스템 기반의 업무 수행 등을 통해 프로세스를 혁신해 왔고, 최근 몇 년 동안은 RPA(Robotic Process Automation)를 적용하면서 일련의 프로세스 자동화를 추진하고 있습니다. 이러한 과정에서 기업들은 ERP, SCM, PLM, MES, CRM 등 다양한 기간 시스템을 도입하고 많은 테스크의 자동화를 실현했습니다. 그러나, 전체 프로세스상에서 볼 때 경험과 지식을 보유한 인간의 개입이 필요한 부분은 여전히 많습니다. 제조나 유통 기업의 공급망 계획(SCP) 프로세스를 예로 들 수 있습니다. 해당 프로세스는 '제품계획 – 수요계획 – 공급계획 – 생산계획 – 판매운영계획'의 단계로 구성되며, 매출 및 수익성을 예측하는 '판매운영계획(S&OP)' 프로세스만 보더라도 고급 인력의 노동력이 필요합니다. 해당 프로세스 중, 레거시 시스템에서 다양한 데이터를 수집하고 분석/보고해야 하는 '월간 S&OP 회의 자료 작성'과 같은 –중요하지만, 반복적으로 수행해야 하는 시장 분석, 고객 분석/대응, 특허 동향 분석, Daily News 리포팅 등의– 업무에 생성형 AI를 적용하면 전체 워크플로우를 간소화하고 자동화할 수 있습니다.
둘째, 최근 생성형 AI 관련 중요한 키워드 중 하나인 개인 업무를 위한 AI 비서, 즉 ‘Personal Agent’를 구성하는 것입니다. 삼성SDS가 지난해 자체적으로 조사한 바에 의하면, 직원들은 하루 8시간 중 2시간 이상을 이메일 작성, 메신저 사용 등의 커뮤니케이션 업무에 소비하고 있습니다. 이러한 커뮤니케이션 업무 외에도 회의록 작성/요약/보고, VOC 데이터 분석, 글로벌 미팅/번역, 이슈 분석/보고 등 구성원의 개별 역량과 경험치에 의존했던 다양한 Ad-hoc 성격의 일상 사무 업무에 생성형 AI 기술을 적용하면 다양한 Agents의 역량을 활용하여 업무 생산성을 향상할 수 있습니다.
삼성SDS는 1,500개 이상의 Use Case를 개발한 경험이 있습니다. 실제로, 해커톤이나 경진대회 등을 통해 발굴된 Use Case를 Best Practices로 만들어 확산 중이며, 임직원들이 보안 걱정 없이 안전하게 사용할 수 있는 플랫폼 환경을 제공하여 1.4만여 개의 아이디어를 도출하고 1,200여 개의 Use Case를 실제로 활용하고 있습니다. 또한, 2023년부터 컨설턴트를 중심으로 삼성 관계사 및 대외 고객사의 요구사항을 반영한 업종 특화된 220여 개의 Use Case를 확보/구현하고 있습니다. 기업의 경영진들은 '기업에서 잘 사용할 수 있는 Use Case를 발굴하고, 이를 중심으로 선택과 집중하는 것이 생성형 AI를 잘 활용하는 것이 아닌가?'라고 생각할 수 있지만, 이보다 중요한 것은 가능한 많은 직원이 생성형 AI를 풍부하게 경험할 수 있는 환경을 제공하는 것입니다. 삼성SDS 역시 생성형 AI 플랫폼을 통해 임직원 니즈를 반영한 수많은 아이디어를 도출하고, 이 과정에서 회사의 경쟁력을 확보하는 차별화된 Use Case를 발굴할 수 있었습니다.
그렇다면, 기업은 어떤 기준으로 Use Case를 선정하고 적용해야 할까요? 향후에는 생성형 AI가 일하는 방식을 모두 바꿀 것으로 예상되지만, 아직은 시작 단계이기 때문에 많은 직원들이 빨리 경험하고 확대를 위한 지속적인 변화 관리가 중요합니다. 그런 의미에서 '비즈니스 영향도'와 '도입 용이성' 측면을 고려해 후보 Use Case의 적정성을 검토하고, 사용자 수가 많고 적용하기 쉬운 Use Case부터 시작해서 애자일하게 확대해 나가야 합니다. 현재, 삼성SDS는 이미 선정된 Use Case에 대한 PoC/Pilot을 수행하거나 수행 중인 100여 개 이상의 고객을 확보하고 있습니다.
세상의 판도를 바꾸고 있는 대형 언어 모델(LLM)은 급속히 확장/진화하고 있습니다. 이미 수천억 개의 파라미터를 가진 초거대 AI 모델의 수는 글로벌하게 230여 개가 넘었고, 소형 언어 모델(SLM) 등을 포함하면 그 수는 헤아릴 수조차 없습니다. 이러한 환경에서 기업은 어떠한 생성형 AI 모델을 선택해야 할까요? 기업들은 LLM 선택에 많은 고민을 가지고 있고, ‘최신의 전자제품처럼 기다렸다가 최적의 모델을 선택하는 것이 낫지 않을까?’라고 생각할 수도 있습니다.
생성형 AI 기술의 핵심이라고 할 수 있는 생성형 AI 모델은 기계와 인간 인지의 격차를 점점 좁히고 있으며, '멀티모달', '오픈소스', ‘소형∙전문’ 모델 등 다양한 트렌드로 발전하고 있습니다. 멀티모달 모델은 기존의 단일 모드 기능을 넘어 텍스트, 이미지, 음성 및 영상 등의 다양한 데이터 유형을 통합해 처리할 수 있기 때문에, 도면이나 도식을 포함한 특허 문서 등에서 핵심 이미지 정보를 자유롭게 활용할 수 있습니다. 또한, 데이터에 대한 컨텍스트 더 잘 이해하기 때문에 사람의 개입을 줄여 업무의 효율성과 경쟁력을 크게 향상할 수 있습니다. 'Llama 2 70B', 'Falcon 180B', 'Mixtral-8x7B' 등의 오픈소스 모델은 성능과 투명성이 향상되며 오픈소스 생태계로 발전하고 있습니다. 이는 기업의 니즈와 요구사항에 적합한 모델의 선택지를 확대하고, 인프라나 데이터 사용을 제어할 수 있어 하이브리드 또는 온프레미스 환경에서 모델을 호스팅할 수 있는 유연한 옵션을 제공합니다. 마지막으로, 소형∙전문 모델은 고품질 소스로 구성된 것보다 제한된 데이터 세트에서 훈련된 30~100억 개의 매개변수를 가진 모델로, 학습과 운영에 필요한 GPU 등의 리소스 비용을 절감할 수 있습니다. 특히, 산업이나 특정 분야에 최적화되어 더 정확한 추론이 가능해짐에 따라, 정확성과 신뢰성이 중요한 의료, 금융, 법률 서비스 산업 등에서 유용하게 활용할 수 있습니다.
이렇게 소형화되고 효율화된 기술로 발전하는 시점에서 LLM 도입을 늦출 이유는 없습니다. 기업이 최적의 LLM을 선택/도입하기 위해서는 생성형 AI 활용의 목표와 Use Case에 필요한 요구사항을 구체적으로 정의해야 합니다. 예를 들어, 공공 대민 민원 상담 서비스는 전화나 채팅을 통해 공공 서비스 민원을 실시간 상담하는 Use Case로, 규정 관련 문의에 대응하기 위해 다양한 시스템의 정보를 찾아 정확한 답변을 제공해야 하고, 실시간 대화로 진행됨에 따라 빠른 응답 속도가 필수적입니다. 또한, 다양한 연령대와 지역에서 문의하는 만큼 지역별로 사용하는 단어나 방언에 대한 이해도 중요합니다. 이러한 요소들 모두 AI 모델을 선택하는 데 중요한 기준이 됩니다. 일반적으로 기업의 LLM은 '성능'과 '비용 효율성'을 포함해, Use Case별로 특화된 '필수' 및 '우선순위' 요소 등을 고려해 선택할 수 있습니다. 해당 Use Case에 적용해 보면, 성능 측면에서 –모델의 전반적인 성능을 평가하는– AL Score 점수가 낮아 질문의 의도에 가장 적합한 답변을 할 수 없거나 응답 속도가 느린 모델은 우선 제외하고, 다양한 연령 및 지역 사용자들을 고려해 한국어를 심도 있게 지원하는 모델을 후보로 선택할 수 있습니다. 이후, 공급업체의 신뢰성이나 소요 비용, 구현 아키텍처 등을 고려해 LLM을 최종 선택하는 것이 바람직합니다.
또한, 기업은 AI 활용을 지속적으로 확대하기 위한 중장기적인 고려가 필요합니다. 기업은 앞으로 용도별로 최적화된 다양한 LLM을 활용하게 될 것이며, 삼성SDS 역시 코드 개발용, 일반 업무용, 프로세스 자동화를 위한 소형 언어 모델 등 다양한 LLM을 제공하고 있습니다. 기업의 생성형 AI Use Case는 향후 수백 개 이상으로 확대될 것이고 새로운 LLM 역시 계속 등장할 것이기 때문에, 기업 입장에서는 비용 효율적으로 AI 모델을 확장하고 활용할 수 있는 '플랫폼 기반의 접근'을 초기부터 고민해야 합니다. 이러한 측면에서 삼성SDS는 생성형 AI 서비스 플랫폼인 'FabriX'를 제공하고 있으며, 현재 26개 관계사, KB금융 9개사, 10여 개의 공공기관 등이 생성형 AI 플랫폼으로 활용하고 있습니다.
생성형 AI 도입의 가치는 기업이 차별화된 경쟁력을 확보하는 것입니다. 기업의 경쟁력은 단순히 제공하는 제품이나 서비스로 판단할 수 있지만, 한 번 더 생각해 보면 기업이 현재까지 축적해 온 지식 자산, 일하는 방식, 그리고 이를 뒷받침하는 시스템으로 결정됩니다. 따라서, 기업은 생성형 AI 도입 시 ‘보유한 지식과 데이터, 시스템 기능 등을 어떻게 잘 활용할 수 있는가’에 대해 깊이 고민해야 합니다.
먼저, 기업이 보유한 데이터를 생성형 AI에 적용하기 위한 방법(Data Integration)으로 두 가지 기술을 적용할 수 있습니다. 첫 번째는 'RAG(Retrieval Augmented Generation, 검색 증강 생성)'입니다. LLM이 학습된 지식만으로는 필요한 모든 정보를 제공하는 데 한계가 있기 때문에 기업 내부의 데이터를 활용해 답변을 제공하는 방식이며, 비용 효율 면에서 가장 합리적인 선택이라고 볼 수 있습니다. 이 기술은 할루시네이션을 줄이고 답변의 정확도를 높일 수 있지만 그 편차가 매우 크기 때문에 많은 기술 노하우가 필요하며, 관련 논문과 적용 기술도 굉장히 많습니다. 삼성SDS는 FabriX 플랫폼 내에 –프롬프트를 다시 쓰거나, 답변 후보들을 리랭킹해서 더 정확한 답변을 찾거나, 답변 후보들 중에서 취사선택/통합하는 등– 20여 개의 '맞춤 RAG 전략(Modular RAG)'을 제공하고 있으며, 이러한 RAG 전략을 조합해 Use Case별로 최적의 답변을 도출할 수 있도록 시뮬레이션하는 'RAG Playground' 툴을 제공하고 있습니다. 두 번째는 LLM 자체가 산업을 이해하고 업종 특화된 답변을 제공해 줄 수 있도록 'Fine-Tuning'하는 것입니다. 다만, 생성형 AI 도입을 고민하는 기업은 첫 단계로 RAG 방법을 우선적으로 고려하는 것이 좋습니다. 한 광고/마케팅 기업은 Fine-Tuning을 통해 마케팅 특화 LLM을 확보하여 브랜드 특색을 반영한 차별화된 광고 문구를 제작하고 있으며, 삼성SDS는 FabriX 플랫폼의 'LLMOps'를 통해 LLM의 「학습부터 성능 평가, 서빙」까지의 통합 서비스를 제공하고 있습니다.
기업의 시스템에 생성형 AI를 결합(System Integration)한 시스템별 전문 ‘AI Agent’를 활용하여 업무 생산성을 향상할 수 있습니다. 예를 들어, 렌털 서비스 중인 고객이 이사를 위해 이전 설치 요청과 일정을 문의하는 경우, '고객 상담 Agent'는 고객 정보와 문의 내용을 상담원에게 전달하고, 시스템 연계를 통해 고객의 제품 정보와 설치 가능한 스케줄을 포함한 응대 매뉴얼을 가이드하여 설치 일정 예약까지 실시간으로 완료할 수 있습니다. 한 단계 더 나아가 ERP, SCM, MES, 그리고 이슈 리포트 등 다양한 시스템과 정보를 연계해 해결책을 찾아야 할 경우, 'Multi Agents'를 활용할 수 있습니다. Multi Agents는 대표 Agent에만 질의하면 오케스트레이션을 통해 다른 Agent와 상호 작용한 후 종합된 결과를 제공해 줄 수 있습니다. 이러한 특성은 'E2E 지능형 프로세스 자동화'의 핵심이며, 삼성SDS 역시 Multi Agents 분야에 대한 많은 연구를 진행하고 있습니다.
기업이 우려하는 것은 단순히 비용이 많이 든다는 점이 아니라, 정확하게 얼마의 비용이 들지 파악하기가 어렵다는 점입니다. 즉, 일종의 리스크로 볼 수 있습니다. 기존의 전통적인 IT 시스템 대비 생성형 AI 서비스 구축은 Use Case 유형별로 구현 방식이나 비용이 매우 다양하기 때문에 예측하는 것이 쉽지 않습니다. 그러나, 목적을 더 명확히 하고, 기술과 경험을 발전시키면서 리스크를 줄일 수 있습니다.
자체 LLM을 만들고 실제 Use Case를 구축한 경험으로 비추어 볼 때, 기업은 최소한 '생성형 AI 용도와 구현 방식, 이에 따라 발생하는 비용 항목' 등에 대한 확률성이나 가시성을 확보한 후 생성형 AI 도입을 검토하는 것이 좋습니다. 'SaaS형이나 Subscription' 방식의 경우, 사용자 수나 토큰/API 사용량에 따라 비용이 결정되며, 삼성SDS를 포함한 대부분의 업체는 다양한 복합 요금제를 제공하고 있습니다. 그러나, RAG, Fine-Tuning, Agent, Multi Agents 등의 기술로 기업이 보유한 데이터와 시스템을 연계하거나 자체 LLM을 확보하려는 경우, 비용은 많이 증가할 수 있습니다. GPU 인프라는 자체적으로 보유할 것인지 클라우드 서비스를 이용할 것인지, 플랫폼은 직접 구축할 것인지 PaaS형 서비스를 적용할지 등 많은 고민이 시작되며, 여기에 Use Case 구축을 위한 전문적인 서비스 비용 등을 포함해 종합적으로 고려해야 합니다.
생성형 AI 도입 전략에 따른 비용 요소를 간략히 살펴보면, '서비스형 SW(SaaS)'는 구독형 방식으로 빠른 도입은 가능하지만, Use Case의 확장이 어려울 수 있습니다. 그러나, 비용적 장점이 가장 크기 때문에 소규모 기업이나 생성형 AI를 경험하는 환경의 하나로 선택할 수 있습니다. 'LLM Making(Pre-Training)' 방식은 LLM이 기업의 경쟁력이고 제품과 서비스에 반영해야 하는 필수적인 요소일 경우 고려할 수 있으나, 대규모 GPU 자원과 AI 전문 인력이 필요하기 때문에 도입 비용이 상당합니다. 대부분의 고객은 'Ready-made LLM(PaaS)', 'Customized LLM(Fine-Tuning)' 방식을 고려하고 있습니다.
특히, Ready-made LLM(PaaS)은 삼성SDS가 만나본 400여 개 기업 및 기관에서 가장 많이 선호하고 있는 유형으로, 기업의 Use Case 확장을 지원하는 플랫폼을 제공하기 때문에 다양한 LLM 활용이 가능하고 합리적인 비용 안에서 적용 Use Case를 확대해 기업의 생성형 AI 체계를 성장시킬 수 있습니다. 삼성SDS는 이러한 플랫폼 기반의 생성형 AI 도입을 지원하기 위한 서비스 오퍼링을 지속적으로 개발하고 있습니다.
생성형 AI에 대한 도입 추진, 지속적인 활용, 유지보수 및 변화관리 등에 필요한 '조직의 역량'은 기업이 실질적으로 가장 우려하는 부분입니다.
생성형 AI 도입은 디지털 트랜스포메이션의 연장선에 있기 때문에, AI 도입 첫 단계부터 –AI 전문가뿐만 아니라 도메인 전문가가 포함된– 'AI 전담 조직(AI Center of Excellence)'을 구성, 추진하는 것이 좋습니다. AI 혁신은 CTO, CDO, CIO 등 C-Level 주도하에 ‘전사적인 차원에서 추진’해야 하고, 경영층과 조직 리더 중심으로 혁신을 실행해야 합니다. 생성형 AI 도입은 일하는 방식을 변화시키는 것입니다. 그렇기 때문에, 생성형 AI 도입의 가치를 세심하게 살펴보고 회사의 정책에 반영해야 하며, 인사나 교육을 담당하는 부서가 반드시 참여해 임직원의 AI 역량 향상을 지원하고 일하는 문화의 변화 과정을 관리/운영'해야 합니다. 마지막으로, 생성형 AI의 핵심은 데이터입니다. 기업은 보안이 필요하거나 민감하거나 지식재산권 이슈가 있는 다양한 데이터를 보유하고 있기 때문에, 데이터의 축적부터 관리, 활용까지의 전사적인 '데이터 관리 체계'를 구축하고, 법무나 보안 관리에 대한 R&R을 반드시 고려해야 합니다. 이러한 4가지 측면을 기반으로 통합적인 협력 체계가 갖춰질 때, 기업은 생성형 AI 혁신을 효과적으로 추진할 수 있습니다.
그러나, 이러한 모든 역량이 갖춰진다면 기업이 생성형 AI 도입을 주도적으로 진행할 수 있을까요? 예전과 달리 IT 기술이 급속히 발전하고 있기 때문에, 독자적으로 새로운 Use Case를 발굴/확산하고 지속적으로 비용과 아키텍처를 최적화하며 기업의 AI 체계를 구축하는 것은 쉽지 않습니다. 기술과 경험이 풍부한 생성형 AI 전문 파트너와의 협력을 바탕으로 생성형 AI를 업무에 결합하고, 빠르게 발전하는 AI 모델에 유연하게 대응하며, 다양한 데이터 연결 및 아키텍처의 최적화를 통해 기업의 진정한 하이퍼오토메이션을 실현할 수 있습니다. 생성형 AI 도입은 GPU 사용을 위한 '인프라'부터 '데이터 체계', AI 추론 및 응답을 관리하기 위한 'LLMOps', '플랫폼', '애플리케이션' 등을 포함한 기업의 아키텍처를 크게 변화시킵니다. 특히, 기업에 최적화된 AI 아키텍처 구현을 위해서는 다양한 Use Case로의 확장이 가능한지, 기업의 데이터와 시스템을 손쉽게 통합하고 다양한 자동화 구현이 가능한지, 생성형 AI 서비스 구현과 운영에 필요한 기술, 도구, 인적 역량을 보유하고 있는지 등을 포함해 빠른 기술 발전과 변화를 수용할 수 있어야 합니다.
지금까지 기업이 생성형 AI를 비즈니스에 도입하기 위해 고려해야 하는 사항을 5가지 측면에서 살펴봤습니다. 정리해 보면, 기업은 비즈니스에서 가치를 창출하는 Use Case를 발굴해야 하며, 각 업무에 최적화된 모델을 선택하여 Multi LLM을 안전하게 효과적으로 사용해야 합니다. 또한, 기업의 데이터 및 시스템과의 연계를 통해 LLM 성능을 최적화하고, 합리적인 비용을 고려하여 기업의 특성에 맞는 생성형 AI 시스템을 구축/운영해야 하며, 이를 위한 거버넌스 체계와 AI 기술 역량을 갖추어야 합니다.
삼성SDS는 삼성 클라우드 플랫폼(SCP)을 포함한 다양한 글로벌 클라우드의 'GPU 인프라'부터 최적화된 Multi LLM 서빙, 기업 데이터/시스템과의 연계. 레거시 시스템의 Copilot(Agent) 개발 등을 지원하는 생성형 AI 플랫폼 'FabriX'를 제공합니다. 또한, 협업 및 일상적인 사무 작업을 효율적으로 수행할 수 있는 'Brity Copilot', 규칙 기반의 RPA 솔루션에 생성형 AI를 결합하여 프로세스를 자동화하는 'Brity Automation' 솔루션을 제공합니다.
삼성SDS는 이러한 생성형 AI 오퍼링과 축적된 생성형 AI 서비스 경험을 바탕으로 생성형 AI 도입을 위한 End-to-End 서비스를 제공하며, AI 혁신의 과정에 수반되는 복잡한 문제를 함께 해결하면서 기업의 업무를 보다 빠르고 편리하게 변화시키고 진정한 Hyperautomation을 완성해 나갈 것입니다.
☞ 세션 발표자: 삼성SDS 컨설팅팀 김정욱 상무(jungwuk.kim@samsung.com)
삼성SDS 전략마케팅팀
IT 동향 분석, 프로세스 혁신 및 경영전략 수립의 컨설팅 업무 경험을 기반으로, 삼성SDS 닷컴 내 Digital Transformation 및 솔루션 페이지 기획/운영 업무를 수행하였고 SDS 주요 사업영역별 동향/솔루션 분석을 통한 컨텐츠 기획 및 마케팅을 수행하고 있습니다.