생성형 AI 시대와 기업의 준비 (2편)

2024-05-31 홍은주

- 해당 아티클은 2024년 4월, 삼성SDS가 업종별 고객을 대상으로 진행한 「삼성SDS Gen AI Day」 세미나 중, ‘생성형 AI 시대와 기업의 준비’ 세션 내용을 기반으로 작성하였으며, 1, 2편으로 나누어 게재합니다. -

생성형 AI 도입을 위한 기업의 준비

90% 이상 대다수의 기업은 생성형 AI 도입을 검토하거나, 생성형 AI 적용을 검증하고 있습니다. 다만, ‘어디에 우선 적용해야 할지’, ‘어떤 솔루션과 인프라로 최적의 아키텍처를 구성할지’, ‘기업 데이터를 어떻게 보호해야 할지’ 등에 대해서는 많은 고민을 가지고 있습니다.

이러한 세 가지 주요 고민에 대해, 삼성SDS가 생각하는 답을 말씀드리고자 합니다.

2023년 국내 AI 도입 및 활용 현황 (출처: IDG)

1. Use Case

먼저, 어디에 활용할 수 있을까요? 삼성SDS는 2023년부터 삼성 관계사 및 대외 고객사의 니즈를 통해 200여 건의 Use Case를 확보했습니다. 또한, 삼성SDS 모든 임직원의 생성형 AI 적용에 대한 아이디어를 기반으로 1,200여 건의 Use Case를 개발하고, 앞서 소개한 솔루션을 기반으로 실무에 적용하고 있습니다.

대표적인 적용 분야는 '내/외부 지식 기반 질의응답'입니다. 단순히 "지식 문서를 찾아서 보면 되지"라고 할 수도 있지만, 특허 동향 보고서처럼 연구 개발자가 특허를 하나하나 다운로드해서 읽고 이해하는 데는 시간이 많이 소요됩니다. 그래서, 키워드만 입력하면 관련된 문서들을 크롤링해서 요약 보고서까지 생성할 수 있어 많은 효과를 보고 있습니다. 조금 더 난이도 있는 Use Case는 문서 지식이 아니라, '레거시 시스템의 DB에서 데이터를 추출해 리포트를 생성'하는 것입니다. 즉, "ERP 시스템에서 지난 한 달간 매출 현황을 정리해 줘"라고 요청하면 전문적인 SQL 작성이나 BI 솔루션 등을 사용할 필요 없이 Text2Query 기술을 활용해 답변받을 수 있습니다. 또한, 기업의 많은 개발자들이 코드 작성에 어려움을 겪고 있는데, 'AI Code Assistant’를 통해 코드 생성, 리뷰 요청 및 주석 작성 등 실제 개발 '코딩 업무 지원'에 적용할 수 있습니다. LLM 자체가 업종에 적합한 학습이 부족할 경우, Fine-Tuning을 통해 업종의 ‘전문용어 기반 통역 및 콘텐츠 생성'이 가능합니다. 예를 들어, 마케팅 회사의 경우 그동안 만들어낸 광고 카피라이트 수만 건을 학습시켜 새로운 제품/서비스를 위한 획기적인 광고 카피를 생성할 수 있습니다. 마지막으로, ‘고객 서비스’는 고객과의 채팅 서비스만으로는 한계가 있기 때문에, STT/TTS 기술과 연계해 매장에서 직접 고객을 응대할 수 있습니다.

삼성SDS 생성형 AI Use Cases (출처: 삼성SDS)

고객사 대상 Gen AI 적용 사례 (200건 이상) + SDS 임직원 Use Case BP (1,190건)

적용영역	기술유형	Use-Case
내/외부 지식기반 질의응답	RAG	[R&D] 특허동향 보고서 생성, 특허 침해여부 검토 [제 조] 규제기관 Inspection 대응 위한 내부 문서검색 [서비스] 정비 엔지니어를 위한 업무 메뉴얼 검색
자연어 질의로 정형데이터 분석	Text2 Query	[경영관리] 매출/채권데이터 분석 [서비스] 상담사 고객대응 지원 위한 고객정보 분석
코딩 지원	Text2 Code	[SW개발] SW 개발자를 위한 AI Code Assistant 등 [품질] 수율 분석 프로그램 코딩
전문용어기반 통역/콘텐츠 생성	Fine Tuning	[마케팅] 광고카피 생성 등 [마케팅] 온라인몰 내 상품설명 콘텐츠 생성
고객서비스	STT/TTS 연계	[서비스] 매장 방문객 대상 안내로봇에 Gen AI 적용 [서비스] 기 접수된 VoC를 분석하여 고객서비스 응대 지원

몇 가지 Use Case에 대해 상세히 살펴보겠습니다.

[R&D] 특허 동향 보고서 작성

연구 개발에 앞서 관련 특허 동향을 파악하기 위해서는 방대한 양의 정보 검색과 검토가 필요합니다. 연구원들의 특허 논문을 읽는 시간을 줄이기 위해 LLM을 활용해 '연구개발 계획서'에서 '핵심 키워드'를 도출하고, FabriX 데모에서 시연한 기사 크롤링 방식 활용해 특허 사이트에서 해당 키워드와 관련된 특허 전문들을 다운로드한 후, 수십 건의 특허나 논문을 각각 요약하거나 전체 요약을 통해 동향 보고서를 생성할 수 있습니다. 연구원들은 자동 생성된 보고서를 통해 전체적인 특허 동향이나 스킴을 파악하고 특정 특허만 선별해서 검토할 수 있어, 실제 업무 시간의 50% 이상을 절감할 수 있었습니다. 해당 케이스는 공공 기관에서도 많이 활용되며, '해외 전력 산업에 대한 시장 동향'이나 한전KPS와 함께 '설비 정비 관련 기술 보고서' 작성 등에 적용하고 있습니다.

[R&D] 특허 동향 보고서 작성 Use Case (출처: 삼성SDS)

[서비스] 오프라인 매장 지능형 응대봇 적용

매장 내 직원이 상주하고 있지만, 붐비는 시간에는 모든 고객에 응대가 어려워 불만이나 고객 이탈이 발생할 수 있습니다. 제품에 대한 지식, 프로모션 정보, FAQ, 상담사 매뉴얼 등을 Vector DB화하거나 LLM에 학습시켜 키오스크를 통해 고객을 대응할 수 있습니다. 예를 들어, "우리 아버님이 눈이 안 좋으신데 시야에 좋고 화면이 넓은 스마트폰을 추천해 줘"라고 요청하면 적합한 상품을 추천해 줄 수 있고, 안면인식 기능을 적용해 사용자 성별이나 연령대를 파악해 고객 맞춤형 제품을 추천도 가능합니다. 이 모든 고객 응대는 음성으로 질문하고 음성을 통해 답변하는 방식입니다. 인천국제공항공사의 경우, 공항을 찾는 이용객들을 대상으로 공항에 대한 시설 정보와 항공사별로 다른 수하물 규정 등을 키오스크를 통해 안내하도록 했습니다. 최근에는 건강보험공단과는 AICC(AI Contact Center) 기반 콜센터에 생성형 AI 적용을 진행하고 있습니다.

[서비스] 오프라인 매장 지능형 응대봇 Use Case (출처: 삼성SDS)

[서비스] 멀티모달 기반 상품 검색/비교

삼성SDS의 해외 파트너가 프랑스의 페인트 회사에 적용한 사례입니다. 페인트는 온라인상에서 색만 보고 구매할 경우, 실제 색감이나 페인트를 칠했을 때의 느낌이 완전히 다를 수 있기 때문에 구매가 쉽지 않습니다. 해당 기업은 홈페이지에 채팅 서비스를 제공하여, 고객이 “우리 집 분위기에 맞는 페인트를 검색/비교해 줘”라고 요청하면, 다양한 고객 정보(하우스 내부 전경, 가구 배치, 구매 이력, 고객 성향)를 기반으로 상품을 추천하고 멀티모달 AI 모델을 활용해 인테리어 이미지로 시뮬레이션해 제공합니다. 고객은 시각화된 정보로 쉽게 상품을 검색/비교할 수 있게 되었고, 궁극적으로 구매 전환율도 상승했습니다.

[서비스] 멀티모달 기반 상품 검색/비교 Use Case (출처: 삼성SDS)

그렇다면, 기업은 어떤 기준으로 Use Case를 선정하고 적용해야 할까요? 3~5년 후에는 생성형 AI가 일하는 방식을 모두 바꿀 것으로 생각되나, 아직은 시작 단계이기 때문에 많은 직원들이 빨리 경험하고 더 많은 아이디어를 만들기 위한 변화 관리를 하는 것이 매우 중요합니다. 그런 의미에서 Use Case 적용 기준은 '사용자 수'가 많고, '적용이 쉬운' Use Case부터 시작해서 높은 정확도가 요구되는 방향으로 애자일하게 확대하는 것이 필요합니다. 이러한 측면에서 Brity Copilot로 대표되는 소통이나 협업, 사내 지식 검색은 답변의 정확도가 높고 바로 적용이 가능하기 때문에 최우선적으로 도입을 고려할 수 있고, 고객서비스 분야라면 제품에 대한 질의응답이나 제품 추천 등으로 시작해 클레임 상담까지 확대 적용할 수 있을 것입니다. 또한, 기업이 속한 도메인 측면에서 제조업의 경우에는 R&D나 제조 현장에 적용할 수 있는 Use Case부터 시작해 비즈니스 임팩트를 확보해 나가는 것이 필요합니다.

업종별 생성형 AI 영향도 & Use Case 선정 우선순위 (출처: 삼성SDS)

2. Architecture

어떻게 생성형 AI를 구현해야 할까요? 기업에서는 1~2개 Use Case 정도는 검토 중이거나, PoC를 진행하고 있습니다. 해당 Use Case는 상용화된 ChatGPT를 통해 ‘질의 응답’만 할 수도 있고, 엔지니어 문서나 설비 매뉴얼 등 사내 지식이나 문서가 많아 Private 클라우드 기반으로 오픈소스 LLM과 사내 KMS 시스템을 연계해 ‘지식검색 기능’을 구현할 수도 있습니다. 또한, ‘ERP Copilot 구축’을 위해 On-Premise 클라우드를 기반으로 ERP의 전문용어 학습을 위한 Fine-Tuning과 ERP와의 연계가 필요할 수도 있습니다. 기업에서 하나의 Use Case만 선택해도 된다면, 이에 맞는 최적의 업체와 협력하면 됩니다. 그러나, 6개월, 1년, 3년 후에 기업의 Use Case는 수백 개 이상으로 확장될 것입니다. 이러한 의미에서 Use Case에 대한 개별 구축보다는 다양한 Use Case를 공통으로 지원할 수 있는 '플랫폼 기반의 접근'이 필요합니다. 즉, 고효율/고보안 인프라부터 최적화된 LLM 서빙, 사내 데이터/시스템과 사외 시스템과의 연계, 사용자를 위한 Portal이나 Chat Service, 레거시 시스템의 Copilot 개발을 지원하는 서비스 등이 제공되는 플랫폼의 활용은 중장기적으로 빠르고 비용 효율적으로 AI를 적용하는 방법이 될 것입니다. 이러한 사상에서 삼성SDS가 제공하는 플랫폼이 바로 'FabriX'입니다.

삼성SDS 생성형 AI 서비스 플랫폼, FabriX (출처: 삼성SDS)

3. Security

기업은 "직원이 실수로 내부 정보를 LLM에 질문하면 어떻게 하지?”부터 시작해서 "다른 회사에서 우리 데이터를 학습해 사용하면?", "인프라센터 자체가 공격을 받아서 기업 데이터가 탈취되면?" 등 보안에 대한 많은 우려가 있습니다. 그렇다면, 기업 데이터의 유출은 어떻게 막을 수 있을까요? 서비스 측면에서는 민감 정보에 대한 '필터링'을 통한 소프트웨어적인 방어나 '대화 내용 암·복호화'를 통해 가능하고, LLM 측면에서는 '자체 LLM'을 사용하거나 ‘상용 LLM 활용 시 기업 사용 데이터를 저장/활용하지 않도록 협약’할 수 있습니다. 또한, 인프라 측면에서는 통합 보안관리 체계를 적용한 'On-Premise 환경'이나 'Private Cloud'를 선택할 수 있습니다. 그러나, 보안 수준을 높이는 만큼 비용과 복잡도가 증가하기 때문에 기업의 보안 위험에 맞는 보안장치를 결합한 최적화된 방법을 찾아야 하며, 삼성SDS는 어떠한 형태로든 기업에 꼭 맞는 보안 서비스를 제공할 수 있습니다.

삼성SDS 단계별 보안 서비스 (출처: 삼성SDS)

Why 삼성SDS?

삼성SDS의 FabriX, Brity Copilot은 2023년 출시 후 CES 2024에서 제품 소개 및 라이브 데모를 진행했으며, 'SaaS나 PaaS, 그리고 도메인에 특화된 상용 솔루션'으로 안정된 기술력과 기능을 제공합니다. 또한, 삼성SDS는 자체 LLM(Samsung LLM)뿐만 아니라, 다양한 오픈소스 LLM에 대한 'Fine-Tuning과 LLM 서빙/최적화 경험'을 통해 할루시네이션(Hallucination) 이슈의 대부분을 해결할 수 있는 기술을 보유하고 있습니다. 데이터의 전처리나 기술적인 준비 없이 생성형 AI를 도입할 경우 답변의 정확도는 50% 수준인데, 삼성SDS는 이러한 정확도를 98%까지 끌어올린 프로젝트 경험을 가지고 있습니다. 마지막으로, 삼성그룹은 NVIDIA의 대형 고객으로 파트너십을 통해 대량의 GPU를 소싱할 수 있으며, 덕분에 B2B 서비스 업체로서는 '국내 최대 규모의 xGPU 클라우드 센터'를 기반으로 쉽고 빠른 모델 학습과 LLMOps 환경을 제공할 수 있습니다. 대부분의 기업은 생성형 AI의 도입 초기이기 때문에 얼마의 비용으로 어떻게 구축할지를 고민하고 있습니다. 그런데, 앞으로 1천 명, 1만 명, 혹은 10만 명의 임직원들이 매일 질의를 요청한다면 과연 GPU 비용은 얼마나 될까요? 삼성SDS는 국내 최대 규모 수준인 현재 20만 명, 연내 50만 명을 대상으로 서비스를 계획하고 있는데, 과거의 단가 산정 방식을 적용한다면 GPU 사용량을 포함한 비용은 수십억 또는 수백억까지 예상할 수 있습니다. 결국은, 운영 측면에서 TCO를 고려한 전체 비용을 줄일 수 있는 방안을 제시하는 것이 매우 중요하며, 삼성SDS는 생성형 AI 서비스 제공 경험을 기반으로 '생성형 AI 솔루션/플랫폼', '자체 LLM과 LLM 서빙/최적화 기술' 및 'GPUaaS(GPU as a Service)'에 대한 ‘Co-Optimization 역량’을 통해 고객에게 최적화된 서비스를 제공할 것입니다.

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

홍은주

삼성SDS 전략마케팅팀

IT 동향 분석, 프로세스 혁신 및 경영전략 수립의 컨설팅 업무 경험을 기반으로, 삼성SDS 닷컴 내 Digital Transformation 및 솔루션 페이지 기획/운영 업무를 수행하였고 SDS 주요 사업영역별 동향/솔루션 분석을 통한 컨텐츠 기획 및 마케팅을 수행하고 있습니다.

영업마케팅	고객서비스	R&D	SW엔지니어링	SCM	Risk&Legal	Strategy&Finance	IT
Consumer Service 2,400~3,900(억$)	3	3	1	3	2	2	1	1
Banking, Invest 2,000~3,400(억$)	3	3	1	3	1	2	1	1
Manufacturing 1,700~2,900(억$)	3	1	3	2	2	1	1	1
Engineering 900~1,500(억$)	2	1	2	2	2	1	1	1
Bio, Health care 600~1,100(억$)	3	3	1	3	1	2	1	1
Insurance 500~700(억$)	3	3	1	3	1	2	1	1

Use Case	일반 지식검색	사내 지식검색	결산리포트 작성	...
Gen AI Service	Portal	Chatbot	Copilot	...
System/Data		KMS	ERP	...
LLM Model	상용	오픈소스	업종 특화	...
Infra	Public	Private	On-prem.	...

생성형 AI 시대와 기업의 준비 (2편)

생성형 AI 도입을 위한 기업의 준비

90% 이상 기업이 도입 또는 검토 중

1. Use Case

Domain별 Biz.. Impact

Use Case 선정 우선순위

2. Architecture

구현 시 필요 요소

고려사항

GenAI Service Platform

3. Security

Challenge

Solution

Why 삼성SDS?