이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기] : https://www.ciokorea.com/news/346364#csidxb65c1f3c0756b9fbc1b03fdbae3f931
생성형 AI의 가능성은 부인할 수 없습니다. 그러나 기업에서 이를 적용하는 데 대규모 언어 모델(LLM, Large Language Model)을 꼭 선택해야 하는 것은 아닙니다. IT 리더가 제어권을 유지할 수 있는 특정 데이터를 기반으로 하고 에너지 소비가 적은 소규모 언어 모델이 주목받고 있습니다.
GPT-4가 튜링 테스트를 통과하고, 마이크로소프트가 AI 비서 코파일럿을 기업용 제품에 적용했습니다. 구글이 이탈리아에서 스마트폰용 제미나이 앱을 출시한 가운데, CIO들은 기술적 흥분이나 상업적 현혹에 휘둘리지 않고 최신성을 확보하기 위해 생성형 AI 기술을 연구하고 있습니다. 생성형 AI는 많은 이점을 제공할 수 있지만 적절한 검토가 필수적입니다. 가능성을 과대평가할 위험이 몹시 높습니다. AI와 생성형 AI에 대한 첫 번째 위험은 이를 지나치게 믿는 것입니다.
최근 가트너는 생성형 AI 기술에 대한 전 세계 기업의 지출이 아직까지는 그다지 크지 않다고 추정했습니다. 또 올해 예상되는 총 5조 달러(2023년 대비 8% 증가) 규모의 IT 투자 중에서도 생성형 AI가 차지하는 비중은 크지 않을 것으로 전망했습니다. 오히려 전통적인 IT 서비스가 지출을 주도한다는 예상됩니다. 그럼에도 대형 서비스 제공업체들은 생성형 AI 기술에 대한 지출을 늘리고 있습니다. 2024년에 하이퍼스케일러들이 지출하는 서버 비용 중 거의 60%가 AI 애플리케이션 서버에 집중될 전망입니다. 하지만 기업들은 신중한 입장입니다. 가트너는 2023년에 논의, 2024년에 구현 계획, 2025년에 실행될 것으로 예상되는 생성형 AI의 주기를 '스토리, 계획, 실행'으로 보고 있습니다.
생성형 AI를 면밀히 검토하는 CIO
바이오가스 및 바이오메탄 생산과 에너지 효율 분야에서 활동하는 이네바의 CIO 에도아르도 에스포지토에 따르면, 현재 이네바의 IT는 모두 마이크로소프트 시스템으로 구성되어 있고 이 생성형 AI 제품이 오피스 제품군과 완벽하게 통합됩니다. 회사는 현재 코파일럿을 테스트하고 있습니다. CFO, 법무 책임자, 기관 관계 및 규제 책임자 등과 함께 재무 분석과 같은 재무 분야에서의 사용을 테스트하고 있습니다. 아직 법률 분야에서의 활용은 제한적이지만, 계약 관리와 법률 연구에 대해서도 생성형 AI를 시도하고 있습니다. AI가 법률 자문을 제공하지는 않지만, 방대한 양의 규칙을 탐색하는 데 도움이 됩니다. AI로 생성된 새로운 법률에 대한 간단한 요약본을 경영진에게 보내는 것만으로도 도움이 됩니다. 한 달에 30달러를 지불하는 소규모 기업 입장에서는 사무실에 사람이 한 명 더 있는 것과 같습니다. 하지만 에스포지토는 생성형 AI가 복잡한 업무를 완전히 자동화할 수 있을지에 대해서는 확신하지 않고 있습니다. 지속가능성이 한 이유입니다. 매개변수가 방대하고 훈련하는 데 많은 에너지가 필요하기 때문입니다.
AI의 지속 불가능성
GARR의 카보니에 따르면, AI는 이미 매우 에너지 집약적이며, 기술 비용의 부담을 더욱 늘리고 있습니다. 전 세계 ICT는 2023년에 전체 에너지 비용의 9%, 즉 약 3,000억 달러어치의 에너지를 소비했습니다. 이 비중은 지난 10년 동안 최대 60% 증가했으며 앞으로 더 늘어날 것입니다. 훈련 측면에서도 문제가 있습니다. 생성형 AI는 기존의 인간 중심 접근 방식을 뒤집고 있습니다. 이제는 인간들이 시장에서 나온 모델에 적응해야 합니다. 생성형 AI 플레이어가 줄어들면 기업 입장에서는 의존성이 커지고 통제력을 잃게 됩니다. 또한, 생성형 AI의 진입 문턱이 높고 대부분의 기업이 제품간 차이를 구분할 지식 없이 서비스를 구매할 수 있기 때문에 소수가 결정을 주도할 가능성이 높습니다. 선택의 여지가 협소하고 기업 내 맞춤형 구축이 어렵다는 문제도 있습니다. 따라서 사내에서 무언가를 구축하려는 접근법이 확산될 가능성이 큽니다.
기업 간 경쟁이 치열해지고 있는 가운데, 카보니를 비롯한 많은 기업의 IT 임원들은 대형 공급업체의 모델 판매 방식이 여러 측면에서 불공평하다고 생각합니다. 마이크로소프트와 구글 같은 기업은 제품 생태계를 보유하고 있으며, 데이터 시장의 최대 80%를 장악하고 있습니다. 이들은 지배력을 강화할 수 있도록 스타트업을 인수하려 합니다. 따라서 경쟁할 수 있는 새로운 플레이어의 진입을 기대하기 어려운 상황입니다. 그러나 활용할 수 있는 데이터가 많다면 직접 탐구할 필요성을 생각해 볼 수 있습니다. 내부 지식 기반을 더 잘 정의할 수 있는 생성형 AI 모델을 도출할 수 있기 때문입니다.
SLM과 CIO의 통제권
소규모 언어 모델(SLM, Small Language Model)은 GPT와 같은 대규모 딥러닝 모델인 LLM보다 훨씬 작고 구체적인 데이터 세트에 대해 학습된 ML 알고리즘을 의미합니다. 초기 테스트 결과, 더 효율적이고 비용이 적게 들며 작업 정확도가 부족하지 않은 것으로 나타났습니다. SLM을 탐색한 결과 비즈니스 용도로 훨씬 더 유망하고 지속 가능하다고 보고 있습니다. API를 통해 대규모 생성형 AI 모델을 사용하여 자체 데이터로 자체 생성형 AI 제품을 학습시키려면 상당한 에너지 자원이 필요합니다. 이는 비용이 많이 드는 디지털 동료입니다. 또 전기도 막대하게 공급해야 합니다. 그래서 많은 기업이 소규모 언어 모델에 흥미를 느낍니다. 기업들은 편견과 개인정보 누출의 위험이 적고 보다 타깃화된 무언가가 필요하기 때문입니다. 예를 들어, IT 부서가 SLM을 가져와 클라우드에 배치하고 기업 문서 데이터베이스에만 액세스 권한을 부여하고, 이를 통해 모델에 해당 문서와 관련된 질문을 할 수 있습니다. 첫 번째 실험에서 에너지 소비가 줄어들었을 뿐만 아니라 환각 확률도 감소함을 확인했습니다. 결국 기업의 AI 모델은 모든 것을 알 필요는 없고 특정 애플리케이션에만 응답하면 됩니다. SLM 또한 번역, 시장 동향 분석, 고객 서비스 자동화, IT 티켓 관리, 비즈니스 가상 비서 생성 등의 작업을 수행할 수 있습니다. 도메인을 제한하고 전문화하여 IT 관리하에 두는 것이 더 효율적일 수 있습니다.
생성형 AI 비즈니스와 소규모 모델 저울질
일부 IT 리더에게는 통제권이 핵심입니다. 브루노 케슬러 재단(FBK)의 증강센터 책임자인 알레산드로 스페르두티는 AI 분야에서 민간 기업이 지배하는 현상에 부정적입니다. 과거에는 주요 AI 시스템이 대학에서 개발되었지만 오늘날에는 그렇지 않습니다. 그 이유는 민간 기술 대기업이 공공을 넘어서는 자본력을 갖췄기 때문입니다. 물리학 실험을 위해 여러 국가가 협력해 설립한 기관인 CERN처럼 공공 분야가 AI를 다시 통제할 수 있어야 한다는 관점이 있습니다. 그러나 유럽연합의 AI 법처럼 정부가 AI 도구의 사용을 규제하는 한, 몇몇 민간 조직의 지배적 입지가 그리 문제되지 않는다는 시각도 있습니다.
물리학계와 다른 점이 있습니다. 물리학계에는 큰 사업성이 없는 반면 AI 분야에는 엄청난 이익이 걸려있다는 점입니다. 이것이 바로 오늘날 마이크로소프트와 구글 같은 기업들이 치열하게 경쟁하는 이유입니다. 이 분야에 스타트업이 존재하지만 다른 분야에 비해 그 수가 적은 이유는 필요한 투자가 막대하기 때문입니다. 스타트업들이 기존 플레이어의 우위를 위협하고 강력한 경쟁 구도를 만들기란 거의 불가능합니다. 이러한 관점에서 검색 증강 생성(RAG) 시스템의 존재가 더욱 중요해졌습니다. 소규모 모델에서 로컬 데이터베이스에 저장된 문서에 대한 질문에 답하기 위해 LLM을 사용하는 방식으로 요긴하며, 문서의 누출을 막을 수도 있습니다. RAG를 통해 기업은 데이터에 대한 통제력을 높이고 비용을 절감할 수 있습니다.
로컬에서 오픈소스 언어 모델을 사용할 수도 있습니다. LLM보다 규모는 작지만 성능이 낮으므로 SLM으로 간주할 수 있습니다. 비용 측면의 지속 가능성에 대해서도 의미를 지닙니다. LLM과 달리 SLM을 사용하면 전력 관리 부담이 덜합니다. 경제성 평가 작업은 반드시 필요합니다. 전력 비용, 모델 비용, 업데이트, 모델에 투입되는 인력 등을 고려하여 신중하게 선택해야 합니다.
주도권을 쥔 CIO: 거버넌스와 전문성
하이퍼스케일러 LLM에서는 데이터 작업의 대부분이 통계적으로 수행되고 IT 부서는 특정 주제에 대해 모델을 학습시켜 오류를 수정함으로써 목표에 맞는 양질의 데이터를 제공합니다. SLM은 훨씬 적은 비용으로 더 적은 데이터를 필요로 하지만, 통계적 효율성이 떨어집니다. 매우 높은 품질의 데이터가 필요합니다. 그렇지 않으면 모델에 많은 오류가 발생할 위험이 있습니다. SLM은 구글, 마이크로소프트와 같은 거대 기술 기업에서도 제안하고 광고하는 기술입니다. 그러나 기업이 이를 폐쇄형 시스템으로 유지하는 것이 낫다는 입장입니다. SLM은 관리가 더 쉬우며 AI에서 부가가치를 창출하기 위해 회사의 중요한 자산이 됩니다. SLM을 맞춤형으로 개발하고 내부 폐쇄형 시스템으로 구축할 수 있도록 시스템 통합업체와 협력하는 것을 선호합니다. 데이터 및 AI 거버넌스는 기업에게 필수적입니다.
CIO는 제품을 구매하고 성과를 기대하는 데 그치지 않고 해당 제품이나 서비스에 영향을 미칠 수 있어야 합니다. 서비스 액세스 비용뿐만 아니라 서비스에 영향을 미칠 수 있는 능력을 평가하는 것도 중요합니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
CIO의 Journalist