[원문보기]
복잡성과 보안이 주요 우려 요소입니다. 이에 더해 현대화된 인프라를 확보해야 한다는 과제도 있습니다. 작년 획기적인 기술로 이목을 집중시킨 에이전트형 AI가 올해에는 대규모 배치 단계에 진입할 전망입니다. 1월 KPMG의 대기업 고위 임원 100명을 대상으로 한 설문조사에 따르면, 12%의 기업이 이미 AI 에이전트를 배치하는 중입니다. 37%는 시범 단계에, 51%는 검토 단계에 있습니다. 그리고 10월에 발표된 가트너의 보고서에 따르면, 2033년에는 엔터프라이즈 소프트웨어의 33%가 에이전트형 AI를 포함할 전망입니다. 2024년의 수치는 1%입니다. 가트너는 일상적인 업무 결정의 15%가 자율적으로 이뤄지게 될 것이라고 전망했습니다. 업계의 거의 모두가 이 흐름에 합류하고 있습니다. D&B(Dun & Bradstreet)의 최고 데이터 및 분석 책임자인 게리 코토베츠는 처음부터 에이전트를 사용한 AI 여정을 시작했다고 합니다.
생성형 AI 모델에 의해 구동되는 AI 에이전트는 기존의 챗봇보다 복잡한 작업을 처리하고, 자율적으로 작동하며, 다른 AI 에이전트와 결합하여 복잡한 워크플로우를 처리할 수 있습니다. 결과적으로 인간의 특정 업무를 대체하거나, 높은 수준의 비즈니스 목표를 달성할 수 있는 종합적인 에이전트 시스템으로 작동할 잠재력을 지닙니다.
그러나 이러한 가능성이 새로운 도전 과제를 만들어 냅니다. 특히 전통적인 자동화와 달리 에이전트 시스템은 비결정적이라는 특징을 지닙니다. 이 때문에 결정적인 성격을 가지는 기존 플랫폼과의 충돌이 발생하기 쉽습니다. AI 에이전트를 기존 시스템과 통합하는 데 문제가 있었다는 응답이 70%에 달하는 것도 당연한 셈입니다. 이 수치의 출처는 AI 플랫폼 회사 랭베이스(Langbase)가 AI 에이전트를 구축하는 3,400명의 개발자를 대상으로 12월에 실시한 설문조사 결과입니다.
다른 문제는 AI 에이전트를 조직의 인프라에 통합하려면 그 인프라가 현대적인 표준에 부합해야 한다는 점입니다. 또한, 여러 데이터 소스에 액세스해야 하기 때문에 데이터 통합의 장애물과 보안 및 규정 준수를 보장하는 데 따르는 복잡성이 추가됩니다. 깨끗하고 품질이 좋은 데이터를 확보하는 것이 가장 중요합니다. ‘쓰레기가 들어가면, 쓰레기가 나온다’는 시나리오가 발생하지 않도록 해야 합니다.
인프라 현대화
12월 1,000명 이상의 기업 기술 전문가를 대상으로 진행된 트레이.ai(Tray.ai)의 설문조사 결과에 따르면, 86%의 기업이 AI 에이전트를 배포하기 위해선 기존 기술 스택을 업그레이드해야 한다고 응답했습니다.
인튜이트(Intuit)의 최고 데이터 책임자(CDO)인 아소크 스리바스타바는 이러한 현실에 대해 “LLM이 플랫폼을 쉽게 이해하고 상호작용할 수 있도록 플랫폼을 개방해야 한다. 석유를 얻으려면 화강암을 뚫어야 한다. 모든 기술이 적절한 API 세트와 유연한 마이크로서비스 세트를 통해 노출되지 않고 묻혀 있다면 에이전트 경험을 제공하기가 어려울 것”이라고 했습니다. 인튜이트는 매일 95페타바이트의 데이터를 처리하고, 600억 개의 ML 예측을 생성합니다. 소비자 1인당 6만 개의 세금 및 재무 속성(기업 고객 1인당 58만 개)을 추적하고, 매달 1,200만 건의 AI 지원 상호작용을 처리합니다. 3,000만 명의 소비자와 100만 개의 중소기업에 서비스하는 과정에서 말입니다. 인튜이트는 이러한 역량을 갖춤에 있어 플랫폼 현대화의 효과가 주효했다고 보고 있습니다. 덕분에 에이전트 AI를 대규모로 제공할 수 있었을 뿐만 아니라 운영의 다른 측면도 개선할 수 있었다고 평가합니다. 지난 4년 동안 개발 속도가 8배나 빨라졌습니다. 그 모든 것이 생성형 AI 덕만은 아닙니다. 자체적으로 구축한 플랫폼 덕분이기도 합니다. 그러나 모든 기업이 인튜이트가 한 것과 같은 수준의 기술 투자를 할 수 있는 것은 아닙니다.
EY의 수석인 라케시 말호트라는 오늘날 기업에서 사용하는 기록 시스템의 대부분이 여전히 레거시 시스템에 기반하고 있으며, 종종 온프레미스 시스템에 기반하고 있다고 설명합니다. 그리고 이들 거래 및 운영 시스템, 주문 처리 시스템, ERP 시스템, HR 시스템이 비즈니스와 밀접하게 맞물려 있습니다. 에이전트의 역할이 자율적 업무 수행이라면, 이러한 시스템에 액세스할 수 있어야 한다는 의미이기도 합니다. 그러나 레거시 시스템이 배치 모드로 작동하는 경우에는 효과를 발휘하기 어렵습니다. AI 에이전트를 사용하는 사용자는 일반적으로 배치 시스템이 실행되는 24시간이 아니라 빠르게 처리되기를 기대하기 때문입니다. 이 문제를 해결할 수 있는 몇몇 방법은 있지만, 고려할 부분이 많습니다. 일단 이미 레거시 시스템과 인터페이스를 구축하도록 업데이트한 조직은 유리하게 출발할 수 있습니다. 단 표준 API 액세스를 지원하는 현대적인 플랫폼을 갖추는 것은 전투의 절반에 불과합니다. 궁극적으로는 AI 에이전트가 기존 시스템과 실제로 대화할 수 있도록 해야 합니다.
데이터 통합이라는 과제
글로벌 데이터 서비스 회사인 인디시움(Indicium)은 현대적인 플랫폼을 갖춘 디지털 네이티브 기업입니다. 인디시움의 최고 데이터 책임자 다니엘 아반치니는 레거시 시스템이 많지 않다고 합니다. 인디시움은 2024년 중반부터 내부 지식 검색 및 기타 사용 사례를 위해 멀티 에이전트 시스템 구축을 시작했습니다. 지식 관리 시스템은 API 호출을 지원하지만, 개별 AI 에이전트는 생성형 AI로 구동되기 때문에 일반 영어로 소통합니다. 따라서 이들을 기업 시스템에 연결할 때 난관이 발생합니다. AI 에이전트가 XML 또는 API 호출을 반환하도록 만들 수 있습니다. 그러나 회사 문서를 이해하는 것이 주된 목적인 에이전트가 XML로 소통하려 하면 실수가 발생할 수 있습니다. 그래서 ‘전문가’를 쓰는 편이 낫습니다. 영어를 API로 번역하는 업무에 특화한 다른 에이전트가 유효합니다. API 호출이 올바른지 확인하는 작업도 이어져야 합니다.
연결성 문제를 해결하는 또 다른 접근 방식은 에이전트 주변에 전통적인 소프트웨어 래퍼(software wrappers)를 두는 것입니다. 기업이 RAG 임베딩을 사용해 AI 도구를 워크플로우에 연결하는 방식과 비슷한 방식입니다. 시스코가 바로 그렇게 하고 있습니다. 시스코의 SVP이자 GM인 비조이 판데이는 에이전트를 바라보는 일종의 기초 모델이 있지만, 그 주변에는 여전히 전통적인 애플리케이션이 존재한다고 조언합니다. 즉, 데이터베이스, API, 클라우드 스택과 인터페이스하는 전통적인 코드가 존재해 통신 문제를 처리한다는 의미입니다. 번역 문제 외에도 에이전트 시스템에 데이터를 가져오는 데 있어 또 다른 문제는 액세스가 필요한 데이터 소스의 수입니다. 트레이.ai의 조사에 따르면, 기업의 42%가 AI 에이전트를 성공적으로 배포하기 위해 8개 이상의 데이터 소스에 액세스해야 한다고 예상했습니다. 또 79%는 데이터 문제가 AI 에이전트 출시에 영향을 미칠 것으로 예측했습니다. 38%는 통합의 복잡성이 AI 에이전트를 확장하는 데 가장 큰 장애물이라고 응답했습니다. 시스코의 경우 내부 운영 파이프라인 전체가 에이전트 중심입니다. 그 덕분에 실행 가능한 영역이 상당히 넓습니다. 전통적인 소프트웨어 대신 AI 기반 에이전트를 사용하는 이유 중 하나는 에이전트가 새로운 문제에 대한 새로운 해결책을 학습하고, 적응하고, 제시할 수 있기 때문입니다. 따라서 에이전트와 어떤 종류의 연결이 필요한지를 미리 결정할 수 없습니다. 즉 역동적인 플러그인 세트가 필요합니다. 단 에이전트에게 너무 많은 자율권을 부여하면 재앙이 발생할 수 있기에, 이러한 연결은 에이전트를 처음 가동시킨 실제 인간을 기준으로 신중하게 통제해야 합니다. 우리가 구축한 것은 동적으로 로드되는 라이브러리와 같습니다. 예를 들어, 에이전트가 AWS 인스턴스에서 작업을 수행해야 하는 경우, 실제로 필요한 데이터 소스와 API 문서를 가져옵니다. 이 모든 것은 런타임에 해당 작업을 요청하는 사람의 신원을 기반으로 합니다.
보안 및 규정 준수 강화
그렇다면 인간 작업자가 에이전트 시스템에게 권한을 넘나드는 명령을 지시하면 어떻게 될까요? 생성형 AI 모델은 허용된 행동의 경계를 속이는 교묘한 프롬프트에 취약합니다. 흔히 탈옥(jailbreak)이라고 불립니다. 또 AI 자체가 정해진 범위를 벗어나는 일을 하기로 결정한다면 어떨까요? 모델의 초기 훈련, 파인튜닝, 프롬프트 또는 정보 소스 사이에 모순이 있는 경우 이러한 일이 발생할 수 있습니다. 레드우드 리서치와 공동으로 12월 중순에 발표한 연구 논문에서 앤트로픽은 최첨단 모델들이 모순되는 목표를 달성하기 위해 가드레일을 피하려고 시도하고, 자신의 능력에 대해 거짓말을 하고, 다른 종류의 속임수를 부리는 사례가 있었다고 전했습니다.
시스코의 판데이는 시간이 지남에 따라 AI 에이전트들은 업무를 수행하기 위해 더 많은 에이전시(agency)를 필요로 하게 될 것이라고 했습니다. 하지만 두 가지 문제 요인이 있습니다. 우선 AI 에이전트 자체가 무언가를 할 수 있습니다. 그리고 사용자 또는 고객이 있습니다. 거기에서 뭔가 이상한 일이 벌어질 수 있다는 것입니다. 판데이는 이 문제를 폭발 반경의 관점에서 바라봅니다. AI의 문제이든 사용자의 문제이든, 문제가 발생하면 그 범위가 얼마나 클지를 생각하는 것입니다. 만약 폭발 반경이 위험한 범위에 이를 수 있다면 가드레일과 안전 메커니즘을 조정해야 합니다. 에이전트가 더 많은 자율성을 가지게 되면, 그 수준의 자율성을 위한 가드레일과 프레임워크를 마련해야 합니다.
D&B에서도 AI 에이전트의 활동 범위가 엄격하게 제한되어 있습니다. 예를 들어, 회사의 주된 사용 사례 중 하나는 고객이 약 5억 개의 기업 기록에 더 잘 접근할 수 있도록 하는 것입니다. 현재 이 에이전트들은 기록을 추가하거나 삭제하거나 변경할 수 없습니다. 에이전트에 그런 자율성을 부여하기에는 너무 이릅니다. 사실 에이전트는 자신들의 SQL 요청을 작성하는 것조차 허용되지 않습니다. 정보가 밀려들어올 뿐입니다. 즉 D&B에서 각 에이전트와 데이터 플랫폼과의 실제 상호작용은 기존의 안전한 메커니즘을 통해 처리됩니다. 에이전트는 이러한 메커니즘 위에 스마트 사용자 인터페이스를 만드는 데 사용될 뿐입니다. 그러나 앞으로 기술이 발전하고 고객이 더 많은 기능을 원할 경우, 이 방식이 바뀔 수 있습니다. 고객이 특정 결정을 더 빨리 내리고 싶어 한다면, 그들의 위험 허용 범위에 맞춰 에이전트를 구축합니다.
AI 에이전트의 위험성에 대해 우려하는 조직은 D&B만이 아닙니다. 인사이트 파트너스는 2025년 기업 AI 전략에서 개인 정보 보호와 보안이 가장 큰 관심사라고 강조하며, 데이터 품질 다음으로 규정 준수가 AI 에이전트 배치에 걸림돌이라고 밝혔습니다. 실제로 데이터에 민감한 산업에서는 데이터 주권법, 데이터 거버넌스 규칙, 의료 규정을 준수해야 하는 경우가 흔합니다.
인디시움에서도 AI 에이전트가 데이터에 액세스하려고 하면, 회사는 요청을 추적함으로써 요청의 출처, 즉 전체 프로세스를 시작하게 한 질문을 한 사람을 찾습니다. 그 사람이 적절한 권한을 가지고 있는지 확인합니다. 사실 이러한 복잡성을 이해하지 못하는 기업들도 적지 않습니다. 레거시 시스템의 경우, 세밀한 접근 통제가 어려울 수 있습니다. 가령 일단 인증이 이루어지면, 해당 인증은 질문을 처리하는 개별 에이전트의 전체 체인을 통해 유지되어야 합니다. 그러나 이는 어려운 과제입니다. 아주 훌륭한 에이전트 모델링 시스템과 많은 보호 장치가 필요합니다. AI 거버넌스에 대한 질문은 많지만, 그에 대한 답변은 그리 많지 않습니다. 그리고 에이전트들이 인간의 언어(주로 영어)를 사용하기 때문에 사람들이 AI를 속이려고 하는 시도가 지속적으로 나타난다는 점을 감안해야 합니다. 무언가를 구현하기 전에 많은 테스트를 하고, 그 후에 모니터링을 하는 이유입니다. 올바르지 않거나 존재해서는 안 되는 것은 무엇이든 조사해야 합니다.
IT 컨설팅 회사인 CDW에서 AI 에이전트가 사용되는 분야 중 하나가 제안 요청에 대한 응답 작성입니다. AI 수석 설계자인 네이선 카트라이트는 이 영역에서 에이전트가 철저하게 잠겨 있다고 했습니다. 만약 다른 사람이 에이전트에 메시지를 보내면 되돌아옵니다. 또한 에이전트의 목적을 명시하는 시스템 프롬프트가 있습니다. 따라서 목적에 부합하지 않는 것은 거부됩니다. 또한, 에이전트가 개인 정보를 제공하지 못하도록 차단하는 가드레일도 마련돼 있습니다. 그런 다음, 가드레일이 제대로 작동하는지 확인하기 위해 모든 상호작용을 모니터링합니다. 어떤 일이 일어나고 있는지 파악하기 위해서는 관찰 가능한 계층이 있어야 합니다. 우리의 계층은 완전히 자동화되어 있습니다. 제한값을 넘어서거나 콘텐츠 필터가 작동하면 이 에이전트를 확인하라는 이메일이 발송됩니다. CDW의 수석 설계자인 로저 해니는 작고 개별적인 사용 사례로 시작하면 위험을 줄이는 데 도움이 된다고 조언합니다. 작은 목표를 설정하면 조심해야 할 범위가 줄어듭니다. 성과를 거두면서 크기를 줄일 수 있습니다. 그러나 가장 중요한 것은 적절한 안전 장치의 마련입니다. 에이전트들을 서로 연결하는 것보다 더 큰 가치가 있습니다. 비즈니스 규칙, 논리, 그리고 규정 준수가 가장 중요합니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
IDG