이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기] : https://www.itworld.co.kr/techlibrary/336445#csidxa46b5e9b7a19b4c9f4f6c579b97875c
2023년 7월 포춘과 딜로이트가 포춘 500대 기업 CEO를 대상으로 실시한 설문조사에 따르면, 응답자 79%는 생성형 AI가 운영 효율성을 개선할 것이라고 예상했으며, 절반 이상은 성장을 가속할 것이라고 봤습니다. 리서치 업체 도미노 데이터 랩(Domino Data Lab)이 포춘 500대 기업의 AI 이니셔티브 책임자를 대상으로 실시한 설문 조사에서는 생성형 AI에 대한 광고가 결코 과장된 것이 아니라는 응답이 무려 90%에 달했습니다. 생성형 AI가 세계 경제에 막대한 영향을 미칠 전망이라는 보고서도 잇달아 발표되고 있습니다. 맥킨지는 생성형 AI 기술이 연간 2조 6,000억 달러(약 3,430조 원)에서 4조 4,000억 달러(약 5,804조 원)에 이르는 경제적 가치를 창출할 수 있다고 추정하고 있습니다.
이 글에서는 아테나헬스, 뉴욕생명보험, 톰슨로이터의 세 회사의 사례를 통해서 생성형 AI에 관한 문제 인식부터 운영 과정을 이해하고자 합니다.
아테나헬스 – 기존 AI 모델을 생성형 AI와 ChatGPT로 전환
아테나헬스(Athenahealth)는 의료 및 건강 시스템을 위한 소프트웨어와 서비스를 제공하며, 오래전부터 AI를 통한 효율성 증대를 추구해 온 기업입니다. 아테나헬스는 매년 전자적인 방법으로 수신하는 수천만 건의 팩스를 분류해 적절한 환자 기록에 첨부하는 작업에 이미 ML을 사용하고 있습니다. 그러나 2022년 OpenAI가 ChatGPT를 발표하면서 아테나헬스의 AI 사용 방식도 큰 변화를 맞이했습니다. 아테나헬스는 생성형 AI 플랫폼이 내세우는 새로운 효율성이라는 약속을 고객과 내부 프로세스에서 실현했습니다. 2023년 말 클라우드 기반 전자의료기록(Electronic Health Records, EHR) 제품군, 수익 주기 관리, 환자 접촉 툴을 포함한 제품군 전반에 적용되는 일련의 생성형 AI 기반 기능을 공개했습니다. 새로 배포된 생성형 AI 기능 중 하나는 환자 의료 문서의 레이블을 지능적으로 요약해서 의료인이 진료 시점에 가장 관련성 높은 정보를 더 쉽게 찾을 수 있도록 도와 줍니다. 또 다른 기능은 진료에 대한 사전 승인이 제출되기 전에 누락되거나 잘못된 정보를 식별해서 승인될 가능성을 높입니다.
Q. 생성형 AI 배포를 담당할 AI팀을 어떻게 만들었고, 그 팀은 어떤 사람들로 구성했는가?
A. 현재는 데이터 과학팀이라고 부르는데 조금씩 AI팀으로 바꿔 부르고 있습니다. 아테나헬스에는 AI팀 말고도 AI를 다루는 팀이 있지만, AI팀이 AI/ML을 주로 담당합니다. 팀을 구성한 지는 1년 반 정도 됐습니다.
Q. ChatGPT와 생성형 AI가 등장하면서 어떤 점이 바뀌었는가?
A. AI 역량으로 무엇을 할 것인가, 그리고 이 기술을 사용해서 어떻게 고객의 삶을 개선하고, 아테나헬스의 역량과 워크플로우를 개선할 것인지 고민했습니다. 이 질문에 대한 답을 찾고 데모와 알파 수준의 제품 기능을 내놓기 위해 많은 노력을 집중해왔습니다. 그래야만 고객과 고객사 직원들에게 유용성을 확인할 수 있습니다.
Q. 내부 직원을 대상으로 AI 교육을 실시했는가, 아니면 AI 기술 공백을 해결하기 위해 인재를 채용했는가?
A. 대부분 교육을 통해 해결했습니다. AI팀 외에도 많은 직원이 생성형 AI 관련 기량을 높이고자 노력하고 있습니다. 2023년 한 해 동안 활발하게 내부 교육을 진행했습니다. 회사에서는 이런 활동을 해커톤(hackathon)에서 한 단계 더 발전한 코드페스트(codefest)라고 지칭했습니다. 교육 과정은 곧 알파 단계에 들어갈 3가지 사용례를 중심으로 구성했습니다. 목적은 이 3가지 사례를 조기 배포하고 엔지니어에게 이 기술의 작동 방식을 교육하는 것이었습니다. 엔지니어뿐 아니라 제품 담당자, 사용자 경험 담당자 등도 참여했습니다. 모두 이 기술에 대해 어느 정도 이해하고 있어야 하기 때문입니다. 마지막으로, 비용과 혜택, 강점과 약점, 그리고 고려해야 할 법, 규제, 안전 및 보안 측면의 문제에 관해서도 제도적 이해를 구축하려고 했습니다. 이렇게 여러 목표를 두고 조직 전반적으로 강력하게 추진했습니다. 알파 배포에 맞춘 3가지 사용례 외에 탐색 수준의 다른 10가지 프로젝트도 있었습니다. 또한 내부 이사회 수준에서 검토는 했지만, 탐색 단계까지 진행되지는 않은 프로젝트도 40가지 정도 됩니다. 300여 명의 아테나헬스 개발자가 생성형 AI 부트캠프 과정을 거쳤습니다. 내부에서 실시한 생성형 AI 교육 시간은 연 2,200시간 이상입니다. 마이크로소프트, OpenAI 등의 전문가를 초빙해서 진행한 외부 지식 세션에도 연 700명 이상이 참석했습니다. 지금까지 167명의 직원이 안전하고 데이터 규정을 준수하는 내부 ChatGPT 버전을 직접 다룬 것으로 기록됐습니다. 100페이지 이상의 문서를 작성했고 1만 라인의 코드를 썼습니다. 즉, 생성형 AI에 대해 배우기 위해 많은 노력과 조직적 헌신이 있었습니다.
Q. 민감한 의료 데이터가 조직 외부의 다른 LLM을 교육하는 데 사용되고, 결과적으로 공개될 수 있다는 점에 대한 우려는 없는가?
A. 의료 데이터를 다룰 때는 민감 데이터 보안이 가장 중요합니다. 민감한 데이터 중에서도 가장 민감한 데이터이기 때문입니다. 따라서 데이터를 보호하고 사용하는 방법에 있어 각별히 신중을 기해야 합니다. 정보보안 부서, 법률, 조달 부서가 마이크로소프트 및 OpenAI와의 계약 평가에 참여해서 데이터 경로, 보안 가드레일을 확인했습니다. 데이터가 안전하게 보호되고, 다른 모델 학습에 사용돼 결과적으로 외부에 공개되지 않도록 보장하기 위해 많은 노력을 기울였습니다. 이와 함께, OpenAI 시스템을 사용하되 OpenAI 시스템의 데이터 공급처가 되지 않기 위해 계약서를 작성할 때도 신경을 많이 썼습니다.
Q. 생성형 AI 솔루션은 어떤 방식으로 배포하는가?
A. 아테나헬스는 인프라 대부분을 프라이빗 클라우드, 즉 직접 소유한 데이터센터에 구축했지만 서드파티 클라우드 사용 비중도 점점 늘고 있습니다. 인프라 상당 부분이 AWS 기반이며, 마이크로소프트 애저도 무시 못 할 만큼 사용합니다. 애저는 우리에게 필요한 데이터 프라이버시를 유지하는 방식으로 OpenAI와 연결할 수 있는 게이트웨이입니다. 정리하면, AI 장비는 애저 클라우드에서 실행되고 있으며, 애저 클라우드의 API를 통해 AI 시스템에 액세스합니다. 이 시스템은 프라이빗 데이터센터와 AWS에 있는 나머지 장비와 상호 운용됩니다.
Q. AI가 내부 직원 그리고 고객에게 각각 어떻게 도움이 됐는가?
A. 이 둘은 실제로 결합됩니다. 아테나헬스는 의료서비스 기업을 대신해 여러 워크플로우를 제공하기 때문입니다. 일부를 자동화할 수 있다면 결과적으로 내부 비용 절감과 효율성을 얻을 수 있습니다. 예를 들어, 의료 시스템은 여전히 팩스로 운영됩니다. 아테나헬스는 고객사를 대신해 대략 1억 6,000만~1억 7,000만 건의 팩스를 수신합니다. 인바운드만 따진 수치인데, 이 양은 계속 증가 중입니다. 누군가는 이런 전자 팩스를 환자 차트에 첨부해야 합니다. 팩스를 어느 환자의 차트에 첨부해야 할지, 무엇을 위한 서류 작업인지 알아야 합니다. 이 모든 것이 충족되어야 정보가 의사에게 조금이라도 쓸모가 있습니다. 아테나는 의사를 대신해 이런 작업을 하고 있습니다. 예전에는 아웃소싱과 사람의 노력을 동원해서 수행하던 작업이지만, 오늘날과 같은 대규모 환경에서는 아웃소싱을 하더라도 상당한 비용이 발생합니다. 아테나헬스 데이터 과학팀은 7년여 전부터 사람의 개입 없이 팩스 문서에서 많은 정보를 추출하고 자동화된 서류 제출을 수행할 수 있는 자연어 처리 시스템을 구축하기 시작했습니다. ML을 사용해서 팩스를 읽고 필요한 정보를 추출할 수 있는 자연어 처리 기능을 구현했습니다.
뉴욕생명보험 – AI로 채용과 교육, 변화 관리 재편
뉴욕생명보험(New York Life Insurance Co.)은 2015년부터 데이터 과학팀을 구성하고 예측 모델을 사용한 효율성 개선과 생산성 증대 방안을 연구하기 시작했습니다. 전사적으로 꽤 많은 예측 모델이 배포됐으며, 자동화를 위해 AI도 사용했습니다. 하지만 대부분 프로젝트에서 중심은 AI/ML이 아니라 전통적인 데이터 과학이었습니다. 모델은 일반적으로 보험수리적 가정을 지원하고 설계사 채용을 돕고 구매 경험을 개선하는 데 사용됐습니다. (예를 들어, 보험 인수 심사에 필요한 혈액 검사 생략 등) 마케팅 캠페인을 만들 때도 가장 적절한 대상을 판단하기 위해 일반 AI를 사용했습니다. 2022년 11월, OpenAI가 LLM(Large Language Model) 기반의 챗봇인 ChatGPT를 출시하면서 모든 것이 바뀌었습니다. 많은 기업이 ChatGPT를 사용해서 온갖 종류의 작업을 자동화하고 내부 문서를 샅샅이 뒤져 가치 있는 콘텐츠를 찾아낼 수 있게 됐습니다. ChatGPT를 사용해 이메일과 텍스트 스레드, 온라인 회의를 요약하고 고급 데이터 분석을 수행할 수 있습니다. 설계사와 서비스 담당자는 이 챗봇 기술을 사용해서 평소보다 훨씬 더 짧은 시간에 고객을 위한 세부적인 답을 구할 수 있습니다. 신규 직원은 더 이상 업무를 익히느라 몇 개월을 소비할 필요가 없다. 이들에게 생성형 AI를 사용해서 업무에 필요한 정보를 찾는 법을 교육하기만 하면 됩니다.
Q. 뉴욕생명보험이 직면한 가장 큰 AI 과제는 무엇인가?
A. 대표적인 과제는 실제로 차이를 만들어낼 수 있는 부분에 AI 기능을 구축하는 것이었습니다. AI의 잠재적인 응용 분야는 매우 많으며, 사람은 새로운 것에 흥미를 쉽게 느낍니다. 하지만 회사와 고객, 설계사들에게 실질적인 효과가 있는지, 고객과 설계사의 경험 개선에 집중해야 합니다. 현재 그 부분에 초점을 맞추고 있습니다. 또한 프로젝트를 한창 진행하던 중 뒤늦게 성공에 적합한 요소를 갖추고 있지 않음을 발견하는 일이 없도록 현실적으로 가능성 있는 기능인지도 확인해야 합니다. 또 다른 부분은 인재 및 변화 관리입니다. 적절한 인력을 갖추는 것이 정말 중요합니다. 변화 관리는 모든 기업에서 중요하게 다뤄야 할 영역입니다. 많은 분야에 매우 큰 영향을 미치기 때문입니다. 새로운 기능을 다룰 새로운 기술만이 아니라, 이런 툴에 의해 일부 인력이 증강되고 일부는 대체될 때의 변화 관리도 있습니다. 이 변화를 효과적으로 관리하려면 어떻게 해야 할까요? 뉴욕생명보험은 여기에 집중하고 있습니다. 거버넌스도 있습니다. 생성형 AI에는 윤리적 AI라는 주제가 끊임없이 따라옵니다. 윤리적 문제 없이 잘 구축하려면 어떻게 해야 할까요? 의도하지 않은 편향성을 위한 적절한 테스트를 어떻게 수행해야 할까요? 정확성을 위해 적절한 테스트를 수행하고 이를 잘 이해하고 감독하는 것이 중요합니다. 앞으로 펼쳐질 가능성이 있는 다양한 시나리오에 대비할 수 있도록 많은 고민과 계획을 했습니다.
Q. 챗GPT가 출시됐을 때 뉴욕생명보험에 어떤 변화가 있었는가?
A. 뉴욕생명보험이 시도해왔던 여러 일을 발전시킬 수 있는 새로운 접근 방식이 생겼다는 점이 가장 큰 변화였지만, 그 품질이 그렇게 높지는 않았습니다. 챗봇을 예로 들면, 당시만 해도 챗봇이 할 수 있는 일은 매우 제한적이었으며 고객에게 도움이 되기보다는 짜증 나게 하는 경우가 많았습니다. 지금은 그때와 많이 다릅니다. 챗봇의 기능이 한 단계 발전했고 앞으로 몇 달, 몇 년에 걸쳐 매우 빠른 속도로 계속 개선될 것입니다. ChatGPT는 새로운 눈을 뜨게 된 계기가 됐습니다. 끓는 물 속의 개구리와 비슷합니다. 개구리를 냄비에 넣고 천천히 열을 가하면 개구리는 무슨 일이 일어나는지 인식하지 못합니다. AI 맥락에서도 그와 비슷한 현상이 일어나고 있습니다. AI는 오랜 기간 천천히 발전해오다가 어느 순간 큰 걸음을 내딛었고, 그때야 사람들은 이 기술로 무엇을 실현할 수 있을지 다시 평가할 만한 순간이 왔음을 인식했습니다.
Q. 현재 뉴욕생명보험은 생성형 AI를 어떻게 사용하고 있는가?
A. 설계사와 어드바이저를 채용할 때 누가 더 성공적인 경력을 이어 나갈지 AI 모델을 사용해 살펴보고, 채용 의사 결정에 참고합니다. 마케팅 분야에서도 AI를 상당히 많이 사용합니다. 일반적으로 뉴욕생명보험은 데이터 과학 또는 AI를 적용하는 모든 경우에서 고객에게 영향을 미칠 수 있는 의사 결정 영역이 있다면 그 모델이 블랙박스 모델이 되지 않도록 하는 데 매우 주의를 기울입니다. 즉, 우리가 원하는 것은 설명 가능한 모델입니다. 어떤 사람의 위험 등급을 판단하는 인수 심사에 있어서 특히 중요합니다. 데이터가 관련성이 있으며, 의사 결정이 내가 이해하는 요소에 근거를 두고 있는지 확인해야 합니다. 이런 맥락에서 뉴욕생명보험은 윤리적 AI 모델 개발 및 실행에 사용되는 데이터 검토에 많은 공을 들입니다. 업종 특성상 규제와 관련한 부분에도 비중을 둡니다. AI와 데이터 사용에 대해 각 주에서 입법 및 시행되는 모든 규제를 항상 파악하고 있어야 합니다. 또한 특정 규제기관뿐만 아니라 뉴욕생명보험 자체의 업무 표준도 있습니다.
Q. 직원을 어떻게 교육하고, AI 기술을 갖춘 인력을 어떻게 채용하고 있나?
A. 다양한 유형의 직원이 AI 기술에 대해 배우고 개발 과정에 참여할 수 있도록 교육 기회에 중점을 두고 있습니다. HR 부서는 기존 직원에게 필요한 AI 역량이 무엇인지도 살펴보고 있습니다. 일반적으로 AI 모델을 개발할 때는 많은 주제별 전문 지식을 동원해야 합니다. 수천 개의 문서 보물창고를 AI에 내밀며 높은 정확도로 그 문서를 요약하도록 지시하는 것으로는 충분하지 않습니다. 직접 문서를 살펴보면서 안에 무엇이 들어있는지 이해해야 합니다. 예를 들면, 메타데이터 태그가 적절히 지정되었는지 아는 것입니다. 직원을 개발 프로세스에 참여시키면 프롬프트 엔지니어링의 전체적인 역학과 더 현명하게 반복적인 방식으로 질문하는 방법도 자연스럽게 파악할 수 있습니다. 내부 교육뿐 아니라 외부 채용도 중요합니다. 빠르게 발전하는 이 분야에서 기민하게 움직이기 위해서는 외부 인력도 영입해야 합니다. ML 및 LLM 운영을 살펴보면, 기술 스택을 제대로 이해하고 이런 영역에 능숙한 인재의 필요성을 느낍니다. 따라서 뉴욕생명보험은 외부에서도 인재를 확보하기 위해 노력하고 있습니다.
Q. 외부 AI 모델을 사용하는가, 아니면 뉴욕생명보험만의 비즈니스 요구에 대처하기 위한 도메인별 내부 모델을 개발하는가? 그리고 보안과 관련해서는 어떤 점을 우려하는가?
A. 생성형 AI의 잠재력을 이해하기 시작하면서 여러 측면에 면밀하게 초점을 맞추기 위해 2023년 운영 위원회를 구성했습니다. 대표적으로 중점을 둔 부분은 실현(enablement)에 관한 것이었습니다. 여기서 실현이란 기술 스택 관점에서 마이크로소프트 애저 또는 AWS에서 오픈AI 모델, 앤트로픽(Anthropic) 모델과 같은 일련의 모델에 액세스할 수 있고, 이런 웹 액세스 모델에 대한 적절한 보안 조치를 검토했는지 확인하는 작업입니다. 모델 학습에 정보가 사용돼 의도치 않게 일부 정보가 유출되는 일이 없도록 모델을 독점적 데이터 맥락에서 사용하는 것으로 방향을 잡았습니다.
Q. 생성형 AI 솔루션 업체와의 계약을 통해 얻는 데이터 보호는 어떤 수준인가?
A. 공개적으로 사용 가능한 ChatGPT와 같은 툴은 사람이 입력하는 모든 정보(프롬프트와 응답)를 학습에 사용합니다. 이후 OpenAI는 구독 서비스를 출시했습니다. 여기에는 사용자의 프롬프트와 응답을 OpenAI 모델 학습에 포함되지 않도록 하는 옵션이 있지만, 비용을 지불해야 합니다. 엔터프라이즈 옵션에도 이와 비슷한 보호 대책이 있습니다. 뉴욕생명보험은 OpenAI 모델인 GPT-3.5와 GPT-4에 액세스하기 위해 마이크로소프트 애저 및 애저 API를 사용합니다. 마이크로소프트 애저는 사내 정보가 OpenAI 모델 학습에 사용되지 않도록 보장하며, 정보가 다른 방식으로 저장 또는 노출되지 않도록 적절한 라이선스도 제공합니다.
Q. AI가 직원을 대체할 것이라고 보는가?
A. 새로운 기술이 어느 정도 사람을 대체할 수 있지만, 대부분은 사람을 보조하고, 사람은 그보다 더 나은 일을 하게 될 것입니다. 다만 과거의 다른 기술에 비해 변화의 속도가 조금 더 빠를 수는 있습니다. 예를 들어, 보험 설계사의 기술적인 업무를 AI에 맡겨 축소하면, 보험 설계사는 고객과 훨씬 더 관계 지향적으로 상호작용할 여유가 생깁니다. 다른 예를 들면, 단순 작업을 통해 업무의 감을 잡은 다음 시간이 지나면서 제품 지식을 넓히는 과거의 신입직원 온보딩 관행도 바꿀 수 있습니다. 기술적인 세부 지식을 빠르게 습득하는 것의 중요성은 낮아지고, 대신 적절한 관리와 관계 역량을 배우는 쪽이 강화될 것입니다. 신입직원은 업무 수행을 지원하는 기술을 ‘잘 활용하는 역량’을 배우게 될 것입니다.
톰슨로이터 – 조립형 플랫폼으로 전사 확대
톰슨로이터라고 하면 언론사를 먼저 떠올리겠지만, 톰슨은 원래 톰슨코퍼레이션(Thomson Corporation)이라는 이름으로 금융 및 법률 정보 제공하는 곳이었습니다. 2007년 톰슨이 통신사 로이터를 인수하면서 현재의 사명인 톰슨로이터를 사용하고 있습니다. 톰슨로이터는 미디어 서비스를 통해 방대한 데이터를 보유하고 있으며, 법률, 세금, 컴플라이언스, 리스크 관리 솔루션을 제공하며 기술 전문성을 쌓아왔습니다. AI 기술은 이미 30년 전부터 도입했습니다. 2022년 말 생성형 AI 기술 붐이 일어나면서, 톰슨로이터는 AI 전략을 다시 개편해야 했습니다. 특히 점점 더 까다로워지는 산업별 고객의 요구사항을 충족할 수 있는 전략이 필요했습니다. 톰슨로이터는 새로운 AI 전략으로 마이크로소프트 코파일럿 기술을 통합한 새로운 제품을 2023년 11월 공개했습니다. AI 역량을 확보하기 위해 케이스텍스트(Casetext)라는 법률 AI 스타트업을 6억 5,000만 달러(약 8,824억 원)에 인수하기도 했습니다. 향후 AI 역량 개발 및 고객 지원을 위해 연 1억 달러를 투자하겠다는 포부도 밝혔습니다. 톰슨로이터의 생성형 AI 솔루션은 클라우드 API 기반 플랫폼입니다. 덕분에 톰슨로이터 콘텐츠를 확장하고 직원과 고객이 AI를 재사용 가능한 요소로 만들 수 있었습니다. 새로운 생성형 AI 플랫폼을 잘 활용할 수 있도록 직원 대다수에게 교육도 제공하고 있습니다.
Q. 톰슨로이터가 어떤 문제에 직면했고, 생성형 AI가 어떤 도움을 주었는지 설명해달라.
A. 생성형 AI는 판을 바꾸는 소위 ‘게임 체인저’입니다. 다행히 우리는 이미 오래전부터 자연어 처리 프롬프트를 사용해 왔습니다. 로이터는 법률, 세무, 리스크 및 규정 관리 솔루션부터 뉴스 서비스까지 제공하고 있습니다. 고객의 의견을 듣고 애로사항을 파악해 보니 상당수 문제를 LLM(Large Language Model)으로 해결할 수 있다는 것을 확인했습니다. 다만 새로운 기술을 고객이 요구하는 속도에 맞춰 적절하게 제공할 수 있을지에 대한 고민이 있었습니다. 결론적으로 애플리케이션 개발을 돕는 자체 생성형 AI 플랫폼을 만들어 고객이 원하는 속도에 맞춰 혁신을 제공할 수 있었습니다. 일단 AI 기반 법률 콘텐츠 검색 도구 ‘웨스트로 프리시전(Westlaw Precision)’이라는 툴을 출시했습니다. 지난 2월에는 2가지 제품을 추가 출시했습니다. 이렇게 빨리 제품을 출시할 수 있었던 것은 ‘AI 스킬 팩토리’라는 자체 AI 플랫폼 덕입니다. 해당 플랫폼으로 개발자는 여러 제품에 재사용할 수 있는 코드를 활용했습니다.
Q. 2022년 말 생성형 AI가 대중에게 본격 확대됐을 때 어떤 획기적인 변화가 있었나?
A. 톰슨로이터는 OpenAI의 LLM과 다른 트랜스포머 기반 모델을 실험해 왔습니다. 그래서 항상 생성형 AI 문제를 주시하고 있었습니다. 2022년 11월에 나온 LLM은 이전에는 해결할 수 없었던 문제를 해결할 수 있었습니다. 일종의 변곡점을 통과한 셈입니다. 과거에도 우리는 LLM을 활용해 변호사 고객이 수많은 사건을 요약하고 핵심 사실을 효과적으로 파악할 수 있는 기술을 만들려고 했습니다. 하지만 과거의 모델은 제대로 된 결과를 내놓지 못했습니다. 새로운 모델에선 갑자기 결과가 잘 나왔습니다. GPT가 이미 논의된 프로젝트의 속도를 높여줬기에 신속하게 기술을 살펴보려 했습니다.
Q. 생성형 AI의 어떤 점이 가장 인상적이었나?
A. 결과물의 품질입니다. 물론 애초부터 매우 높은 수준으로 신뢰할 수 있는 콘텐츠를 활용하지 않으면 생성형 AI 결과물에 문제가 있을 수 있습니다. 하지만 그 문제 수준은 예전만큼 크지 않다. 과거의 AI 모델에 점수를 매긴다면 D 학점이나 F 학점을 줘야 할 정도였습니다. 최근의 언어 모델을 활용하면 D 학점이나 C 학점을 줄 수 있습니다. 큰 변화다. 꽤 개선된 것입니다. 여기에 RAG(Retrieval-Augmented Generation) 같은 기술을 적용하면 AI 모델은 A. 학점을 받을 수 있는 수준까지 올라온다. 중요한 점은 고객은 이상한 결과가 적게 나온다고 해서 만족하지 않는다는 것입니다. 고객은 리스크 높은 기술을 다루고 있기에 늘 콘텐츠가 신뢰할 수 있고 최신이며, 완전한지 알고 싶어합니다. RAG 기반 접근 방식은 고객에게 진정한 가치를 제공할 수 있다는 점에서 매우 놀라웠다.
Q. 어떤 데이터 콘텐츠 시스템을 LLM에 연결했나? API는 직접 만들었는가?
A. 일부 콘텐츠는 독점 콘텐츠이기 때문에 고객이 제공하지 못합니다. 그래서 톰슨로이터는 수년에 걸쳐 접근성이 뛰어난 API를 구축했습니다. 그리고 API 기술은 생성형 AI 플랫폼과 결합했습니다. 톰슨로이터의 AI 플랫폼에는 콘텐츠에 접근할 수 있는 간단 한 API가 있습니다. 애플리케이션 개발자는 생성형 AI 플랫폼으로 안전하고 간편하게 콘텐츠에 접근할 수 있습니다. 콘텐츠 접근 관련 API를 처음부터 구축하는 대신 애플리케이션의 비즈니스 로직을 구축하는 데만 신경을 쓰면 됩니다.
Q. 도전 과제는 무엇이 있었나?
A. 속도가 도전 과제였습니다. 고객은 생성형 AI로 문제를 해결하는 데 관심이 높았다. 고객이 요구하는 빠른 속도로 기술을 제공하면서도 동시에 안전성, 신뢰성, 보안성도 높이는 것이 관건이었습니다. 속도와 안전성은 간혹 상충하기도 했습니다.
Q. AI 코딩 도구는 생성형 AI 분야에서도 활용도가 높은 기술로 여겨진다. 직접 AI 코딩 도구를 써보니 내부 반응은 어떠했는가?
A. 일단 어떤 부서에 있든 생성형 AI는 우리가 하는 일을 돕고 더 효과적으로 만드는 잠재력이 있습니다. 이는 톰슨로이터에 국한된 이야기는 아닙니다. 그중 개발과 관련해서 이야기하자면 우리는 더 나은 코드를 작성하고 작업 속도를 높여주는 생성형 AI 도구를 적극 활용하고 있습니다. 실제로 사내 개발자의 만족도가 높아졌습니다. 이런 환경은 신제품 개발 속도에도 영향을 줍니다. 톰슨로이터의 개발 환경에서는 생성형 AI를 적극적으로 활용하고 있습니다. 기술 전문가가 아니어서 AI를 실험할 능력이 없었던 직원도 이제 AI 플랫폼의 로우코드/노코드 도구로 아이디어를 구현하고 실험하고 있습니다. 코딩할 필요성을 거의 없애고 AI 도구로 아이디어를 확대할 수 있게 지원하는 것입니다.
Q. LLM을 클라우드나 외부 데이터센터에 실행하는 경우, 보안 및 개인정보 보호에 어떤 우려가 있나?
A. 개인정보 보호와 보안은 처음부터 최우선 과제였습니다. 법률 전문가, 세무 전문가, 리스크/사기/컴플라이언스 전문가 등 우리가 서비스를 제공하는 시장은 데이터에 매우 민감합니다. 애초부터 의무 사항이 많은 시장이기 때문에 톰슨로이터도 고객이 보안 및 개인정보 보호를 높이고 규정을 준수할 수 있도록 도와야 합니다. 보안과 개인 정보 보호는 개발 프로세스의 모든 부분에 내재되어 있습니다. 핵심은 방법일 것입니다. 일단 내가 피하고 싶었던 방식은 개발팀이 개별적으로 적합한 LLM과 콘텐츠에 안전하게 접근하는 방법을 알아내는 것이었습니다. 아무리 좋은 의도를 가지고 있다고 해도 설계상 문제가 발생할 수 있습니다. 여기서 톰슨로이터의 생성형 AI 플랫폼이 빛을 발합니다. 각 구성 요소를 활용하면 올바른 방식으로 개인정보를 보호하고 보안성을 갖출 수 있습니다. 다시 말해 데이터 보존과 데이터 프라이버시가 존중되도록 보장되는 방식을 공동의 AI 플랫폼에서 제공하는 것입니다. 직접 만든 모델과 관련된 윤리적 수준도 평가할 수 있습니다. 플랫폼에서 이 모든 작업을 수행하기에, 일일이 규칙을 설명하지 않고 ‘플랫폼을 사용해야 합니다.’라고 하나의 공지만 주면 됩니다. 플랫폼만 제대로 사용했는지 확인하면, 프라이버시 보호 장치, 보안 기능이 제대로 작동하는지 관리자 입장에서 알 수 있습니다.
Q. 기술 및 비즈니스 직원이 생성형 AI를 사용하도록 어떻게 교육했나?
A. 변화 관리는 고객만큼이나 우리에게도 중요합니다. 그래서 모든 직원을 대상으로 기초적인 AI 교육을 실시하는 과정을 거쳤습니다. 톰슨로이터의 데이터 과학 전문가와 기술 전문가가 일반 직원 대상으로 광범위에게 교육을 진행했습니다. 고객에게 최고의 서비스를 제공하려면 모든 직원이 AI를 기본적으로 알아야 한다고 생각했습니다. 그런 다음 특정 부서를 위한 교육 프로그램도 따로 만들었습니다. 예를 들어, 개발 조직에서는 개발자를 대상으로 훨씬 더 광범위한 AI 교육을 실시했습니다. 개발자는 제품을 만드는 사람들이기 때문에 당연히 기초 교육보다 더 깊이 있는 AI 교육이 필요합니다. 이 교육은 AI 애플리케이션을 구축할 사람을 대상으로 했습니다. 그런 다음 팀 전체에 교육을 확장하며, 진행 상황을 추적해 모든 사람이 해당 교육을 이수할 수 있도록 도왔습니다. 다른 부서에도 비슷한 유형의 교육을 실시하고 있습니다. 고객을 대면하는 영업사원이 AI에 대해 알아야 하는 것과 개발자가 AI에 대해 알아야 하는 것은 다를 수 있지만, 어찌 됐든 AI에 대해 알아야 하는 것은 맞습니다. 그래서 교육과 훈련에 많은 투자를 하고 있습니다.
Q. AI 교육은 언제부터 시작했고 어떻게 진행했나?
A. 별도의 교육 기간을 할당했습니다. 하지만 이번이 처음은 아닙니다. 생성형 AI 환경에 맞게 자료를 변경하기는 했지만, 톰슨로이터는 늘 AI 교육을 제공했습니다. 이미 수년 동안 여러 차례에 걸쳐 AI 전문가에게 교육 자료를 만들어 달라고 요청해 왔습니다. 고객의 요구사항과 비즈니스 상황 변화에 따른 자연스러운 일이었습니다. 생성형 AI 모델에 대한 교육은 별도로 지원했습니다. 특히 2023년 초 많은 직원이 관심을 갖게 되면서 따로 교육 프로그램을 만들었습니다. 생성형 AI와 별개로 기존 AI 교육 프로그램은 수년 동안 운영됐습니다.
Q. 톰슨로이터의 AI 플랫폼을 구축하는 데 비용과 시간을 얼마나 투자했는가? 자체 LLM은 따로 만들고 있는가?
A. AI 모델 학습에는 다양한 방법이 있습니다. 대형 AI 모델은 외부 솔루션 업체가 엄청난 시간과 리소스를 투입해 만들고 있으며, 보통 범용성을 추구합니다. 그런 모델은 직접 구축할 수 있는 것은 아닙니다. 다른 고객과 마찬가지로 이런 외부 모델을 가져와서 활용하고 있습니다. 빅테크의 LLM만큼 크지 않지만 자체 모델도 구축하면서 R&D 관점에서 다양하게 실험하고 있습니다. 자체 LLM를 투자하는 이유는 모든 문제를 해결해 주는 만능 AI 모델이 존재하지 않을 거라고 보기 때문입니다. 미래에는 고객의 문제에 따라 다른 모델을 사용할 것 같습니다. 톰슨로이터만이 가진 콘텐츠와 전문성을 바탕으로 맞춤형 모델을 만들고 고유한 가치를 제공할 수 있을 것입니다. 단 그 모델은 빅테크 기업이 제공하는 모습과 크기 측면에서 다를 것입니다. 톰슨로이터 입장에서 고객의 문제에 잘 대응할 수 있는 작은 모델을 찾아내는 것이 중요합니다. 그리고 모델이 작을수록 실행 시간, 비용, 모든 형태의 효율성 등 여러 측면에서 더 효율적일 것입니다. 이것이 R&D 부서에서 하는 일입니다. 톰슨로이터가 보유한 콘텐츠와 산업별 전문 지식을 어떻게 활용하면 고객을 위해 가장 작은 모델로 문제를 해결할 수 있는지 연구하고 있습니다. ‘AI 스킬 팩토리’라는 것도 생성형 AI 플랫폼 안에 있습니다. 웨스트로우 툴도 AI 스킬 팩토리에서 나왔다고 볼 수 있습니다. 로우코드/노코드 환경덕에 AI 역량을 개발하면서 시장에 빠르게 제품을 출시할 수 있었습니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
Computerworld의 Senior Reporter