생성형 AI 시장의 대두는 보안 측면에 있어 양면의 동전처럼 새로운 위기와 기회를 모두 가져다주고 있다. 생성형 AI를 가능하게 한 LLM이라는 AI 모델이 학습하는 과정에 수집되는 훈련 데이터를 조작하거나 편향 데이터를 주입할 수 있다. 또한, LLM이 기업 내 데이터들에 무분별하게 접근하고 API를 통해 AI가 민감한 자원을 탈취하는 등의 문제를 야기할 수 있다. 반대로 LLM은 이상 행동을 24시간 모니터링하고, 다양한 소스를 통해 침투하는 해킹을 탐지할 수 있으며, 보안 전문가의 교육이나 모든 구성원 대상의 사회적 해킹에 대해 대비할 수 있도록 도와주기도 한다. 생성형 AI가 가져다줄 위협과 혁신의 이모저모를 살펴본다.
생성형 AI로 인해 대두되는 보안 이슈
새로운 기술의 부상은 정과 반 2가지의 특성 모두를 보여준다. 어느 한쪽만 치우칠 것이 아니라 양쪽을 볼 수 있어야 둘을 합해 더 큰 가치를 모색할 수 있다. 그런 면에서 생성형 AI 기술 역시 우리 사회에 편의와 기업에 새로운 비즈니스 가치를 만들어내는 것은 사실이지만, 생각하지도 못한 이슈를 만들어낼 수 있다. 그중 보안 이슈는 지난 30년간 인터넷, 컴퓨터 그리고 스마트폰으로 인한 모바일 기술의 성장 과정에서 늘 해킹으로 인한 사회적 문제가 커져 왔던 것처럼 더 큰 사회 문제를 야기할 수 있다.
생성형 AI는 LLM(Large Language Model)이라는 AI 모델을 통해 운영되고, 이 LLM은 사전에 학습을 시켜서 개발을 한다. 그런데, LLM을 학습하는데 인입되는 훈련 데이터를 직간접적으로 조작해 이 AI가 향후 콘텐츠를 생성할 때 해커의 악의적 의도에 맞게 모델의 성능이나 윤리적 행동을 저하할 수 있다. 즉 사전에 의도적으로 입력된 악의적 데이터로 인해 생성형 AI 서비스가 실제 운영될 때 문제를 야기할 수 있다. 사내 중요한 의사결정 과정에서 잘못된 데이터로 학습한 AI가 악의적 답을 함으로써 심각한 문제를 초래할 수 있다.
또, 기업 내에서 이같은 생성형 AI 서비스를 제대로 사용하려면 LLM이 기업 내 자원과 내부 API에 접근할 수 있도록 허용해 줘야 한다. 업무 생산성을 높이고 보다 나은 결과를 얻기 위해서는 AI가 기업 내 시스템에 접근할 수 있도록 권한을 열어줘야 한다. 그런 AI의 접근 권한을 남용해 악의를 가진 해커가 기업 내부로 침투할 수 있다. 일례로 여러 사내 시스템에 연결할 수 있는 권한을 가진 AI를 해킹해 이메일 시스템에 접근함으로써 회사 관리자 계정으로 메일을 발송하거나, 사내 이메일 목록을 탈취해 빼낼 수도 있을 것이다. 그런데 문제는 그런 해커가 기존처럼 고난도의 기술을 가지고 있지 않은 일반인도 될 수 있다는 점이 문제다. LLM은 중급 이상의 프로그래머 못지않은 실력을 갖춘 데다가 갈수록 진화한다. 누구나 해커가 될 수 있도록 해주고, 기존의 해커가 더 강력한 해커가 되도록 도와준다. LLM을 악성 코드를 개발하는 데 이용하면 기존의 보안 솔루션을 우회하거나 무력화할 수 있고 그런 능력을 누구나 가질 수 있게 한다.
또한, LLM을, 프로그래밍을 통해서 해킹하는 것이 아니라 프롬프트만으로 답해서는 안 되는 내용 등을 답하도록 유도하는 것도 가능하다. 이것을 가리켜 프롬프트 인젝션이라고 부르며 기존부터 있어왔던 사회적 해킹의 한 종류라 볼 수 있다. AI가 답해서는 안 되는 사항이나, 일반 권한으로는 접근해서는 안 되는 사내 보안 정보를 교묘하게 AI를 속여 답하고 연결하도록 만드는 기술이다. 이를 피싱 공격에 악용하면 피싱 이메일을 개별 사용자의 프로필이나 상황에 맞게 자동으로 생성해서 수신자가 속아 넘어갈 확률이 높아진다. 게다가 다국어 지원이 가능한 경우 글로벌하게 피싱 메일을 확대할 수 있다는 우려도 커질 수 있다. 또한, LLM으로 만든 AI Agent는 인간을 사회적 해킹하는데 남용될 수도 있다. 일례로 LLM은 대화를 통해 사람들의 신뢰를 얻을 수 있고 그렇게 장시간 대화를 이어가면서 타겟으로 한 사람에게 필요로 하는 정보를 빼낼 수 있다. 이런 접근 방식은 전통적인 보안 시스템으로 탐지하기 매우 어렵다.
ChatGPT가 말해서는 안 되는 내용을 의도적으로 답변하게 만드는 프롬프트 인젝션 예시
보안 기술의 진화를 도와주는 LLM
그렇다면, LLM는 필수 악인가? 그렇지 않다. 반대로 LLM은 사이버보안 시장에서 기술적 도움을 줄 수도 있다. 즉, AI를 이용하는 사람의 문제이지 LLM 그 자체가 문제는 아니다. LLM은 필수 선이 되기도 한다. 누가 어떤 의도로 이용하느냐에 따라서 AI는 해킹에 악용될 수도, 보안에 활용될 수도 있다.
기본적으로 LLM은 보안 위협을 지능적으로 탐지하고 자동으로 대응하는 데 이용될 수 있다. 방대한 네트워크 트래픽이나 로그 데이터를 수시로 24시간 분석해서 정상적인 패턴에서 벗어나는 이상 징후를 신속하게 식별할 수 있다. 이를 통해 보안 팀이 위협을 빠르게 감지하고 대응할 수 있는 능력을 향상할 수 있도록 도와준다. 일례로 다크웹은 마약과 음란물 그리고 각종 범죄 관련 정보들이 은밀하게 거래되는 어둠의 인터넷이다. 특히 해킹 정보가 공유되고 거래되기도 하고 정부와 기업의 내부 데이터까지 거래되지만, 차단할 방법이 없어 법의 사각지대나 다름없다. 다크웹은 사이트들의 숫자가 많은 데다 매일 생기고 없어지며 기존의 네트워크와 달리 여러 사설망이 공유되면서 개인 간 네트워크가 생성되어 운영되기에 접속 기록을 알 수 없는 데다 추적도 어렵다. 그런 다크웹에 수시로 생성되고 사라지는 데이터들을 24시간 광범위하게 모니터링하고 분석하는데 LLM이 도움이 될 수 있다. LLM이 특정 패턴이나 데이터를 포함한 웹 사이트들(다크웹을 포함)에서 벌어지는 트래픽과 이상 신호를 24시간 그것도 다양한 언어로 분석하고 진단할 수 있도록 해준다.
어둠의 네트워크, 다크웹 (ChatGPT 달리로 생성한 이미지)
또, LLM은 해커가 아닌 보안 전문가를 도와 소스 코드나 시스템 설정에서 잠재적인 보안 취약점을 식별하고 개선할 수 있도록 해줄 수 있다. 사실 기존의 보안 전문가로서는 인터넷상에서 벌어지는 방대한 양의 데이터를 분석하여 미묘한 패턴과 이상 징후를 감지하는 것이 리소스의 한계로 인해 불가능하다. 또한, 선제적 예방보다는 사후 처방이 일반적이다. 이때 LLM은 기존의 보안 시스템이 탐지하지 못하는 새로운 유형의 사이버 위협을 신속하게 발견해 사전 대응할 수 있는 기회를 제공할 수 있다. 덕분에 보안 전문가들은 보다 빠르고 효율적으로 취약점을 발견하고, 적절한 패치를 적용하는 데 큰 도움을 받을 수 있다. 특히, 오픈소스 프로젝트나 대규모 시스템에서는 이러한 자동화된 분석이 매우 유용할 수 있다. 물론, 보안 전문가의 개발 기술력이 높든 낮든 그 정도에 무관하게 전문성을 높이는 데 실질적 도움이 된다.
또한, LLM이 사이버보안에 있어 실질적으로 기여할 수 있는 영역으로 자동화된 의사결정이 있다. LLM은 복잡한 의사결정을 자동으로 수행할 수 있어 보안 운영 센터(SOC)에서의 대응 시간을 단축하고 효율성을 높여준다. 예를 들어 침해 사고 발생 시 영향을 받은 시스템을 격리하고, 위협을 차단하며, 복구 절차를 자동으로 시작하는 데 있어 초자동화된 처리로 인해 사람이 실행하는 것 대비 불필요한 시간 낭비를 최소화할 수 있다.
추가로, LMM(Large Multimodal Model)으로 인한 보안의 대상 영역이 크게 확장된다는 점도 장점이다. LMM은 텍스트를 넘어 이미지, 비디오 등 다양한 유형의 데이터를 분석할 수 있는데, 덕분에 네트워크 트래픽이나 사용자 행동 패턴을 기존보다 더 입체적, 종합적으로 분석하는 데 유리하다. 이와 같은 다각적인 분석 능력은 기존 보안 시스템이 단독으로 수행하기 어려운 작업을 가능하게 만들어준다. 예를 들어, 이미지나 비디오 분석을 통해 잠재적인 위협 요소를 감지하거나, 사용자 행동 패턴에서 비정상적인 활동을 조기에 발견하여 대응할 수 있다. 이로 인해 보안 시스템의 전반적인 대응력과 효율성이 크게 향상된다.
또한, LLM의 학습 능력은 시간이 지남에 따라 더욱 정교해진다. 보안 위협이 지속적으로 진화하고 변화하는 상황에서 LLM은 새로운 위협 패턴을 학습하고, 이를 기반으로 더욱 효과적인 대응 전략을 제안할 수 있다. 이는 기존에 고정된 규칙 기반 시스템과 달리, 지속적으로 업데이트되고 적응하는 능력을 갖춘 LLM이 보안 시스템에서 중요한 역할을 할 수 있음을 의미한다. 예측 분석 또한 LLM의 강력한 도구 중 하나다. 과거 데이터를 바탕으로 미래의 보안 위협을 예측하고, 이에 대한 대응책을 미리 준비할 수 있도록 돕는다. 이로 인해 보안 팀은 단순히 발생한 위협에 대응하는 것에 그치지 않고, 잠재적인 위협을 사전에 차단할 수 있는 능력을 갖추게 된다.
결론적으로, LLM은 사이버보안의 필수적인 도구로 자리 잡을 수 있다. 악의적인 목적으로 사용될 가능성도 있지만, 이를 적절하게 선용한다면 보안 환경을 획기적으로 개선하고, 보다 안전한 디지털 환경을 구축하는 데 기여할 수 있다. LLM을 어떻게 활용하느냐에 따라 그 가치가 결정되며, 보안 전문가들이 이를 적극적으로 활용할 수 있도록 충분한 교육과 훈련이 필요하다. 기술의 진보는 곧 새로운 위협의 출현을 의미하지만, 그에 상응하는 방어 수단도 함께 발전해야 한다. LLM은 그러한 방어 수단 중 하나로, 그 역할과 중요성은 앞으로 더욱 커질 것이다.
AI가 도와주는 보안 교육과 안전 문화 고취
LLM이 가져다주는 보안 측면에 주목할 사항은 해커나 보안 전문가가 아닌 일반 대중을 상대로 한 보안에 대한 인식 제고와 교육적 측면이다. 사실 보안은 특정 전문가 집단들만의 문제가 아니다. 이 시대를 사는 모든 직장인과 공무원 그리고 일반 개인 모두는 보안으로 인한 잠재적 피해자이자 평소 보안 의식으로 인터넷과 정보 시스템을 사용해야 할 주체이다. 그렇기에 보안 교육과 인식 제고는 사이버보안을 강화하는 데 필수적인 요소다.
그런 면에서 AI, 특히 LLM을 활용하면 보안 교육을 더욱 효과적으로 추진할 수 있다. 즉, 최신 보안 위협과 대응 방법에 대해 각 개인의 처한 상황에 맞춰 교육할 수 있다. 예를 들어, LLM은 현재 발생 중인 업무별, 개인의 상황별 특수성에 기인한 사이버 위협에 대한 정보를 실시간으로 분석해 이런 사례들을 기반으로 맞춤형 교육 자료를 제공할 수 있다. 이를 통해 조직 내 모든 직원이 최신 보안 동향에 대한 이해를 높이고 실제 보안 사고를 예방하는 데 도움을 받을 수 있다.
또한, AI 기반의 교육 시스템은 직원들의 보안 인식을 지속적으로 향상할 수 있는 능력이 있다. 예를 들어, 주기적으로 실시하는 보안 퀴즈나 시뮬레이션을 통해 직원들이 보안에 대한 경각심을 잃지 않도록 할 수 있다. 이를 통해 보안 인식이 일회성이 아닌 지속적인 학습으로 이어지게 만들 수 있다. 더 나아가 각자가 사용하는 정보 기기의 상황에 맞춰 보안 강화를 위한 취약점 진단과 이를 위한 운영체제나 보안 업데이트 등의 처방을 할 수 있다. 이처럼 LLM을 활용하면 각 개인의 상황에 맞게 취약점의 심각성을 진단하고 가장 효과적인 패치를 추천할 수 있다. 이처럼 LLM은 직원들의 일상적인 활동을 모니터링하고, 잠재적인 보안 위협이 발생했을 때 실시간으로 경고를 보내주는 역할을 할 수 있다. 이러한 시스템은 직원들이 보안에 대한 인식을 높이고, 보안 위험에 즉각적으로 반응할 수 있도록 도와준다. 이를 통해 조직은 보안 취약점이 악용되기 전에 신속하게 대응할 수 있어 잠재적인 사이버 공격을 예방하는 데 크게 기여한다. 이처럼, LLM을 활용하면 조직 내에서 안전 문화를 고취하는 데도 큰 도움이 된다. 즉, LLM은 사용자의 행동 패턴을 분석해, 보안 사고를 유발할 수 있는 위험 요소를 사전에 식별하고, 이를 방지할 수 있는 교육이나 안내를 제공할 수 있다. 이를 통해 조직 내에서 자연스럽게 보안에 대한 경각심을 고취하고, 안전한 업무 환경을 구축하는 데 기여할 수 있다.
LLM이 만들어낼 미래지향적인 보안 교육 (ChatGPT 달리로 생성한 이미지)
결론적으로 AI 기술은 사이버보안 시장에 새로운 도전과 기회를 동시에 제공하고 있다. 이를 효과적으로 활용하면 보안 교육, 패치 관리, 취약점 해결, 그리고 안전 문화 고취 등 다양한 분야에서 큰 이점을 얻을 수 있다. 그러나 이러한 기술의 잠재적 위험을 인지하고, 적절한 보안 조치를 함께 마련하는 것이 중요하다. 결국, AI는 도구일 뿐이며, 이를 어떻게 활용하느냐에 따라 조직의 보안 수준이 결정된다고 할 수 있다. 따라서 조직은 AI 기술을 적극적으로 활용하면서도, 이에 수반되는 리스크를 철저히 관리해 나가야 한다.
▶ 이 글은 저작권법에 의하여 보호받는 저작물로 모든 저작권은 저작자에게 있습니다.
▶ 이 글은 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
김지현 | 테크라이터
기술이 우리 일상과 사회에 어떤 변화를 만들고, 기업의 BM 혁신에 어떻게 활용할 수 있을지에 대한 관심과 연구를 하고 있습니다.