이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기] : https://www.itworld.co.kr/techlibrary/311876
챗GPT의 급부상은 2023년 가장 중요한 화두다. 핵심 논제는 생성형 AI 챗봇과 LLM(Large Language Model)이 사이버보안에 미치는 잠재적인 영향이다. 민감한 비즈니스 정보를 첨단 자가학습 알고리즘과 공유하는 부분에 대한 우려부터 이를 사용하여 공격을 강화하는 악의적 행위자에 이르기까지 새로운 AI 기술이 가져올 수 있는 보안 위험에 대해서는 많은 논란이 있다.
실시간 검색과 결합된 생성형 AI는 공격자에게 매우 강력한 무기가 된다. 컨스텔레이션 리서치(Constellation Research)의 VP이자 수석 애널리스트인 디온 힌치클리프는 CSO와의 인터뷰에서 “생성형 AI는 서로 떨어진 점을 연결하고 패턴을 찾는다. 평범한 사람을 초인으로 바꿔준다”고 했다. 전통적인 웹 검색 엔진은 할 수 없는 일이다. AI 기반 검색 엔진은 전통적인 엔진보다 더 빠르고 정확할 뿐 아니라 질문과 제공하는 정보의 맥락을 모두 이해하므로 악의적으로 사용할 경우 매우 위험하다. ID 인증 솔루션업체 베리디움(Veridium)의 COO 바버 아민은 “AI 기반 기술의 책임감 있는 사용과 배포를 위해 정부에서 일종의 감독 방안을 마련해야 한다. 챗봇이 잘못된 길로 나갈 수 있다는 가능성이 확인된 만큼 자율적인 거버넌스에 맡길 수는 없다”고 말했다.
공격자가 기업 시스템에 침투해서 AI 기반 내부 검색 시스템에 액세스하게 되면 위험은 더욱 커진다. 컨스텔레이션 리서치 수석 애널리스트인 앤디 투라이는 “구조적 데이터와 비구조적 데이터를 모두 포함한 전체 데이터 집합을 검색하면 가치 있는 정보를 빠르게 찾을 수 있다. 과거에는 특히 비구조적 데이터의 경우에는 불가능했던 일”이라고 했다. 직원이 기업의 민감 데이터를 AI와 공유한 경우에는 챗GPT 같은 툴이 공격자에게 해당 데이터에 대한 액세스 권한을 부여하게 될 가능성도 있다. 몇몇 국가와 미국의 일부 주 및 기업은 데이터 보안, 보호, 개인정보 보호를 이유로 챗GPT와 같은 생성형 AI 기술 사용을 금지하고 있다. 실제로 JP모건, 아마존, 버라이즌, 액센추어, 월마트를 포함한 많은 기업이 직원의 챗GPT 사용을 금지한 것으로 알려졌다. 생성형 AI 챗봇과 LLM으로 인해 발생하는 보안 위험은 상당히 크다. 그러나 생성형 AI는 여러 방식으로 기업의 사이버보안을 강화하고 보안팀에 꼭 필요한 사이버 범죄 활동에 대응하기 위한 강력한 힘을 제공할 수도 있다.
생성형 AI 챗봇과 LLM이 보안을 개선할 수 있는 방법은 다음과 같다.
취약점 스캔 및 필터링
LLM이 사이버보안에 미치는 영향을 연구한 CSA(Cloud Security Alliance)의 보고서에 따르면, 생성형 AI 모델을 사용하면 보안 취약점 스캔과 필터링 역량을 대폭 강화할 수 있다. 보고서에는 오픈AI의 코덱스(Codex) API가 C, C#, 자바, 자바스크립트와 같은 프로그래밍 언어를 위한 효과적인 취약점 스캐너임을 입증하며 “코덱스와 같은 LLM이 향후 취약점 스캐너의 표준 구성요소가 될 것으로 예상된다”라고 한다. 예를 들어, 다양한 언어에서 안전하지 않은 코드 패턴을 탐지해 표시하는 스캐너를 개발하면 개발자는 잠재적 취약점에 선제적으로 대처할 수 있다. 필터링의 경우에도 생성형 AI 모델은 인간 보안 담당자가 놓칠 수 있는 위협 식별자를 설명하고 유의미한 맥락을 추가할 수 있다. 예를 들어, 마이터 어택(MIRTE ATT&CK) 프레임워크의 공격 기법 식별자 TT1059.001은 사이버보안 담당자에게 생소할 수 있으므로 간단한 설명이 필요하다. 보고서에 따르면, 챗GPT는 이런 코드를 MITRE ATT&CK 식별자로 정확히 인식하고 악성 파워셸 스크립트 사용과 관련된 특정 문제에 대한 설명을 제공할 수 있다. 혹은 파워셸의 특성과 사이버보안 공격에서의 파워셸 사용 가능성에 대해 세부적으로 설명하고 관련 사례를 제공하는 것도 가능하다. 가령 지난 5월 보안업체 OX 시큐리티(OX Security)가 공개한 OXGPT는 코드가 해커에 의해 악용될 수 있는 방법과 공격의 잠재적인 영향, 조직에 미칠 잠재적 피해를 알려준다.
애드온 및 PE 파일의 API 분석
보안업체 딥 인스팅트(Deep Instinct)의 사이버 인텔리전스 엔지니어링 부문 관리자인 맷 풀머에 따르면, 생성형 AI/LLM 기술을 사용하면 규칙을 구축하고 IDA나 기드라(Ghidra)와 같은 리버스 엔지니어링 프레임워크를 기반으로 인기 있는 애드온의 구조를 분석할 수 있다. 풀머는 “프롬프트를 통해 필요한 것을 구체적으로 지정하고 이를 MITRE ATT&CK 수법과 비교한 다음, 결과를 오프라인으로 가져와서 개선하고 방어에 사용할 수 있다”고 설명했다. 또한 LLM은 애플리케이션의 통신에도 도움이 되며, PE(Portable Executable) 파일의 API를 분석해서 어떤 용도로 사용되는지 알려줄 수 있다. 이를 통해 보안 연구원은 PE 파일을 살펴보면서 그 안의 API 통신을 분석하는 데 소비하는 시간을 줄일 수 있다.
위협 사냥 쿼리(Threat Hunting Queries)
CSA에 따르면, 보안 방어자는 챗GPT 및 기타 LLM을 활용해서 위협 사냥 쿼리를 생성함으로써 효율성을 높이고 대응 시간을 단축할 수 있다. 챗GPT는 야라(Yara)와 같은 맬웨어 연구 및 탐지 툴을 위한 쿼리를 생성해 방어자가 잠재적인 위협을 신속하게 식별 및 완화하도록 돕는다. 끊임없이 진화하는 위협 환경에서 견고한 보안 태세를 유지하는 데 매우 유용하다. 특정 요구사항, 기업이 탐지 또는 모니터링하고자 하는 특정 위협을 기반으로 규칙을 맞춤 설정할 수도 있다.
공급망 보안 개선
생성형 AI 모델을 사용해 공급망 보안 위험에도 대처할 수 있다. 예를 들어, 보안업체 시큐리티스코어카드(SecurityScorecard)는 지난 4월 오픈AI의 GPT-4 시스템과 자연어 검색을 통합한 새로운 보안 등급 플랫폼을 출시했는데, 회사 측에 따르면 고객은 업체 세부정보를 포함한 비즈니스 생태계에 대해 개방형 질문을 하고 답변을 검토해 위험 관리 의사 결정을 내릴 수 있다. 예를 들어, “평가가 가장 낮은 10개 업체” 또는 “핵심 업체 중 작년에 침해된 곳”이라고 질문하는 것이다. 시큐리티스코어카드는 새로운 플랫폼이 신속한 위험 관리 의사 결정에 도움이 될 것이라고 주장했다.
공격에서 생성형 AI 텍스트 감지
LLM은 텍스트를 생성할 뿐 아니라 AI로 생성된 텍스트를 감지하고 워터마킹하는 기능도 갖추고 있다. CSA는 이런 기능이 이메일 보호 소프트웨어의 보편적인 기능이 될 것으로 전망했다. 공격에서 AI로 생성된 텍스트를 식별하면 피싱 이메일과 다형성(polymorphic) 코드 감지에 도움이 된다. 또한 LLM은 일상적이지 않은 이메일 주소 발신자와 해당 도메인을 손쉽게 감지할 수 있고 텍스트에 포함된 링크가 알려진 악성 웹사이트로 연결되는지도 확인할 수 있다.
보안 코드 생성 및 전송
LLM은 보안 코드를 생성하고 전송하는 용도로 모두 사용할 수 있다. CSA는 보고서에서 여러 직원을 표적으로 해서 자격 증명 유출을 시도한 성공적인 피싱 캠페인을 예로 들었다. 해당 사례에서는 피싱 이메일을 연 직원까지는 확인됐지만, 자격 증명을 훔치도록 설계된 악성 코드를 실행한 사람은 누구인지 알아내지 못했다. 보고서에 따르면, “마이크로소프트 365 디펜더 고급 헌팅 쿼리(Advanced Hunting Queries)를 활용하면 알려진 악성 이메일이 수신된 시점에서 30분 이내에 이메일 수신자가 수행한 10번의 가장 최근 로그온 이벤트를 찾을 수 있다. 침해된 자격 증명과 관련될 수 있는 의심스러운 로그인 활동을 식별하는 데 도움이 된다”고 설명했다. 이런 사례에서 챗GPT는 침해된 이메일 계정의 로그인 시도를 확인하기 위한 마이크로소프트 365 디펜더 헌팅 쿼리를 제공할 수 있다. 시스템에서 공격자를 차단하고 비밀번호 변경 필요성을 파악하는 데 효과적이다. 사이버 사고 대응 중 조치 시간을 단축하는 좋은 사용례다. 시스템이 KQL 프로그래밍 언어와 호환되지 않을 때는 프로그래밍 언어 스타일을 변환할 수 있다. CSA는 “해당 예제는 챗GPT의 기반 코덱스 모델이 소스 코드 예제를 가져와 다른 프로그래밍 언어로 예제를 생성할 수 있음을 보여준다. 또한 제공되는 답변에 주요 세부 정보와 새로 생성하는 작업에 사용된 방법론을 추가함으로써 최종 사용자의 업무 프로세스를 간소화한다”라고 설명했다.
가장 중요한 선결 과제는 ‘안전한 사용 환경’
기술이 발전이 늘 그러하듯 AI와 LLM은 위험 관점에서 양날의 검이다. 기가몬(Gigamon) CSO 차임 마잘은 제품을 안전하게 사용하도록 보장하는 것이 리더가 해야 할 중요한 일이라며 “보안 및 법률팀이 협력해 지적 재산이나 보안 침해 없이 기술을 활용하는 최선의 방법을 찾아야 한다”고 말했다. 생성형 AI는 오래된 구조적 데이터를 기반으로 하므로 보안 및 방어를 평가할 때만 출발점으로 삼는 것이 현명하다. 딥 인스팅트의 풀머는 “앞서 언급한 이점을 위해 생성형 AI를 사용하는 경우 사람이 결과물을 정당화해야 한다. 결과물을 오프라인으로 가져와서 더 정확하고 실용적으로 보강해야 한다”고 덧붙였다. 생성형 AI 챗봇/LLM이 궁극적으로 보안과 방어를 강화하는 역할을 하겠지만, 사이버보안 태세에 도움이 되도록 활용하는 핵심은 결국 내부 커뮤니케이션과 대응이다. 마잘은 “생성형 AI/LLM은 전반적으로 보안 문제를 더 빠르고 효율적으로 해결하기 위해 이해관계자를 참여시키는 수단이 될 수 있다. 리더는 목표 달성을 위한 툴 활용법을 알리는 동시에 툴이 가진 잠재적인 위협에 대해서도 교육을 실시해야 한다”고 강조했다. 토비 AI(Tovie AI)의 AI 기술 부문 책임자이자 CEO인 조슈아 카이저는 AI 기반 챗봇을 정기적으로 업데이트하고 LLM의 올바른 동작을 감독하는 인력을 마련하고 정기적인 테스트와 평가를 통해 잠재적인 약점이나 취약성을 파악하면 위협에 효과적으로 대처할 수 있을 것이라고 조언했다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
CSO