생성형 AI 모델과 대화하는 프롬프트 엔지니어링(Prompt Engineering)

이 글은 IDG의 아티클을 전재하여 제공합니다.
[원문보기]: https://www.itworld.co.kr/techlibrary/294307

지난 2022년 9월 미국 콜로라도 주립 박람회 미술 대회 디지털 아트 부문에서 제이슨 앨런의 ‘스페이스 오페라 극장(Space Opera Theater)’이라는 작품이 우승을 차지했다. 하지만 우승 소식이 알려지자마자 논란이 불거졌다. 스페이스 오페라 극장이 인공지능, 정확하게는 생성형 AI ‘미드저니(Midjourney)’로 만들어 낸 작품이었기 때문이다. 앨런은 80시간에 걸쳐 900번의 프롬프트를 반복해 스페이스 오페라 극장을 완성했다. 우승 작품을 생성해 낸 프롬프트가 공개되진 않았지만, 앨런은 호화로운(lavish), 부유한(opulent) 등 다양한 단어와 구절을 입력했다고 밝혔다. ‘이것이 과연 예술인가?’라는 논란은 차치하고, 여기서 주목할 부분이 있다. 원하는 이미지를 생성하는데 적절한 프롬프트를 찾기 위해 무려 80시간이나 걸렸다는 점이다.

최근 생성형 AI 모델이 발전하면서 컴퓨터가 인간의 언어를 그대로 입력받아 명령을 수행할 수 있게 됐지만, 인간의 생각을 그대로 구현하기란 아직은 쉽지 않다는 이야기다. 입력이 항상 원하는 결과로 이어지지 않기 때문에, 원하는 결괏값에 최대한 가까워지도록 입력을 계속해서 다듬어야 한다. 그 과정을 일컬어 프롬프트 엔지니어링(Prompt Engineering)이라고 한다. 2022년 말부터 챗GPT 열풍이 불면서, 프롬프트 엔지니어링도 덩달아 큰 주목을 받기 시작했다. 프롬프트 엔지니어링의 개념과 기법, 현황, 전망을 살펴본다.

‘챗GPT 덕에 급부상’ 프롬프트 엔지니어링 뭐길래

간단히 말하자면, 프롬프트 엔지니어링은 대규모 언어 모델(Large Language Model, LLM)에서 원하는 결과를 얻기 위해 프롬프트를 공들여 만들고 최적화하는 과정이다. 그렇다면 프롬프트란 무엇일까? AI 모델에서 출력을 생성하기 위해 입력하는 텍스트를 말한다. 프롬프트는 AI 모델이 학습한 내용 가운데 특정 내용을 탐색하도록 안내해 목표에 맞는 결과를 생성한다. AI 민주화를 목표로 하는 연구 및 교육 기관인 DAIR.AI에서 깃허브를 통해 제공하는 프롬프트 엔지니어링 가이드에 따르면 프롬프트의 구성 요소는 ▲ 모델이 수행하기를 원하는 특정 작업 또는 지침을 말하는 ‘명령(Instruction)’, ▲ 모델을 조정할 수 있는 외부 정보 또는 추가 맥락을 일컫는 ‘맥락 정보(Context)’, ▲ 답변을 찾고자 하는 입력 또는 질문을 말하는 ‘입력 데이터(Input Data)’, ▲ 출력의 유형 또는 형식을 의미하는 ‘출력 데이터(Output Data)’다.

프롬프트에 모든 구성 요소가 포함돼야 하는 것은 아니다. 아울러 AI 모델에 전달할 지시 사항이나 질문 같은 정보가 포함될 수 있으며, 입력이나 예제 같은 기타 세부 정보도 포함될 수 있다. 결과의 품질은 프롬프트가 얼마나 많은 정보를 제공하고, 프롬프트가 얼마나 잘 구성돼 있는지에 따라 달려있다. 아주 간단한 프롬프트의 예는 다음과 같다.

여기서 AI 모델은 ‘The sky is~’라는 프롬프트의 맥락에 부합하긴 하지만, 이렇게 너무 단순한 프롬프트는 사용자가 예상하지 못했거나 원하는 것과는 거리가 먼 답을 제공할 수 있다. 이 예시는 사용자가 원하는 바를 구체적으로 설명해야 할 필요성을 강조한다. 따라서 프롬프트를 다음과 같이 추가할 수 있다.

AI 모델에 문장을 완성하라고 지시했기 때문에, 즉 지시를 정확하게 따르기 때문에 결과가 더 적절해진다. 이렇게 ‘원하는’ 작업을 수행하도록 지시하는 최적의 프롬프트를 설계하는 접근 방식을 프롬프트 엔지니어링이라고 한다. 프롬프트 엔지니어링을 통해 텍스트 요약, 정보 추출, 질의응답, 텍스트 분류, 코드 생성, 추론 등의 작업에서 언어 모델의 성능을 향상할 수 있다.

간략한 프롬프트 엔지니어링 가이드라인

일반적으로 프롬프트 엔지니어링 기법은 ‘제로샷(zero-shot)’과 ‘퓨샷(few-shot)’ 2가지로 나뉜다. 제로샷 프롬프팅은 예시를 제공하지 않고 간단한 명령어만 입력해 예상되는 결과를 생성하는 방식이다. 특정 작업과 관련된 데이터를 사용하지 않고도 새로운 작업을 수행하도록 LLM을 학습시키는 것이 목적이다.

예를 들면 ‘다음의 기사를 3줄의 문장으로 요약하라’ 같은 간결한 지침과 기사 텍스트를 제공하는 식이다. 그다음 AI 모델은 기사 요약 작업에 대해 학습되지 않은 상태에서 입력 텍스트를 처리하고, 가장 중요한 내용을 추출하며, 요약을 생성한다. 추가적으로 작업에 관한 설명과 단일 예시를 제공하는 방식을 원샷 프롬프팅이라고 한다. 여기서 AI 모델은 해당 작업 설명과 예시를 참조해 작업을 이해하고 적절한 출력을 내놓는다. 퓨샷 프롬프팅은 원하는 결과를 얻기 위해 소량의 샘플 정보나 데이터를 사용해 LLM을 학습시키는 방식이다. 퓨샷 프롬프팅에는 3가지 구성 요소가 있다.

• 작업 설명(Task Description): 모델이 수행할 작업에 관해 간단한 설명을 해준다.
(예: “해달이라는 영어 단어를 프랑스어로 번역”)
• 예시(Examples): 모델이 수행할 작업을 몇 가지 예시로 보여준다.
(예: ‘sea otter → loutre de mer’라는 예를 제시)
• 프롬프트(Prompt): 새로운 예시의 시작 부분. 모델은 누락된 텍스트를 생성하여 예시를 완성해야 한다.
(예: ‘치즈’라는 영어 단어를 ‘cheese → ‘로 제시하면 해당 프랑스어 단어를 모델이 생성)

대부분 API에서는 사용자가 자체적인 프롬프트 엔지니어링 기법을 적용할 수 있다. 하지만 이런 유연성은 프롬프트 인젝션 등 악의적인 사용례의 가능성을 열기도 한다. 실제로 악의적인 프롬프트를 입력해 회사 내부 기밀인 코드명 시드니(Sydney)를 말하도록 한 빙(Bing)의 사례는 사람들이 의도치 않은 목적으로 프롬프트 엔지니어링을 악용할 수 있다는 사실을 증명했다. 프롬프트 인젝션은 성장하고 있는 연구 분야다. 다양한 애플리케이션에 걸쳐 LLM이 책임 있고 안전하게 사용될 수 있도록, 악성 사용례는 물론 프롬프트 인젝션 문제를 해결하는 일이 향후 매우 중요해질 전망이다.

혜성처럼 등장한 프롬프트 엔지니어링, 전망은?

프롬프트 엔지니어링이 떠오르면서 ‘프롬프트 엔지니어’라는 새로운 직업도 생겨났으며, 그 수요가 급증하고 있다. 일례로 오픈AI의 개발자들이 설립한 AI 스타트업 안트로픽(Anthropic)은 올해 초 28~37만 달러의 높은 연봉을 제시하면서 프롬프트 엔지니어 채용 공고를 냈다. 인사이더(Insider)에 의하면 온라인 뉴스 미디어 보딩에어리어(BoardingArea)도 콘텐츠 최적화용 프롬프트를 구축하기 위한 시간제 챗GPT 전문가를 채용한다고 밝혔으며, 프리랜서 플랫폼 업워크(Upwork)는 웹사이트 콘텐츠 제작을 위해 시간당 최대 40달러에 프롬프트 엔지니어를 고용했다. AI 기반 계약 검토 업체 클라리티(Klarity)도 23만 달러 연봉에 대규모 언어 모델을 미세 조정할 프롬프트 엔지니어를 찾았다.

국내에서도 지난 3월 AI 스타트업 뤼튼테크놀로지스가 최대 1억 원의 연봉을 내걸고 프롬프트 엔지니어를 공개 채용한 바 있다. 회사에 따르면 프롬프트 엔지니어는 ▲뤼튼 서비스에 사용되는 다양한 목적의 프롬프트 제공, 테스트, 문서화 ▲다양한 생성형 AI 모델을 프롬프트 관점에서 분석 및 정리 ▲프롬프트 모범 사례 구축 등의 업무를 하게 된다.

이렇게 프롬프트 엔지니어 수요가 증가하면서 자신만의 프롬프트를 무료로 공유하거나 사고파는 마켓플레이스의 수와 규모도 증가하는 추세다. 대표적인 마켓플레이스가 바로 프롬프트베이스(PromptBase)다. 프롬프트베이스는 달리(DALL-E), 챗GPT(ChatGPT), 스테이블 디퓨전(Stable Diffustion), 미드저니(Midjourney) 등의 프롬프트를 사고파는 곳이다. 1.99달러에서 9.99달러 사이의 가격으로 프롬프트를 올리거나 구매할 수 있으며, 판매 수익의 20%가 프롬프트베이스의 수수료로 부과된다.

AI 생성 예술 작품을 전문으로 공유하는 무료 플랫폼도 있다. AI 생성 이미지의 핀터레스트라고 보면 된다. 프롬프트히어로(PromptHero)와 아트허브닷에이아이(Arthub.ai)는 AI 생성 이미지나 AI 생성 이미지의 프롬프트를 검색할 수 있는 사이트다. 무료로 이용할 수 있다. 이밖에 프롬프트씨(PromptSea)는 블록체인 기반의 프롬프트 마켓플레이스다. 이미지는 프롬프트와 함께 NFT로 토큰화되며, 프롬프트는 암호화돼 NFT 소유자에게만 공개된다. 플로우GPT(FlowGPT)와 프롬프트플랫(Promptflat)은 챗GPT 명령 전용 프롬프트 마켓플레이스다.

이처럼 많은 기업에서 프롬프트 엔지니어를 채용하고 있고, 관련 마켓플레이스가 성장 중이지만, 일부 업계 전문가들은 프롬프트 엔지니어링의 필요성 자체에 의문을 제기하기도 한다. 워싱턴 포스트에 따르면, 워싱턴 대학의 언어학과 셰인 스타이너트-트렐켈드 교수는 프롬프트 엔지니어가 AI 모델의 출력을 예측할 수 없다면서, "동일한 프롬프트가 수십 개의 서로 다른 답을 생성할 수 있다. 프롬프트 엔지니어링은 과학이 아니다. 곰을 여러 방법으로 찔러보고 어떻게 포효하는지 보는 것일 뿐이다"라고 지적했다. 와튼 스쿨의 에단 몰릭 교수는 프롬프트 엔지니어라는 역할이 곧 사라질 유행이라고 언급했다. 몰릭은 트위터를 통해 "프롬프트 엔지니어는 미래의 직업이 아니다"라면서, "AI는 점점 더 쉬워지고 있다. 미드저니 버전 3에서 복잡했던 기본 프롬프트가 버전 4에서 얼마나 쉬워졌는지만 봐도 알 수 있다"라고 전했다. 아울러 파이낸셜 타임스는 프롬프트 엔지니어가 AI에 의해 생겨나고, AI에 의해 없어질 최초의 직업이 될 수 있다고 평가하기도 했다.

프롬프트 엔지니어링은 비교적 새로운 분야다. 앞으로 지속 가능할지, 반짝 유행에 그치고 말지 판단하기에는 아직 섣부르다. 다만 중요한 건 AI를 다루는 방법을 배워야 한다는 것이고, 프롬프트 엔지니어링은 필요한 스킬이라는 점이다. AI가 모두의 일상에 기반 기술로 자리 잡고 있기 때문이다.

사람들은 이제 더 이상 날씨나 물어보고 음악이나 재생해 주는 장난감 같은 AI를 경험하지 않는다. AI는 갑자기 진지해졌다. 사람들은 이제 어떤 식으로든 AI를 다루게 될 것이다. 따라서 AI를 잘 알아야 한다. 그리고 최소한 지금까지 AI는 입력을 통해 만들어졌다. 올바른 프롬프트를 확보하는 것은 앞으로 중요한 문화적 기술적 과제가 될 것이다.

▶   해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶   해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.