GPU 수급난을 뚫은 업스테이지의 선택
“삼성 클라우드 플랫폼 GPUaaS”

회사명: 업스테이지

업스테이지는 한국 기업 최초로 머신러닝의 빌보드라 불리는 허깅페이스 '오픈 LLM 리더보드'에서 메타, OpenAI를 제치고 1위에 선정된 기업입니다. 최근에는 1,000억 원 규모의 시리즈 B 투자를 유치하며 AI 업계의 떠오르는 강자로 자리매김했는데요. 이러한 성장의 원동력은 무엇일까요? 고객의 실제 문제 해결에 집중하는 AI 개발과 이를 뒷받침하는 안정적인 GPU 인프라에 그 답이 있었습니다.

"기업 고객의 문제를 잘 풀어줄 수 있느냐가 우리의 본질입니다. 그 본질을 이루어 나가기 위해 AI 기술력이라는 수단으로 이를 해결하고 있습니다." 업스테이지에서 클라우드 사업 및 LLM사업 개발을 담당하는 김민성 팀장님의 말처럼, 업스테이지는 단순히 AI 모델을 제공하는 것을 넘어 기업 고객이 실제로 체감할 수 있는 비즈니스 임팩트를 창출하는 데 초점을 맞추고 있습니다. 이러한 과정에서 김민성 팀장님께서는 삼성 클라우드 플랫폼의 GPUaaS를 업스테이지의 '든든한 엔진룸'이라고 표현합니다.

'래퍼(wrapper)'가 아닌 진짜 솔루션을 만듭니다.

안녕하세요, 민성 팀장님! 자기소개 부탁드려요.

안녕하세요, 저는 업스테이지에서 클라우드 사업 및 LLM 사업 개발 팀장 김민성입니다. 업스테이지는 B2B AI 솔루션 회사로, 저희가 보유한 두 가지 핵심 AI 기술력을 기반으로 제품화하여 기업 고객들에게 제공하고 있습니다.

요즘 여러 AI 모델이 생기고 있는 것 같은데요. 업스테이지는 다른 AI 기업들과 어떤 점이 다른가요?

업스테이지는 '고객의 실제 문제에 집중하는 기술 개발'을 진행해 왔다는 것입니다. 최근에는 GPT 모델을 단순히 감싸는 '래퍼(wrapper)' 형태의 서비스가 우후죽순 나와 왔는데, 이는 빠르게 '나쁜 밈'이 되어가고 있어요. 단순한 채팅봇만으로는 기업에 실질적인 가치를 주기 어렵기 때문이죠.

업스테이지의 접근법은 기존 AI 기업들과 다릅니다. 급변하는 AI 유행 속에서 업스테이지는 트렌드를 쫓기보다 기업 고객의 실제 문제를 해결하는 데 집중하며 AI 기술의 가치를 창출하고 있습니다. 특정 산업이나 구체적인 업무 상황에 맞춘 기능과 성능을 집중적으로 튜닝하고, 이를 고도화하는 과정을 통해 고객이 실제로 만족할 수 있는 솔루션을 만들어가고 있어요.

[Figure 1. 업스테이지에 대해 소개하고 있는 업스테이지 김민성 LLM 사업개발 팀장]

업스테이지의 '눈'과 '뇌', 기업의 문제를 해결합니다.

업스테이지의 두 가지 핵심 기술이란 무엇인가요?

첫 번째는 기업의 '눈' 역할을 하는 컴퓨터 비전 기술이고, 두 번째는 '뇌' 역할을 하는 생성형 AI 기술입니다. 특히 업스테이지의 OCR(광학 글자 인식) 기술은 글로벌 수준의 성능을 인정받고 있으며, 생성형 AI 분야에서는 자체 개발한 '솔라(Solar)' 모델을 보유하고 있어요. 이 두 기술을 기반으로 기업 고객의 니즈에 맞춰 다양한 솔루션을 제공하고 있습니다. AI 문서 처리 자동화가 대표적이죠.

'눈'과 '뇌'라니! 막강한 조합이네요. 실제 적용 사례도 소개해 주세요!

업스테이지의 OCR 엔진을 활용한 AI 문서 처리 자동화 기능은 국내 보험사들에서 많이 활용되고 있습니다. 2022년에 처음 제품화한 이 기술은 현재 국내 보험사들이 처리하는 전체 문서량의 약 60% 이상을 처리하고 있어요. 보험사들이 처리하는 문서는 정형화된 템플릿이 아니에요. 예를 들어, 진료비 영수증의 경우 A병원, B병원 등 다양한 병원에서 발행되는데, 각 병원마다 영수증 형태가 모두 다릅니다. 병원명, 진단 내용, 청구 금액 등의 정보는 있지만, 그 배치와 형태가 제각각이죠.

이전에는 보험사 직원들이 이 모든 정보를 일일이 수기로 입력해야 했는데요. 저희 OCR 엔진은 어떤 병원에서 발행된 영수증이든 자동으로 인식하여 보험사가 원하는 형태의 데이터베이스로 변환합니다. 이러한 업스테이지의 AI 문서 처리 자동화 기능을 통해 보험사들은 보험금 청구 및 처리 프로세스에서 시간과 노력을 절감하고 있어요.

AI 모델 개발, ‘GPU의 성능’이 좌우합니다.

이런 AI 모델을 개발하려면 GPU가 많이 필요할 것 같아요.
구체적으로 GPU는 AI 모델에 어떤 영향을 미치나요?

LLM을 학습할 때는 여러 GPU를 동시에 사용해야 합니다. 예를 들어 50장, 100장의 GPU로 하나의 LLM 모델을 학습할 때, 이 GPU들이 서로 통신을 많이 해야 해요. 그런데 이 GPU 간 통신 중에 하나라도 문제가 발생하면 학습 자체가 멈춰버립니다. 따라서 학습 시간과 비용이 많이 드는 LLM 작업에서 하나의 하드웨어 장애로 인한 학습 중단은 큰 손실을 만들어내요. 이 때문에 신속한 복구 작업이 매우 중요합니다.

그래서 '고성능 H100 GPU 대신 50% 성능의 GPU를 2배 수량으로 쓰면 되지 않을까?'라고 생각할 수 있지만, LLM 학습 환경에서는 사실 그렇지 않아요. 하드웨어 수량이 늘어나면 장애 발생 확률도 비례해서 늘어나기 때문이에요. 하나라도 고장 나면 전체 학습이 멈춰야 하는데, 그 확률이 높아지는 거죠.

결국 H100 50장으로 한 달에 끝낼 작업이, 낮은 스펙의 GPU를 사용하면 두 배가 넘는 기간이 소요될 수 있습니다. 이것이 업스테이지가 엔비디아 H100과 같은 고성능 GPU 클러스터를 사용해 LLM을 학습하는 이유입니다.

[Figure 3. 업스테이지의 글로벌 웹사이트]

‘클라우드 전략’으로 GPU 수급난을 뚫었어요.

전 세계적으로 GPU 수급난이 있었다고 들었어요. 업스테이지는 GPU 수급난을 어떻게 대처했나요?

GPU 수급난은 GPU를 직접 구매해서 관리하려는 기업들에게 큰 문제였습니다. 2023년은 AI 개발자들에게 특히 어려운 시기였죠. 작년 기준으로 가장 좋은 엔비디아 GPU는 H100이었는데요. 전 세계적으로 H100을 찾는 기업들이 많아지면서 엔비디아 주가가 급등하기도 했지만, 정작 GPU를 구하기는 어려워졌어요. 이런 상황에서 업스테이지는 전략적인 결정을 내렸습니다.

업스테이지는 GPU를 직접 관리하는 자체 데이터센터를 구축하는 대신, 삼성 클라우드 플랫폼의 GPUaaS처럼 클라우드에서 제공하는 GPU를 활용하는 방향으로 전략을 잡았습니다. 클라우드가 미리 보유하고 있는 GPU를 임대해서 사용하는 클라우드 방식으로 GPU를 사용한 것이죠. 그 결과, 글로벌 GPU 수급난 속에서도 원활하게 고성능 엔비디아 GPU를 활용할 수 있었습니다.

이러한 전략적 판단 덕분에 업스테이지는 AI 개발 속도를 유지하면서도 GPU 확보에 드는 초기 투자 비용과 관리 부담을 줄였습니다.
특히 스타트업 환경에서는 효율적으로 자본을 사용하는 것이 중요한데, 클라우드에 기반한 GPU를 사용하는 전략은 이러한 측면에서 큰 이점을 가져다주었어

안정성, 비용, 속도 측면에서 삼성 클라우드 플랫폼 GPUaaS를 선택했어요.

많은 클라우드 서비스 중 삼성 클라우드 플랫폼 GPUaaS를 선택한 이유는 무엇인가요?

작년 12월부터 삼성 클라우드 플랫폼 GPUaaS를 사용하게 되었는데요. 삼성 클라우드 플랫폼의 GPUaaS를 선택한 이유로는 크게 세 가지가 있어요. 첫째, 서비스 수준 협약(Service Level Agreement)이 굉장히 촘촘하고 기술 대응이 체계적이었습니다. 둘째, 합리적인 비용 구조를 갖추고 있었죠. 셋째는 빠른 속도입니다.

먼저 LLM과 같은 대규모 모델을 학습할 때 안정적인 인프라는 필수적인데요. 삼성 클라우드 플랫폼의 GPUaaS는 AI 모델 학습 시 안정적인 환경을 제공해 주었어요. 이는 개발자들이 기술 개발에만 집중할 수 있게 하는 환경을 마련해주었습니다.

그리고 업스테이지와 같은 스타트업은 비용에 민감할 수밖에 없는데요. GPUaaS에서는 고성능 GPU를 필요한 만큼만 온디맨드로 사용할 수 있어 비용 효율적이에요. 따라서 GPUaaS가 특히 사용량이 일정하지 않고 스팟성 처리가 필요한 스타트업에 좋은 대안이라고 생각합니다.

삼성 클라우드 플랫폼의 GPUaaS는 업스테이지의 개발 철학과도 잘 맞았습니다. 저희는 '트라이얼 앤 에러(Trial and Error)'를 많이 하는 전략을 취하고 있어요. 많이 시도하고, 에러를 통해 빠르게 교훈을 얻고, 다시 빠르게 실험을 설계하고. 이 사이클을 여러 번 반복하는 거죠. 이런 속도감 있는 업스테이지의 개발 방식은 빠른 대응을 지원하는 삼성 클라우드 플랫폼의 탄탄한 GPU 인프라와 좋은 궁합을 만들어 내고 있어요

삼성SDS GPUaaS 서비스에 대한 내부 개발자들의 반응은 어땠나요?

내부적인 엔지니어들의 만족도가 굉장히 높았어요. 먼저 앞서 말씀드린 체계적인 기술 지원과 SLA(서비스 수준 협약)로 학습 중단 시간을 최소화할 수 있었습니다. 또한, 합리적인 비용으로 고성능 GPU를 필요한 때에 활용할 수 있다는 점도 만족도가 높았어요. 마지막으로 정량적으로 말씀드리기는 어렵지만 삼성SDS 전문 기술 팀의 수준 높은 응대가 다른 GPU 공급자들과는 차별화된다고 느꼈습니다. 특히 담당자님께서 실시간으로 응대해주시기에 서비스 이용과 관리에 막힘이 없다고 느껴졌어요.

AI 생태계는 곧 국가 경쟁력입니다.

삼성 클라우드 플랫폼의 GPUaaS가 업스테이지의 경쟁력 향상에 도움이 되고 있군요!
나아가 한국이 AI 경쟁력을 높이기 위해 어떤 노력이 필요할까요? 팀장님의 생각이 궁금합니다!

앞으로는 LLM들이 국가 단위로 카르텔이 형성되는 상황이 발생할 것 같아요. 따라서 AI 경쟁력을 높이려면, 우리나라도 한국의 특성을 잘 반영하고 한국을 정말 잘 이해하는 LLM이 필요합니다. 특히 국내 기업들이 글로벌 AI 경쟁에서 뒤처지지 않으려면 독자적인 기술력 확보가 중요해요.

과학기술정보통신부가 올해 3월 발표한 AI 컴퓨팅 인프라 확충 계획은 이런 측면에서 긍정적이라고 생각해요. AI를 지원하는 이러한 정부 정책이 스타트업의 R&D 도전을 지원하는 데 큰 도움이 될 것이라고 봅니다. 업스테이지도 이런 인프라를 활용하면서 고품질 솔루션을 개발하기 위해 노력하고 있어요.

GPUaaS는 업스테이지의 '엔진룸'입니다.

마지막으로 업스테이지에게 삼성 클라우드 플랫폼 GPUaaS란 무엇인가요?

삼성 클라우드 플랫폼의 GPUaaS는 업스테이지의 '든든한 엔진룸'입니다. 업스테이지가 AI 모델을 만들고 이 모델 기반으로 프로덕트를 제공할 때는 고객이 원하는 타임라인에 맞춰 개발해야 합니다. 따라서 AI 개발에서 시간은 그 어떤 자원보다 중요합니다. 얼마나 잘, 얼마나 빠르게, 얼마나 효율적으로 학습이 되어서 좋은 모델이 나오느냐가 핵심인데, 이 역할을 GPU 서비스가 중추적으로 담당하고 있어요.

그래서 삼성 클라우드 플랫폼의 GPUaaS는 업스테이지가 미션을 향해 달려가는 속도에 직접적으로 박차를 가해주는 엔진룸 역할을 해주고 있습니다. 안정적인 인프라를 바탕으로, 업스테이지는 빠른 실험과 검증, 그리고 고객 적용이라는 선순환 구조를 만들어가는 것이죠.

[Figure 4. 삼성 클라우드 플랫폼 GPUaaS에 대해 이야기 하고 있는 업스테이지 김민성 LLM 사업개발 팀장]

고성능 GPU, GPUaaS로 효율적으로 사용하세요.

혁신적인 AI 모델 개발을 위해서는 안정적이고 강력한 GPU 인프라가 필수입니다.

삼성 클라우드 플랫폼 GPUaaS는 AI 모델 학습과 추론을 위한 최신 고성능 GPU 인프라를 제공하며, 필요에 따라 유연하게 확장하여 사용 가능한 서비스입니다. 초기 투자 비용 없이 AI 연구 개발을 가속화하고 싶으시다면, 지금 바로 삼성 클라우드 플랫폼의 GPUaaS를 확인해 보세요. 삼성SDS는 업스테이지처럼 국내 AI 생태계의 발전을 견인하는 기업들과 함께 합니다.