하이퍼스케일러의 시대, 그 이면의 그림자
지난 수년간 인공지능(AI) 인프라 시장은 소수의 거대 클라우드 기업, 즉 하이퍼스케일러(Hyperscaler)가 주도해왔습니다. 대규모 언어 모델(LLM)을 훈련하고 서비스하기 위한 막대한 컴퓨팅 자원은 오직 이들만이 제공할 수 있는 전유물처럼 여겨졌습니다. 그러나 최근 시장의 근본적인 지각 변동을 암시하는 명백한 시그널들이 포착되고 있습니다.
이 새로운 흐름의 핵심 키워드는 바로 ‘엔터프라이즈 주권(Enterprise Sovereignty)’입니다. 이는 단순히 비용 절감의 문제를 넘어, 데이터 통제권, 보안, 그리고 기술적 자립을 확보하려는 기업과 국가 단위의 전략적 움직임입니다. 하이퍼스케일러에 대한 의존에서 벗어나 독자적인 AI 인프라를 구축하려는 시도가 더 이상 변방의 외침이 아님을 시장 데이터가 증명하고 있습니다.
시장의 바로미터, 엔비디아가 가리키는 방향
AI 인프라의 가장 근원적인 공급자인 엔비디아의 최근 행보는 이 트렌드를 가장 명확하게 보여줍니다. 엔비디아는 실적 발표에서 데이터센터 고객을 세분화하며 하이퍼스케일러와 구별되는 ‘소버린 AI(Sovereign AI)’, ‘엔터프라이즈’와 같은 새로운 주권적 고객 그룹의 부상을 공식화했습니다. 그리고 그 성장세는 예상을 뛰어넘습니다. 엔비디아의 발표에 따르면, 이들 ‘탈-하이퍼스케일러’ 고객이 데이터센터 매출에서 차지하는 비중은 이미 절반을 넘어섰습니다.
이는 AI 가속기 시장의 핵심 구매자가 기존의 빅테크 클라우드 기업뿐만 아니라, 독자적 AI 인프라 구축을 목표로 하는 주권 국가 및 일반 기업으로 빠르게 다변화되고 있음을 보여주는 가장 강력한 정량적 증거입니다. GPU라는 AI 시대의 가장 중요한 생산수단을 공급하는 기업이 직접 새로운 고객군의 폭발적 성장을 숫자로 증명한 것은, 이 시장의 구조적 변화가 이미 거대한 흐름이 되었음을 보여줍니다.
‘토큰당 과금’의 족쇄를 끊어내려는 시도
엔터프라이즈 주권의 부상은 기술적 당위성뿐만 아니라 명확한 경제적 논리에 기반합니다. 뉴타닉스(Nutanix) CEO 라지브 라마스와미(Rajiv Ramaswami)의 최근 발언은 이러한 경제적 동인을 날카롭게 지적합니다. 그는 뉴타닉스 내부의 AI 추론(Inference) 워크로드 상당수를 외부 API 호출 방식에서 자체 클러스터 운영으로 전환했다고 밝혔습니다.
“우리는 더 이상 토큰당 비용(per-token basis)을 지불할 필요가 없어졌습니다.”
이 발언은 엔터프라이즈 AI의 손익분기점(P&L)에 대한 근본적인 질문을 던집니다. AI 모델 API를 호출할 때마다 지불해야 하는 종량제 비용은 예측이 어렵고, 대규모 서비스로 확장될 경우 기하급수적으로 증가하는 운영비용(OpEx)이 됩니다. 초기 투자비용(CapEx)을 감수하더라도 자체 인프라를 구축하는 것이 장기적으로 총소유비용(TCO)을 통제하고 예측 가능한 예산 운영을 가능하게 한다는 계산이 깔려 있는 것입니다.
기술적 해결 과제: 워크로드 송환과 하이브리드 현실
물론, 모든 워크로드를 하루아침에 내부 데이터센터로 가져오는 ‘워크로드 송환(Workload Repatriation)’은 기술적으로 간단한 문제가 아닙니다. 여기서 뉴타닉스와 같은 통합 클라우드 플랫폼의 역할이 중요해집니다. 이들의 핵심 가치는 기업이 기존에 투자한 Dell PowerStore, PowerFlex, NetApp ONTAP 같은 외부 스토리지 자산을 그대로 통합 활용하면서, 그 위에 현대적인 프라이빗 클라우드 플랫폼을 구축할 수 있게 해준다는 점입니다.
이는 기업이 값비싼 하드웨어를 전면 교체하지 않고도, 소프트웨어 정의(Software-defined) 방식으로 AI 워크로드를 위한 자체 플랫폼을 확보할 수 있는 현실적인 경로를 제공합니다. 결국 미래의 AI 인프라는 ‘퍼블릭 클라우드냐, 온프레미스냐’의 이분법적 선택이 아닐 것입니다. 민감 데이터와 대규모 추론은 통제 가능한 프라이빗 AI 클러스터에서, 일반적인 개발 및 테스트는 퍼블릭 클라우드에서 수행하는 최적화된 하이브리드 모델이 표준으로 자리 잡을 것입니다.
새로운 패러다임: 인프라 통제권이 곧 경쟁력이다
엔터프라이즈 주권의 부상은 AI 시장이 초기 탐색 단계를 지나 성숙기로 접어들고 있음을 보여주는 명백한 증표입니다. 이제 경쟁의 핵심은 단순히 어떤 LLM을 사용하느냐를 넘어, ‘누가 가장 효율적이고 안전하게 AI를 운영할 수 있는 인프라 통제권을 가졌는가’로 이동하고 있습니다. 하이퍼스케일러에 지불하는 비용을 통제하고, 기업의 가장 중요한 자산인 데이터를 자체적으로 보호하며, 기술적 종속에서 벗어나려는 움직임은 거스를 수 없는 흐름이 될 것입니다.