AI 모델에 질문을 하면 요청은 데이터 센터로 전송되어 처리된 뒤, 순식간에 응답이 돌아옵니다. AI가 모델을 학습시키는 단계에서 수십억 건의 실시간 상호작용을 처리하는 단계로 전환되면서, 인프라가 어디에 위치하는지, 그리고 워크로드가 그 인프라 전반에서 어떻게 라우팅되는지가 향후 10년을 좌우할 핵심 인프라 과제로 떠오르고 있습니다.

2025년에는 중요한 전환점이 찾아왔습니다. 워크로드 곡선에서 학습과 추론의 위치가 서로 뒤바뀌었습니다.

학습은 한 번 수행되는 작업입니다. 반면 추론 워크로드는 반대편에 사용자가 있는 지속적인 비즈니스입니다. 이 변화는 구축되는 인프라 자체를 근본적으로 바꾸고 있습니다.

이러한 변화가 갖는 실질적인 의미도 큽니다. 앞으로 2년 안에 AI에 투입되는 전력과 자본의 대부분은 답을 '학습'하는 것이 아니라 질문에 '답변'하는 데 사용될 것입니다. Deloitte는 2026년 말까지 추론이 전체 AI 컴퓨팅의 3분의 2를 차지할 것으로 전망하고 있습니다.

추론에는 분산이 필요합니다

AI 학습에는 집중이 필요했습니다. 하나의 데이터 센터 캠퍼스, 하나의 연결 패브릭, 하나의 일정, 그리고 비용에 상관없이 최신 실리콘 칩을 사용하는 방식이었습니다.

반면 AI 추론이 요구하는 것은 거의 정반대입니다. 사용자와의 근접성이 필요하며, 유용한 토큰당 비용이 가장 효율적인 칩에서 실행되어야 합니다. 또한 데이터가 위치한 곳에서는 어디에서나 현지 규정을 엄격히 준수하면서 왕복 100밀리초 이내의 응답 시간을 충족해야 합니다.

학습이 하나의 항구와 같았다면, 추론은 화물 운송 네트워크와 같습니다. 그리고 이러한 관점에서 추론 워크로드 지도를 바라보면, 이 비유는 매우 적절하다는 것을 알 수 있습니다.

실시간 작업(음성 비서, 증강 현실, 로봇 공학)은 도심 물류 거점에 해당하는 환경에서 실행됩니다. 임대료는 비싸고 밀도는 높으며, 사용자는 바로 길 건너에 있습니다. 예를 들어, 음성 비서에게 현재 있는 도시의 날씨를 물으면 해당 요청은 수 밀리초 안에 처리되어야 합니다. 원격 캠퍼스까지 왕복해야 하는 지연 시간 때문에 실시간 작업은 사실상 구현이 어려울 수 있습니다.
대화형 작업(고객 서비스 챗봇, AI 에이전트, 생산성 어시스턴트)은 도심에서 조금 더 떨어진 교외 물류 허브에 해당하는 환경에서 이루어집니다. 100밀리초의 응답 시간도 허용 가능하며, 운영 비용은 더 낮고 워크로드도 충분히 예측 가능해 계획적으로 운영할 수 있습니다.
배치 작업(야간 보고서 생성, 모델 미세 조정, 대규모 데이터 처리 작업)은 전기 요금이 가장 저렴한 시간대에 실행됩니다. 이는 시골 지역의 고속도로 나들목 인근에 물류창고가 자리 잡는 방식과 비슷합니다. 반대편에서 실시간으로 응답을 기다리는 사용자가 없기 때문에, 시간은 비용과 맞바꿀 수 있는 요소입니다.

각 추론 계층은 서로 다른 성능 요구 사항, 비용 구조, 고객군을 가지고 있습니다. 이들은 동일한 물류 경제의 서로 다른 역할을 담당합니다.

투자 모델의 구조적 변화

분산되고 지연 시간에 민감한 인프라에는 다른 투자 모델이 필요합니다. 운영자는 단일 초대형 캠퍼스에 인프라 용량을 집중하는 대신, 수요 변화에 따라 지역, 테넌트, 데이터 주권 구역 간을 오가는 워크로드를 지원해야 합니다.

추론은 인프라 투자 방식과 실리콘 경제성 모두를 바꾸고 있습니다. 인프라 용량은 고정된 캠퍼스가 아니라 유연한 네트워크 형태로 구축되어야 하며, 컴퓨팅 자원 역시 단일 하드웨어 세대가 아니라 포트폴리오(또는 플릿) 형태로 관리되어야 합니다. 이는 자본 투자에 대한 접근 방식 자체가 구조적으로 달라졌음을 의미합니다. 아직 투자 전략을 이에 맞게 재정립하지 못한 기업은 다음 단계에 적합하지 않은 자산에 투자하게 될 위험이 있습니다.

최신 칩 가속기는 가장 높은 성능이 요구되는 워크로드를 처리하는 반면, 감가상각이 진행된 하드웨어도 대규모 고처리량 워크로드를 통해 계속해서 가치를 창출할 수 있습니다. 경쟁 우위는 가장 최신이면서 최고 사양의 실리콘을 보유하는 데 있는 것이 아니라, 각 워크로드를 가장 효율적인 자원으로 라우팅하는 데서 나옵니다.

설계를 좌우하는 데이터 주권

데이터 주권은 AI 인프라를 설계하는 데 있어 핵심적인 제약 요소로 자리 잡고 있습니다. 데이터 상주 법규, AI 거버넌스 프레임워크, 그리고 국가 안보 요구사항으로 인해 워크로드를 특정 관할권 내에 유지해야 하는 경우가 점점 더 많아지고 있습니다.

이로 인해 컴퓨팅 자원은 학습 중심 시대에 비해 국경을 넘어 대체하기가 훨씬 어려워졌습니다. 국제 화물이 세관을 거치지 않고 이동할 수 없는 것처럼, 독일에 있는 사용자의 데이터 쿼리도 미국 버지니아주의 서버에서 항상 합법적으로 처리될 수 있는 것은 아닙니다.

유럽, 중동, 아시아 전역에서 소버린 AI 이니셔티브가 가속화되면서 인프라는 규제 체계 위에 구축되는 것이 아니라, 규제 체계 안에서 구축되고 있습니다. 데이터 주권을 핵심 설계 원칙이 아닌 단순한 규정 준수 과제로 여기는 기업은 앞으로 점점 더 많은 글로벌 AI 워크로드를 확보하지 못할 위험이 있습니다.

향후 10년을 위한 AI 기반 구축

추론 중심 시대로의 전환 속에서 성공하는 기업은 이미 네트워크 구조를 갖춘 기업일 것입니다. 여러 대도시, 여러 지역, 여러 데이터 주권 관할권이 소프트웨어 계층으로 연결되어 데이터와 인프라 용량을 밀리초 단위로 이동시킬 수 있어야 합니다.

향후 10년 동안 AI 인프라의 주된 구성 단위는 기가와트 규모의 캠퍼스가 아닙니다. 대도시 허브와 인터넷 접속점, 그리고 데이터 주권 노드입니다. 이들은 컴퓨팅 자원을 고정된 위치가 아니라 동적으로 할당하고 필요한 곳에 즉시 투입할 수 있는 자원으로 취급하는 소프트웨어 정의 라우팅으로 상호 연결된 네트워크를 이룹니다.

최고의 물류 허브는 단순히 화물을 효율적으로 운송하는 데 그치지 않습니다. 필요한 파트너를 한곳에 모아 유연성을 제공하고, 원활하게 업무를 이어받을 수 있도록 지원합니다. AI 워크로드에서 상호 연결이 하는 역할도 이와 같습니다.

Digital Realty는 이러한 기반을 지난 20년 동안 구축해 왔습니다. Digital Realty의 글로벌 데이터 센터 플랫폼인 PlatformDIGITAL®은 확장 가능한 코로케이션과 안전한 상호 연결을 제공하도록 설계되었습니다. 이를 통해 더 빠르게 구축하고, 위험을 줄이며, AI 인프라를 경쟁 우위로 전환할 수 있습니다.

AI 인프라의 첫 번째 시대는 "가장 큰 모델을 어디에 둘 것인가?"라는 질문에 답했습니다. 다음 시대가 답해야 할 질문은 다릅니다. "어떻게 하면 쿼리를 가장 적합한 칩으로, 가장 적합한 위치에서, 가장 적합한 시점에, 가장 낮은 비용으로 전달할 수 있는가?"입니다.

IDC 데이터센터 코로케이션 서비스 공급 업체 프로필: Digital Realty