에이전틱 인공 지능(AI)은 인간의 지속적인 개입 없이도 독립적으로 추론, 계획, 다단계 작업 실행을 할 수 있는 자율 에이전트를 의미합니다. 이러한 에이전트는 학습된 모델을 새롭고 이전에 보지 못한 데이터에 적용하는 추론 과정을 기반으로 작동합니다.

에이전틱 AI는 엣지 케이스(예외 상황)에 인간의 지식을 통합함으로써 STP(Straight Through Processing, 직통처리) 방식의 진화적 도약을 이끌어낼 수 있습니다. 이러한 에이전트는 신속하고 반복 가능한 워크플로를 수행하여 의사 결정 속도를 높이고 운영을 최적화하며 개인화 서비스를 대규모로 확장합니다.

기업은 이러한 효율성 확대를 기대하며 에이전틱 AI 시스템을 구축하고 있습니다. IDC에 따르면, 조직의 50%가 '비즈니스 프로세스 자동화를 위한 맞춤형 AI 에이전트 구축'을 향후 지출을 늘릴 주요 분야로 꼽았습니다.¹

에이전틱 AI를 지원하는 실시간 추론에는 대량의 데이터를 처리하고 이동하는 작업이 필요합니다. 데이터 처리가 위치 및 대역폭(Bandwidth)에 최적화되지 않으면 성능과 생산성이 저하됩니다. 그 결과, 워크플로에 차질이 생겨 고객의 신뢰를 잃고 수익 손실이 발생할 수 있습니다.

메트로 기반 추론은 추론 컴퓨팅 리소스(GPU/CPU + 모델 서빙)를 최종 사용자, 디바이스, 기업 데이터 소스와 가까운 메트로 지역 데이터 센터에 배치하는 AI 배포 패턴입니다. 기업이 에이전틱 워크플로를 확장함에 따라 메트로 기반 추론은 AI 인프라 기반의 핵심이 될 것입니다.

이제 엣지 환경의 AI 워크로드가 어떻게 추론을 지원하는지 자세히 살펴보고 성능, 안정성 및 보안과 관련된 과제를 해결하기 위한 방안을 살펴보겠습니다.

데이터 처리 및 지연 시간: IT 인프라 및 생산성 병목 요인

데이터 교환은 AI 추론의 핵심입니다. 에이전틱 AI를 활용하면 모델이 실시간 정보 검색을 통해 다단계 추론과 미세 추론을 수행합니다. 에이전틱 AI는 추론을 반복 실행하므로 상시 가동이 필요하며 지연시간에 민감합니다.

금융 서비스 분야의 초고빈도매매(high-frequency trading)와 같이 연속성과 일관성이 무엇보다 중요한 산업에서는 단 몇 밀리초의 지연도 큰 영향을 미칩니다. AI가 도출한 인사이트를 얻는 데 시간이 너무 오래 걸리면 기회를 놓치고 생산성이 저하됩니다. 중앙 집중식 클라우드는 데이터를 처리하기 전에 장거리로 전송해야 하므로 성능을 저하시킬 수 있으며, 관할권에 따른 데이터 개인정보 보호 및 주권 관련 복잡성 문제를 야기하기도 합니다.

클라우드 기반 협업 도구 또한 대역폭(Bandwidth)에 부담을 줄 수 있습니다. 특히 분산된 팀의 경우, 대용량 파일과 지속적인 일괄 처리 작업이 네트워크 용량을 많이 소모합니다. 이는 대량의 데이터를 이동할 때 성능, 고객 경험 및 보안에 문제를 일으킬 수 있는 데이터 중력 현상의 일부입니다. 이러한 지연은 협업과 창의성을 저해할 수 있으며, 과중한 데이터 부하를 처리하기 위해 인프라를 업그레이드하는 비용이 빠르게 늘어날 수 있습니다.

고객 서비스 도구 역시 비슷한 과제에 직면해 있습니다. AI 챗봇이나 응답 시스템에 지연이 발생하면 직원과 고객 모두 이를 체감하게 됩니다. 이러한 도구의 도입이 늘어남에 따라 대기 시간도 늘어나 첫 응답 대기 시간이 늘어날 것입니다. 효율성을 개선하기 위한 기술이 오히려 사용자 경험을 저해할 수 있습니다.

지연시간 병목 현상은 심각한 문제이지만, 현대 업무 환경의 특성으로 인해 상황은 더욱 복잡해집니다.

분산된 인력 운영의 문제

하이브리드 근무와 원격 근무는 '연결성'의 의미를 재정의했습니다. 화상 회의는 이제 비즈니스에 필수적인 요소가 되었으며, 협업의 효율을 높이기 위해 AI 어시스턴트를 활용하는 사례도 늘고 있습니다.

하지만 지연, 버퍼링, 통화 끊김 현상은 업무 의욕과 참여도를 떨어뜨릴 수 있습니다. 간단히 말해 지리적으로 분산된 인력이 많을수록 AI 모델과 상호작용을 하는 앱과 시스템도 늘어나며, 이는 추론 성능에 복합적인 영향을 미칩니다. 안정적이고 대역폭이 넓은(high-bandwidth) 인프라는 이제 선택 사항이 아니라 생산성을 위한 필수 요소입니다.

직원은 어디서 일하든 일관된 경험이 필요하며, 이는 즉시 동기화되고 데이터를 효율적으로 처리하는 시스템에 달려 있습니다. 작업자는 더 빠른 의사 결정을 위해 실시간 데이터와 시각화 자료에 액세스해야 하는 경우가 많지만, 이러한 애플리케이션은 지연시간이 최소화될 때만 제대로 작동합니다. 메트로 기반 추론은 현지에서 정보를 처리하여 이러한 응답성을 제공하며 실시간 성능을 보장합니다.

분산된 근무 환경을 지원하기 위해 사용하는 도구 역시 진화하고 있습니다. 여기서도 엣지 프로세싱이 필요한 플랫폼을 제공하는 역할을 점점 더 많이 수행하고 있습니다.

에이전틱 AI 및 저지연 협업

메트로 기반 추론은 데이터가 이동하는 거리를 줄임으로써 이러한 도구를 혁신적으로 변화시킵니다. 실시간 업데이트 및 분석이 멀리 떨어진 데이터 센터가 아닌 사용자 근처에서 이루어져 분산된 팀 간의 원활한 상호작용을 구현합니다.

의료, 건설, 물류 등의 산업 부문에서는 이미 에이전틱 AI를 통해 획기적인 성과를 거두고 있습니다. 현장 엔지니어는 AI 기반 앱을 통해 즉각적인 진단 피드백을 받아 연결성이 제한된 상황에서도 신속하고 현명한 의사 결정을 내릴 수 있습니다. 현지에서 데이터를 처리함으로써 기업은 도구를 원활하게 작동시키고 생산성을 저해할 수 있는 가동 중단을 방지할 수 있습니다.

에이전틱 AI는 복잡한 워크로드를 처리하도록 설계된 특화 인프라에서 최상의 성능을 발휘합니다.

에이전틱 AI와 추론 워크로드에 따른 데이터 센터 요구 사항의 진화

AI가 중요한 변곡점에 도달함에 따라 그래픽 처리 장치(GPU) 추론을 안정적으로 실행하는 데 필요한 전력 밀도 증가와 냉각 요구 사항, 그리고 연결성을 지원할 수 있는 디지털 인프라의 중요성에 대한 인식이 점차 확산되고 있습니다.

AI를 위한 설비를 갖추지 못한 데이터 센터는 다음과 같은 공통적인 한계를 안고 있습니다.

랙당 전력 용량이 5~10kW 수준에 불과합니다
냉각 방식이 주로 공랭식이며, GPU에서 발생하는 고발열을 처리하도록 설계되지 않았습니다
전력 분배는 고밀도 클러스터에 맞게 구축되지 않았습니다.
네트워크 구조가 프로덕션 지원 AI에 맞게 설계되지 않았습니다
이들은 전력과 토지 비용이 더 저렴할 수 있지만, 지연 시간이 우선적으로 고려되는 요소가 아닌 곳에 위치합니다.

메트로 기반 데이터 센터: 성능 강화

확장 가능한 환경에서 저지연을 구현하기 위해 기업은 메트로 기반 데이터 센터 즉, 최종 사용자와 더 가까운 위치에서 정보를 처리하는 분산형 시설을 찾고 있습니다. 이를 통해 데이터 이동 거리가 단축되고 서비스형 소프트웨어(SaaS) 플랫폼, 분석 도구, 화상 회의 시스템의 성능이 크게 향상됩니다.

메트로 기반 데이터 센터는 연결성이 다소 취약한 지역에서도 지능형 애플리케이션이 원활하게 작동하도록 합니다. 현지에서 정보를 처리 및 필터링하여 필수 업데이트만 클라우드로 다시 전송합니다. 이를 통해 속도를 향상하고 안정성을 강화할 수 있습니다.

주요 클라우드 공급업체는 이 모델에 막대한 투자를 하고 있습니다. 이제 AWS(Outposts 및 Wavelength 지원)와 Microsoft(Azure Edge Zones 및 Azure Stack을 통해)를 통해 조직은 클라우드 기능을 엣지로 확장할 수 있습니다. 이러한 하이브리드 인프라는 클라우드 시스템의 확장성과 현지 컴퓨팅의 응답성을 결합하여 전 세계 어디에서나 모든 규모의 기업이 효율적으로 운영될 수 있도록 지원합니다.

Digital Realty는 필요한 곳에 AI 워크로드를 배치할 수 있도록 확장성, 도달 범위 및 용량을 제공합니다. 전략적으로 위치한 300개 이상의 당사 데이터 센터는 55개 이상의 대도시에 걸쳐 있어, 사용자와 워크플로에 근접한 위치에서 추론 작업을 수행할 수 있는 독보적인 기회를 제공합니다.

하지만 고성능 인프라가 주도하는 이 새로운 환경에는 중요한 고려 사항이 하나 있습니다. 바로 '연결성'입니다.

연결성 계층

엣지 컴퓨팅 환경에서도 모든 시스템의 동기화를 유지하기 위해서는 여전히 강력한 연결성이 필수적입니다. 정확성과 실시간 인사이트를 확보하려면 데이터가 엣지 노드, 데이터 센터, 클라우드 간에 원활하게 이동해야 합니다.

메트로 기반 데이터 센터는 독립적으로 운영되지 않습니다. 진정한 효율성을 위해 각 데이터 센터는 고속 광섬유 및 동적 연결을 통해 여러 엔드포인트와 연결된 분산 네트워크, 즉 Connected Data Communities™(커넥티드 데이터 커뮤니티™)의 일부로서 기능해야 합니다.

이러한 상호 연결 을 통해 여러 사이트에 걸쳐 워크로드를 동적으로 분산하고 복제하여 하나의 노드에서 가동 중단이 발생하더라도 데이터의 동기화 상태와 가용성을 유지할 수 있습니다. 또한 이러한 메트로 데이터 센터는 컴퓨팅 리소스를 공유하고 전 세계적으로 일관된 성능을 유지할 수 있도록 지원합니다. 결과적으로 기업은 단일 시설에 의존하는 것이 아니라 엣지 노드가 촘촘하게 연결된 망(mesh)을 활용하게 됩니다. 이는 클라우드의 복원력과 확장성을 유지하면서 현지 처리의 이점을 제공하도록 설계된 유기적인 네트워크입니다.

광섬유 네트워크는 이러한 연결성의 기반을 제공합니다. 광섬유 네트워크의 속도와 안정성은 초고속 데이터 전송을 가능하게 하여 자율 시스템부터 실시간 분석에 이르기까지 모든 것을 지원합니다.

지속적인 동기화는 AI 모델의 최신 상태 유지를 보장하며, 이는 정확한 데이터에 기반한 의사 결정이 필요한 의료 및 금융과 같은 산업 부문에 필수적입니다. 네트워크 중복 또한 중요합니다. 여러 연결을 통해 하나의 링크에 장애가 발생하더라도 가동 중단을 방지하여 하이브리드 팀의 연결과 생산성을 유지할 수 있습니다.

마지막으로 보안과 속도는 떼려야 뗄 수 없는 관계입니다. 저지연 네트워크는 협업 속도를 저하시키지 않으면서 데이터를 보호하는 암호화 및 고급 프로토콜을 통해 보안 또한 확보해야 합니다. 이는 실시간 화상 통화, 원격 교육, 가상 진단과 같이 즉각적인 대응과 기밀성이 모두 중요한 애플리케이션에 필수적입니다.

메트로 기반 추론을 통한 생산성 향상

에이전틱 AI는 속도와 확장성의 이점을 제공하며 현대 디지털 인력의 핵심 요소로 자리 잡고 있습니다. 이는 단순한 기술 업그레이드 그 이상을 의미하며, 전례 없는 생산성과 효율성을 가능하게 하는 새로운 업무 수행 방식입니다.

미래에도 사용 가능한 디지털 인력을 구축하고자 하는 IT 리더는 이를 지원하는 AI 기반을 최우선으로 고려해야 합니다.

데이터가 생성되는 곳에 AI를 더 가까이 배치함으로써 기업은 성능 저하 없이 지연을 줄이고 비용을 절감하며 개인정보를 보호할 수 있습니다.

이는 중앙 집중식 제어에서 벗어나 글로벌 AI 인텔리전스를 공유하는 방향으로의 전환이며, 원격 근무, 실시간 의사 결정 및 협업을 지원합니다. 간단히 말해 에이전틱 AI는 더욱 민첩하고 연결되어 있으며 생산적인 미래 업무 환경을 위한 토대를 마련하고 있습니다.

Digital Realty, AI 기반 구축

에이전틱 AI와 추론에는 전략적인 워크로드 배치가 필요합니다. 전 세계적으로 연결된 300개 이상의 Digital Realty 데이터 센터 는 많은 기업이 AI 비즈니스 성과를 달성하는 데 필요한 전략적 대도시 지역에 있습니다. 연결된 캠퍼스는 AI, 고성능 컴퓨팅(HPC), 고급 데이터 분석과 같은 저지연, 전력 집약적 워크로드를 지원하도록 설계되었습니다.

당사의 글로벌 데이터 센터 플랫폼인 PlatformDIGITAL®은 고집적 워크로드 지원을 돕기 위한 표준화된 HPC 지원 인프라 구성을 제공합니다.

지금 바로 Digital Realty와 협력 하여 신속한 AI 배포 및 확장에 필요한 인프라를 구축하세요.

¹IDC, IDC Market Glance: 에이전틱 AI 생태계, 2026년 2분기, 2026년 6월

Oracle Cloud Infrastructure FastConnect