AI는 폭주하는데, 인프라는 ‘헉헉’-아이씨엔매거진

키사이트 보고서, AI 인프라 확충의 한계 지적
단순 확장 아닌 ‘최적화’로 전략 전환 시급

인공지능(AI) 기술의 채택 속도가 인프라가 감당할 수 있는 수준을 넘어서고 있다는 경고등이 켜졌다. 글로벌 테스트 및 측정 전문기업 키사이트테크놀로지스가 시장조사기관 헤비리딩(Heavy Reading)과 공동으로 발표한 ‘AI 클러스터 네트워킹 보고서 2025’에 따르면, 이제 AI 인프라 전략은 무조건적인 ‘확장’에서 ‘최적화’로 무게 중심을 옮겨야 할 때가 왔다.

산업계 전반에 AI 활용이 폭발적으로 늘어나면서 데이터 센터 인프라에 가해지는 부담은 기하급수적으로 커지고 있다. 하지만 단순히 서버를 늘리고 용량을 키우는 것만으로는 더 이상 AI의 발전 속도를 따라잡기 어렵다는 것이 이번 보고서의 핵심 진단이다.

투자는 계속, 그러나 목표는 ‘기존 인프라’ 쥐어짜기

보고서에 따르면, AI 인프라에 대한 투자는 여전히 뜨겁다. 응답자의 약 89%는 내년에도 AI 인프라 투자를 현재 수준으로 유지하거나 더 늘릴 계획이라고 답했다. 클라우드 통합(51%), 더 빠른 GPU 도입(49%), 고속 네트워크로의 업그레이드(45%) 등이 주요 투자 동력으로 꼽혔다.

하지만 흥미로운 지점은 투자 기조와 별개로 운영자들의 속내에 있다. 전체 응답자의 62%가 새로운 자본을 투입하기보다는, 현재 보유한 기존 인프라에서 더 많은 가치를 끌어내는 것을 목표로 하고 있다고 밝힌 것이다. 이는 한정된 자원 내에서 효율성을 극대화하려는 업계의 고민이 깊어지고 있음을 보여준다. AI 인프라 확장의 주요 걸림돌로 예산 제약(59%), 인프라 용량 부족(55%), 인재 확보의 어려움(51%)이 지적된 것도 같은 맥락이다.

네트워크 병목현상, ‘AI 워크로드 에뮬레이션’으로 돌파

AI 확장의 다음 과제는 ‘네트워크 병목 현상’으로 지목됐다. 이미 응답자의 55%가 400G 인터커넥트를 구축했으며, 34%는 800G 기술 도입을, 22%는 1.6T 기술을 시험하고 있는 것으로 나타났다. 울트라 이더넷(Ultra Ethernet)과 같은 차세대 고성능 네트워킹 기술을 검토 중인 응답자도 58%에 달했다. 이는 데이터 전송 속도가 AI 클러스터의 전체 성능을 좌우하는 결정적인 요소가 되었음을 의미한다.

(출처. Beyond the Bottleneck: AI Cluster Networking Report 2025 / keysights)

이러한 문제를 해결할 핵심 열쇠로 ‘실제 AI 워크로드 에뮬레이션(모사)’이 떠오르고 있다. 응답자의 무려 95%가 현실적인 AI 워크로드를 모사하는 것이 중요하다고 답했지만, 실제 운영 규모의 복잡한 환경을 효과적으로 시뮬레이션할 도구가 부족하다는 현실적 어려움을 토로했다. AI 모델이 점점 더 고도화될수록, 실제와 같은 환경에서 인프라의 성능을 미리 검증하고 최적화하는 능력은 비용을 관리하고 잠재력을 극대화하는 데 필수적인 요소가 될 전망이다.

키사이트의 램 페리야카루판 부사장은 “AI 데이터 센터는 이제 단순한 성능이나 규모만으로는 부족하며, 운영자들은 더 깊은 인사이트와 정교한 검증, 더 스마트한 인프라 선택이 필요하다”고 강조하며, “AI 시대의 성공은 네트워크의 모든 계층을 최적화하는 데 달려있기 때문에, 키사이트는 고객이 대규모 AI 인프라를 에뮬레이션하고 검증할 수 있도록 지속적으로 지원하고 있다”고 밝혔다.