일반 데이터센터와 다른 점은 계산 밀도입니다.

웹사이트와 업무 시스템도 데이터센터에서 돌아가지만 대규모 AI 학습과 추론은 병렬 계산을 집중적으로 수행합니다. 한 랙에 들어가는 가속기와 네트워크, 전력 밀도가 높아지면서 설비 설계가 더 까다로워집니다.

GPU 옆에는 HBM, CPU 옆에는 DDR5가 있습니다.

GPU는 대량의 행렬 계산을 맡고 HBM은 계산에 필요한 데이터를 높은 대역폭으로 공급합니다. CPU와 DDR5는 운영체제, 전처리, 서비스 제어를 담당합니다. SSD와 스토리지는 학습 데이터와 모델 파일을 보관합니다.

서버 사이 네트워크도 성능의 일부입니다.

큰 모델은 한 GPU나 한 서버에만 담기 어렵습니다. 여러 가속기가 계산 결과를 자주 주고받기 때문에 서버 내부 연결과 데이터센터 네트워크가 느리면 비싼 GPU가 데이터를 기다리는 시간이 늘어납니다.

전력 공급은 건물 밖 계통까지 이어지는 문제입니다.

IEA는 데이터센터가 2024년 전 세계 전력 소비의 약 1.5%를 차지했고 2030년에는 소비량이 두 배 이상 늘어날 것으로 전망합니다. AI 수요가 중요한 증가 요인이지만 지역과 시설에 따라 전력 영향은 크게 다릅니다.

냉각은 부가설비가 아니라 연산을 유지하는 장치입니다.

전기를 쓴 칩은 대부분 열을 냅니다. 랙 밀도가 높아지면 공랭만으로 열을 빼기 어려운 구간이 생겨 직접 수랭과 냉각수 분배 장치가 함께 등장합니다. 냉각이 부족하면 성능을 낮추거나 장비 수명과 안정성에 영향을 줄 수 있습니다.

AI 팩토리는 기술 용어이면서 사업 용어입니다.

NVIDIA는 에너지, 칩, 인프라, 모델, 애플리케이션을 묶어 토큰을 생산하는 시설을 AI 팩토리라고 설명합니다. 모든 AI 데이터센터에 법적으로 정해진 별도 분류가 생긴 것은 아니므로 기사에서 누가 어떤 의미로 쓰는지 확인해야 합니다.