구글 데이터센터의 혁신적인 액체 냉각 시스템: 아키텍처, 기술적 과제 및 미래 전망

핵심 기술

구글은 데이터센터 전체 시설용 거대한 칠러를 이용하여 각 서버에 직접 냉각수를 순환시키는 혁신적인 액체 냉각 시스템을 도입했으며, 이는 기존의 공기 기반 냉각 방식을 거의 완전히 배제하는 접근 방식입니다.

기술적 세부사항

• 통합 칠러 시스템: 건물 내부가 아닌 시설 전체를 위한 거대한 칠러를 사용하여 냉각수를 순환시키고, 반환된 뜨거운 물은 칠러 타워에서 다시 냉각합니다.
• 공기 냉각 배제: 칠러 타워를 제외하고는 실질적으로 공기 기반 냉각이 완전히 배제되었습니다.
• 전체 시설 동시 처리: 일부 서버/랙이 아닌 데이터센터 전체를 동시에 액체 냉각으로 처리하는 방식입니다.
• 이중화 및 안정성: 칠러 유지보수나 펌프 고장 시 무중단을 위한 엄청난 수준의 이중화가 적용되었을 것으로 예상됩니다.
• HPCC 및 DLC: HPC 데이터센터에서 20년 이상 액체 냉각을 사용해왔으며, 최근 2세대 서버부터는 랙 도어 방식에서 서버 내부로 직접 냉각(DLC)이 적용되는 추세이며, 이는 인텔 하이엔드 CPU의 발열 문제 해결과도 연관이 있습니다.
• 고온 동작 온도: 서버의 고온 동작 온도 트렌드와 행 단위 냉각(per-row cooling)이 이러한 변화의 주요 원인일 수 있습니다.
• 열전달 이론: CPU에서 발생한 열을 외부로 전달하는 과정에서 단열(thermal impedance)이 중요하며, 칩에서 나오는 쿨런트 온도를 높여 효율적인 열 방출을 도모합니다.
• 직렬 vs. 병렬 연결: TPU 칩을 직렬로 연결할 때 마지막 칩의 온도 상승 및 열전달 효율 저하 가능성, 그리고 유속 계산의 중요성이 언급됩니다.
• 물 소비 관련 논쟁: AI 워크로드의 물 소비에 대한 우려와 함께, 데이터센터의 증발식 냉각 시 물 사용량 및 순환 구조에 대한 설명이 제공됩니다. 물 가격 및 외부효과 반영의 필요성이 제기됩니다.
• 폐열 활용: IBM Aquasar 슈퍼컴퓨터의 60도 온수 냉각 시스템 및 건물 온수 시스템과의 직접 연결 사례, 지역난방 플랜트의 하수 폐열 활용 사례 등이 언급됩니다.

개발 임팩트

• 냉각 효율 극대화: 액체 냉각을 통해 데이터센터의 에너지 소비를 크게 절감하고, 고밀도 컴퓨팅 환경을 구축할 수 있습니다.
• 전력 밀도 향상: ML 워크로드의 경우 물리적 근접성을 통해 인터커넥트 효율을 높여 성능 향상을 기대할 수 있습니다.
• 새로운 아키텍처 가능성: 기존 데이터센터의 한계를 극복하고, 미래의 고성능 컴퓨팅 요구사항을 충족하는 새로운 인프라 설계의 기반이 될 수 있습니다.
• 비용 절감: 냉각에 사용되는 상당한 전력 소비를 줄여 직접적인 운영 비용 절감을 가져옵니다.

커뮤니티 반응

• 구글의 이러한 변화가 값싼 일반 하드웨어 기반의 역사와 유사하게, x86 서버가 메인프레임 기능을 흡수하는 과정과 같다는 의견이 있습니다.
• 액체 냉각은 PC 매니아 및 엔터프라이즈 컴퓨팅에서 오래된 개념이지만, 데이터센터 전체 규모로 적용되는 것은 트렌드를 뒤집는 사례로 간주됩니다.
• HPC 분야에서 20년 이상 액체 냉각이 사용되었지만, 최근 서버 내부 직접 냉각(DLC) 적용이 중요해졌다는 시각이 있습니다.
• AI의 물 소비에 대한 논쟁은 피로감을 주며, 실제 데이터 기반의 논의가 필요하다는 의견이 있습니다.