Cloudflare, ARM64 Go 컴파일러의 치명적인 경쟁 조건 버그 발견 및 패치 사례 분석

핵심 기술: Cloudflare는 ARM64 플랫폼의 Go 컴파일러에서 발생한 드문 경쟁 조건(레이스 컨디션) 버그를 대규모 트래픽 환경에서 발견하고 분석한 사례를 공유합니다. 이 버그는 Go 런타임의 비동기 선점(preemption)과 컴파일러가 생성한 스택 포인터 조정 어셈블리 명령어 사이의 상호작용으로 인해 발생하며, 스택 언와인딩 중 치명적인 패닉이나 메모리 접근 오류를 유발했습니다.

기술적 세부사항:
* 버그 증상: ARM64 플랫폼에서 Go 컴파일러가 생성한 코드에서 발생하는 드문 경쟁 조건으로, 스택 언와인딩 과정에서 서비스 패닉 또는 메모리 접근 오류 발생.
* 버그 원인: Go 런타임의 비동기 preemption과 컴파일러가 생성한 두 개의 스택 포인터 조정 어셈블리 명령어 사이의 타이밍 문제.
* 원인 분석: 최소 재현 코드를 통해 Go 런타임 자체 문제임을 입증, 스택 포인터가 불완전하게 변경되는 한 명령어 크기의 경쟁 상태 존재.
* 발현 환경: Cloudflare의 대규모 트래픽 환경(매초 8,400만 건의 HTTP 요청 처리)에서 희귀 버그가 자주 노출.
* Go 런타임 구조: M:N 스케줄링, g(고루틴), m(머신/커널 스레드), p(프로세서) 기반.
* 크래시 발생 지점: 스택 언와인딩 과정 ((*unwinder).next 함수)에서 발생했으며, return address가 null이거나 Go 스케줄러 구조체 필드 접근 시 세그멘테이션 오류 발생.
* 비동기 Preemption: Go 1.14부터 도입, 장시간 실행 고루틴에 SIGURG 시그널을 보내 강제 스케줄링 포인트를 생성.
* ARM64 특성: 고정 길이 명령어 및 즉시값 제한으로 스택 포인터 조정에 두 개 이상의 명령어가 필요할 수 있으며, 이로 인해 단일 명령어 윈도우가 발생.
* 패치 방식: 임시 레지스터에 전체 오프셋 계산 후 단일 명령어로 스택 포인터 변경하여 preemption 취약성 제거 (go1.23.12, go1.24.6, go1.25.0 버전).

개발 임팩트:
* 대규모 트래픽 환경에서만 발현되는 매우 희귀한 인스트럭션 레벨 경쟁 조건의 효과적인 추적 및 해결 사례.
* ARM64 아키텍처의 저수준 동작과 Go 런타임, 컴파일러의 상호작용에 대한 깊이 있는 이해 제공.
* 최신 Go 버전으로의 업그레이드가 ARM64 기반 서비스 운영에 중요함을 시사.

커뮤니티 반응:
* 발견 자체에 대한 놀라움과 해당 버그가 어셈블리 수준까지 파고들어 분석된 점에 대한 찬사.
* ARM 어셈블리 및 Go 컴파일러의 동작 방식에 대한 논의.
* Java, .NET 등 다른 런타임의 safepoint 메커니즘과 비교.
* 패치 방식(임시 레지스터 사용)의 적절성에 대한 공감.
* 이슈 추적 및 Go 팀의 빠른 대응에 대한 언급.
* Cloudflare의 엔지니어링 문화와 기술적 깊이에 대한 신뢰.