C 언어 pthread와 Mutex를 활용한 병렬 웹 프록시 서버 구현 및 캐싱 전략

핵심 기술

이 글은 C 언어의 pthread 라이브러리를 활용하여 웹 요청을 병렬적으로 처리하는 멀티스레드 웹 프록시 서버를 구현하는 과정을 상세히 다룹니다. 특히, 스레드 안전한 캐싱 메커니즘을 위해 pthread_mutex를 도입한 전략이 핵심입니다.

기술적 세부사항

• 병렬 처리 및 스레드 이해: 프로세스와 스레드의 개념을 명확히 구분하고, 웹 서버의 동시 접속 처리에 있어 스레드의 이점(속도, 메모리 절약)을 설명합니다.
• pthread 라이브러리: pthread_create를 이용한 스레드 생성 및 pthread_detach를 통한 스레드 자원 관리를 보여줍니다. pthread_join과의 차이점 및 pthread_detach 사용 이유를 명시합니다.
• 웹 프록시 서버 구현: doit 함수 내에서 클라이언트 요청을 처리하고, 백엔드 서버와의 통신, 헤더 조작 등을 설명합니다.
• 캐싱 메커니즘:
  • uri, object, size, LRU, is_used 필드를 포함하는 cache_block 구조체와 Cache 구조체를 정의합니다.
  • LRU (Least Recently Used) 알고리즘을 사용하여 캐시 교체 정책을 구현합니다.
  • is_used 플래그로 캐시 블록의 실제 사용 여부를 관리합니다.
  • pthread_mutex를 사용하여 캐시 자원에 대한 동시 접근을 제어합니다.
    • blocks[i].lock: 각 캐시 블록에 대한 개별 잠금으로 읽기 작업 시 사용됩니다.
    • cache->global_lock: 캐시 전체에 대한 잠금으로 쓰기(insert) 작업 시 사용되어 데이터 무결성을 보장합니다.
  • cache_read 함수: URI를 기반으로 캐시를 조회하고, 성공 시 LRU 카운트를 증가시킵니다.
  • choose_LRU_block 함수: 캐시 교체를 위해 가장 오래 사용되지 않은 블록을 선택합니다.
  • cache_write 함수: 캐시에 데이터를 저장하고, LRU 값을 초기화합니다.
• 코드 예제: thread_func, main, init_cache, cache_read, choose_LRU_block, cache_write, doit 함수의 핵심 로직을 제공합니다.

개발 임팩트

• 멀티스레딩 환경에서의 동시성 제어 및 스레드 안전성 확보에 대한 실질적인 이해를 높일 수 있습니다.
• 캐싱 전략 구현을 통해 웹 서버의 성능을 크게 향상시키는 방법을 배울 수 있습니다.
• CSAPP와 같은 시스템 프로그래밍 교재의 내용을 실제 코드로 구현해보는 경험을 통해 깊이 있는 학습이 가능합니다.

커뮤니티 반응

글쓴이는 구현에 성공한 후, 카네기 멜론 교수님으로부터 만점을 받았다고 언급합니다. 다만, proxy_lab 과제에서 mutex 사용이 금지되는 경우가 있다는 점을 지적하며, mutex 사용이 병렬 처리의 이점을 상쇄시킬 수 있다는 점에 대한 자신의 생각을 공유합니다. 이는 실무에서 동시성 제어 기법 선택의 중요성을 시사합니다.