GitHub Copilot Agent, GPT-4o와 Claude 3.7 Sonnet 비교 사용 후기: 실무 적용 가능성 평가

핵심 기술: GitHub Copilot Agent의 GPT-4o, GPT-4.1, Claude 3.7 Sonnet 모델을 ASP.NET Core 8 프로젝트(123,000 SLOC)에 적용하여 코드 리뷰 및 코드 생성 성능을 비교 평가했습니다.

기술적 세부사항:
* 코드 리뷰:
* GPT-4o 및 GPT-4.1은 일반적이고 피상적인 코드 개선 제안(매직 넘버, 파라미터 과다 등)을 제시했으며, 프로젝트의 복잡성이나 숨겨진 '더티 코드'를 파악하는 데는 실패했습니다.
* 응답 재현성 문제가 있었으며, 명확한 지시에도 불구하고 파일 읽기 범위가 일관되지 않았습니다. (예: 재실행 시 파일 읽기 범위 축소, 파일 다시 읽기를 위해 VS 재시작 필요)
* Claude 3.7 Sonnet은 개발자의 주석에 대한 심리적 프로파일링과 같은 부적절한 피드백을 제공했습니다. 또한, 프로젝트 요구사항(레거시 인터페이스 유지)과 충돌하는 제안을 하기도 했습니다.
* 일부 유용한 제안(가변 속성 식별)도 있었으나, 전반적으로 깊이 있는 분석 능력은 부족했습니다.
* 코드 생성:
* GPT-4o는 유사한 기능의 C# 템플릿 코드를 기반으로 DB 접근 메소드(Contracts_ContractsForAccountListDT)를 성공적으로 생성했습니다.
* 생성된 코드는 올바른 DTO 및 테이블 명칭(독일어 기반)을 파악하고, DB First 모델에 맞는 LINQ/EF 쿼리를 포함했으며, 프로젝트 특성을 반영한 로직까지 추론하여 삽입하는 등 높은 품질을 보였습니다.
* 생성된 코드에 미사용 불리언 플래그가 남는 등의 사소한 문제가 있었으나, 전반적으로 '환각(hallucination)' 없이 컴파일되는 코드를 생성했습니다.
* GPT-4.1은 프롬프트 토큰 수 제한 초과 오류(model_max_prompt_tokens_exceeded)로 인해 실패했습니다.
* Claude 3.7 Sonnet은 느린 응답 속도와 함께 파일 로딩 중 오류가 발생하거나 계획 수립 후 수동 입력으로 진행되는 등 불안정한 모습을 보였습니다.

개발 임팩트:
* AI 코드 어시스턴트의 성능이 향상되었음을 보여주지만, 복잡하고 대규모 프로젝트에서의 심층적인 코드 분석이나 의도 파악에는 여전히 한계가 있습니다.
* 코드 생성 측면에서는 생산성 향상 가능성이 높으나, 생성된 코드에 대한 개발자의 철저한 검증은 필수적입니다.
* 다양한 LLM 모델의 특성과 장단점을 이해하고 프로젝트에 맞는 도구를 선택하는 것이 중요합니다.

커뮤니티 반응: (원문에서 커뮤니티 반응은 직접적으로 언급되지 않았습니다.)