Azure AI Foundry Agents: 추적(Tracing)을 통한 의사 결정 분석 및 디버깅 심층 분석

핵심 기술

이 콘텐츠는 Azure AI Foundry Agents의 복잡한 워크플로우에서 에이전트의 의사 결정 과정을 추적(Tracing)하고 디버깅하는 방법을 OpenTelemetry 및 Application Insights와 통합하여 설명합니다. 에이전트의 실행 흐름, 도구 호출, 입출력 데이터를 상세히 파악하여 AI 품질 및 위험 관리 개선에 기여합니다.

기술적 세부사항

• Azure AI Foundry 플레이그라운드에서의 기본 추적:
  • "Thread info"를 통해 에이전트 실행의 스텝, 도구 호출, 입력 및 출력 데이터 확인 가능.
  • 메타데이터를 통해 LLM 토큰 사용량 등 정보 접근.
  • 평가자(Evaluators) 정보를 통해 에이전트 성능 평가 결과 확인.
• OpenTelemetry 및 Application Insights 통합:
  • Azure AI Foundry 포털의 "Observability" 메뉴에서 Application Insights 리소스 연결.
  • Bicep 코드를 통해 Azure AI Foundry Hub 리소스에 Application Insights 리소스 ID 지정.
• Pro-code 에이전트에서의 Tracing 구현:
  • 필요 패키지 설치: opentelemetry-sdk, azure-core-tracing-opentelemetry, opentelemetry-exporter-otlp.
  • requirements.txt에 관련 패키지 명시: azure-ai-projects, azure-identity, dotenv, azure-monitor-opentelemetry 등.
  • Python 에이전트 코드에서 opentelemetry 및 azure.monitor.opentelemetry 라이브러리 활용.
  • configure_azure_monitor 함수로 Application Insights 연결 문자열 설정.
  • trace_function 데코레이터를 활용하여 함수의 실행 추적.
  • trace.get_current_span() 및 span.set_attribute()을 사용하여 사용자 정의 속성 추가.
• 샘플 코드 분석:
  • 날씨 정보를 가져오는 간단한 fetch_weather 함수 예시.
  • AgentsClient 초기화 및 도구(Tool) 설정.
  • 에이전트, 스레드, 메시지 생성 및 실행 처리.
  • 실행 결과를 확인하고 에이전트 삭제하는 과정 포함.

개발 임팩트

• 에이전트의 복잡한 의사결정 과정을 투명하게 시각화하여 디버깅 효율성 증대.
• AI 품질 및 위험/안전성 지표를 실시간으로 모니터링하여 에이전트 성능 최적화.
• OpenTelemetry 표준을 통한 확장성 및 다른 시스템과의 연동 용이성 확보.
• 결과적으로 더욱 안정적이고 신뢰할 수 있는 AI 에이전트 개발 및 운영 지원.

커뮤니티 반응

해당 콘텐츠는 주로 Azure AI Foundry의 기능 및 OpenTelemetry 통합에 대한 기술적인 설명과 예시를 제공하므로, 특정 커뮤니티 반응에 대한 언급은 없습니다.