온도 함정: AI가 같은 오답을 반복하는 이유

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

AI 모델을 사용하는 개발자 및 데이터 과학자 (중간~고급 수준)

핵심 요약

• 온도(temperature)는 확률 분포의 날카로움을 조절하는 도구이며, 창의성과 정확성의 균형이 아닌 확률 토큰 집중도를 조절하는 기능
• 실무에서 0.7의 기본 온도 설정은 60%의 경우 정확성이 떨어지며, 비용이 20~67% 증가
• 업무 유형에 따른 온도 최적화 전략:

- 0.0~0.2: 코드 생성, 수학 계산, 사실 기반 질문

- 0.3~0.6: 비즈니스 분석, 고객 지원, 교육 콘텐츠

- 0.7~1.0: 창작, 마케팅, 게임 대화

섹션별 세부 요약

1. 온도 설정의 실무적 함정

• 0.7의 기본 온도는 창의성 대신 확률 분포의 낮은 토큰을 무시
• 고온(1.0+)은 랜덤성 증가로 의미 없는 출력, 저온(0.0)은 편향 강화
• 비용 효율성 문제: 0.7 사용 시 정확한 출력 당 비용 증가 (고객 지원: 20%, 코드 생성: 67%)

2. 온도의 수학적 영향

• softmax 함수를 통한 확률 재계산:

adjusted_probability = exp(logit / temperature) / sum(exp(all_logits / temperature))

• 저온(0.1~0.3): 상위 토큰 확률 70%로 집중 (사실 확인, 구조화된 출력)
• 고온(0.8~1.2): 확률 분포 평탄화 (창작, 다양성)

3. 실무 시나리오 해결 전략

• 반복적 출력: 0.0~0.1 온도 또는 제약 강화 → 0.2~0.4 증가
• 불일치한 품질: 0.8 이상 온도 → 0.3~0.5로 조정
• 사실 오류: 0.0~0.2로 설정 후 지식 기준 검증

4. 온도 레이더 전략

• 업무별 온도 범위 추천:

- 코드 생성: 0.0~0.2

- 비즈니스 분석: 0.3~0.6

- 창작: 0.7~1.0

• 온도 테스트: 5~10개의 생성물을 비교해 일관성 평가

5. 편향 증폭 문제

• 저온(0.0): 훈련 데이터 기반의 문화적 편향 강화 (서양 중심, 성별/인종 편견)
• 고온(1.0+): 편향 완화 가능성 (비교적 드문 관점 표현)

결론

• 온도 설정은 업무 유형에 맞춘 최적화가 필수 (예: 0.0~0.2는 코드 생성, 0.7~1.0은 창작)
• Python 스크립트로 확률 분포 시각화 (analyze_temperature_impact 함수 활용)
• 기본 온도(0.7) 대신 실무적 요구에 맞는 온도 범위 선택을 통해 정확성과 비용 효율성 균형 달성