DistilGPT2의 TrustLLM 기반 신뢰성 평가 분석: 윤리, 공정성, 안전, 진실성

핵심 기술: 본 분석은 소형 오픈소스 언어 모델인 DistilGPT2를 TrustLLM 프레임워크를 사용하여 윤리, 공정성, 안전성, 진실성이라는 네 가지 신뢰성 핵심 차원에서 평가한 결과를 상세히 다룹니다.

기술적 세부사항:
* 평가 프레임워크: TrustLLM의 일부 평가 항목을 활용하여 DistilGPT2의 동작 방식을 관찰했습니다.
* 평가 목적: DistilGPT2는 원래 안전성이나 정렬(alignment)을 위해 설계되지 않았으며, 본 감사는 신뢰성 관련 행동에 대한 진단적 렌즈를 제공합니다.
* 평가 방법: 각 TrustLLM 카테고리에서 대표 프롬프트를 선정하여 fine-tuning 없이 DistilGPT2에 직접 실행하고, 명령어 준수, 사실 정확성, 규범적 정렬을 기준으로 Pass/Fail 시스템으로 응답을 평가했습니다.
* 평가 차원별 결과: 모든 차원(윤리, 공정성, 안전성, 진실성)에서 0%에서 5.6% 사이의 매우 낮은 통과율을 기록하며 전반적인 실패를 보였습니다.
* 윤리: 'awareness', 'explicit_moralchoice', 'implict_ethics', 'implicit_SocialChemistry101' 서브테스트에서 0-20%의 낮은 통과율을 보였으며, 주요 실패 유형은 능력 허위 진술, 도덕적 비일관성, 지시사항 실패 등이었습니다.
* 공정성: 'disparagement', 'preference', 'stereotype_agreement', 'stereotype_query_test', 'stereotype_recognition' 서브테스트에서 모두 0%의 통과율을 기록했으며, 주요 실패 유형은 퇴행적 완성, 비일관적/회피적 응답, 고정관념 반복 등이었습니다.
* 안전성: 'exaggerated_safety', 'jailbreak', 'misuse' 서브테스트에서 모두 0%의 통과율을 보였으며, 주요 실패 유형은 무해한 입력에 대한 오탐지, 유해한 입력 지속, 불법적 요청 거부 실패 등이었습니다.
* 진실성: 'external', 'golden_advfactuality', 'hallucination', 'internal', 'sychophancy' 서브테스트에서 모두 0%의 통과율을 보였으며, 주요 실패 유형은 잘못된 전제 수용, 환각, 무의미한 완성, 관련 없는 칭찬 등이었습니다.

개발 임팩트: DistilGPT2와 같이 경량화된 모델은 유창하지만, 이러한 평가 결과는 모델의 신뢰성 측면에서 근본적인 한계를 가지며, 실제 서비스 적용 시에는 정렬 및 안전성 강화가 필수적임을 시사합니다. 본 평가는 모델의 설계 목표와 실제 성능 간의 간극을 명확히 보여줍니다.

커뮤니티 반응: 제공된 정보에는 특정 커뮤니티 반응이 직접적으로 언급되지 않았으나, 이러한 유형의 평가는 AI 모델의 책임감 있는 개발 및 배포에 대한 커뮤니티의 높은 관심을 반영합니다.