Google AI Overview의 허위 정보 생성 사례: Benn Jordan 사건과 생성형 AI의 신뢰성 문제

핵심 기술

Google AI Overview가 생성형 AI의 '환각(hallucination)' 현상으로 인해 사실과 다른 정교한 거짓 정보를 만들어낸 사례를 통해, AI 서비스의 신뢰성, 검증 절차의 중요성, 그리고 AI가 개인 및 사회적 여론에 미치는 영향에 대한 심각한 우려를 제기합니다.

기술적 세부사항

• AI 환각 현상 발생: Google AI Overview가 사용자의 이름으로 사실이 아닌, 구체적이고 거짓된 이야기를 생성하여 배포했습니다.
• 실제 사례: Benn Jordan 사용자가 자신의 실제 입장(팔레스타인 지지, 집단학살 반대)과 상반되는 내용이 AI에 의해 생성되어 SNS에서 입장 표명을 요구받는 상황을 겪었습니다.
• 정보 출처 혼동: "benn jordan isreal" 검색 시, 전혀 다른 크리에이터의 영상(Ryan McBeth)이 "benn" 대신 "jordan"이라는 나라 언급만으로 연관되어 잘못된 정보를 생성했습니다. 특히 Ryan McBeth의 영상이 유튜브 검색 결과 상위에 노출된 것이 원인으로 추정됩니다.
• AI 모델의 작동 방식: AI는 검색 결과를 요약하는 과정에서, "Israel"과 "Jordan"이 함께 언급된 영상을 끌어와 맥락을 무시하고 반대 입장의 내용을 제공했습니다.
• UI의 한계: AI 답변이 검색 결과들을 요약하는 과정에서 발생한 오류를 사용자가 UI 상에서 어디서 틀렸는지 알아내기 어렵습니다. 여러 사이트의 스니펫을 집계 후 요약하는 방식의 문제점을 시사합니다.
• 데이터 학습 및 저작권: LLM 훈련을 위해 저작권이 있는 콘텐츠를 대량 수집하는 것이 변형적 저작물로 정당화되는 논리에 대한 의문이 제기되었으며, 이로 인한 기업의 책임 소재가 논의되었습니다.
• AI Overview의 정확성 문제:
  • 잘 아는 주제에 대한 AI 요약에서 치명적인 오류가 자주 발견됩니다 (경험상 5개 중 1개 정도).
  • 정적이고 잘 정리된 콘텐츠(Wikipedia, 블로그)에서는 정확도가 높으나, 동적인 정보(SNS)에서는 잘못된 결과를 생성하기 쉽습니다.
  • AI Overview가 다른 LLM(Claude, Grok, ChatGPT)의 웹 검색 기능 대비 경쟁력이 없으며, 정보 탐색 독점 위협으로 인해 억지로 추가된 기능이라는 비판이 있습니다.
  • AI Overview의 정확도가 향상되면서 오히려 더 큰 문제가 발생하는데, 그럴듯한 허위 정보에 대한 의존성이 높아진다는 점입니다.
• AI 답변의 '그럴듯함': AI 요약은 전문적인 팟캐스트나 에세이스트처럼 외형과 자신감이 번지르르하여 사실처럼 느껴지지만, 해당 분야 전문가가 보면 오류가 많다는 점을 지적합니다. 이러한 '과신'이 일반인에게 '정확성 신호'로 작용하여 심각한 오해를 유발합니다.
• Google의 책임: 명예훼손적인 내용을 직접 생성하고 배포하는 주체로서 Google의 책임이 강조되었습니다. 6pt(실제로는 9pt)의 작은 글씨로 "AI 답변에는 오류가 포함될 수 있습니다"라는 안내 문구가 있더라도, 개인의 평판에 치명적인 영향을 미치는 허위 정보를 제공하는 것에 대한 면책 사유가 될 수 없다는 의견이 지배적입니다.
• 비용 대비 성능: Google이 AI 요약을 위해 비용 절감을 위해 저성능 모델을 사용할 가능성이 제기되었으며, 이는 광고 클릭률 감소와 맞물려 잘못된 결정일 수 있다는 분석이 나왔습니다.

개발 임팩트

• 생성형 AI의 신뢰성 문제에 대한 사회적 경각심을 다시 일깨우는 계기가 되었습니다.
• AI 서비스 운영에 있어 엄격한 검증 절차와 윤리적 가이드라인 수립의 중요성을 강조합니다.
• AI가 생성하는 정보의 출처, 맥락, 그리고 정확성에 대한 비판적 사고와 검증 능력의 필요성을 역설합니다.
• AI의 잠재적 오남용으로 인한 개인의 명예 훼손 및 사회적 혼란을 예방하기 위한 법적, 제도적 장치 마련의 필요성을 시사합니다.

커뮤니티 반응

• AI 환각 현상이 삶에 미치는 영향에 대한 두려움과, 대중이 AI 작동 방식을 제대로 이해하지 못할 경우 발생할 수 있는 문제에 대한 우려가 표출되었습니다.
• GitHub 이슈, 이메일 등에 AI 답변을 그대로 복사하여 사용하는 사례가 많으며, AI 결과를 무비판적으로 신뢰하는 경향이 증가하고 있음을 지적했습니다.
• Google 검색 결과 맨 위에 뜨는 '요약'의 치명적인 오류 빈도와, 사용자가 이를 그대로 믿을 수 있다는 점에 대한 비판이 있었습니다.
• AI 모델 학습에 사용되는 저작권 콘텐츠의 정당성 및 기업의 책임에 대한 논의가 활발했습니다.
• AI가 생성하는 허위 정보로 인해 개인의 평판이나 사회적 압박이 가해지는 상황에 대한 비판과 함께, Google의 명예훼손 책임 소재에 대한 논쟁이 있었습니다.
• AI 답변 오류에 대한 Google의 면책 안내 문구의 유효성 및 실효성에 대한 회의적인 시각이 존재했습니다.
• AI 오염 정화에 대한 동의와 함께, 소송 중심 사회에 대한 반대 의견도 제시되었습니다.
• AI 환각을 불법화하는 것이 LLM 자체를 불법화할 수 있다는 기술적 관점에서의 반론과 함께, 허위 정보 신고 및 필터 기능 의무화와 같은 대안적 해결책이 논의되었습니다.
• AI 요약 서비스가 광고 클릭률을 떨어뜨리면서도 비용 절감을 위해 저성능 모델을 사용하는 Google의 의사결정에 대한 비판적인 시각이 존재했습니다.