"AI 도입, 기술만큼 신뢰·안전도 중요"…기업이 갖춰야 할 조건은?

카테고리

트렌드

서브카테고리

인공지능

대상자

• 기업의 AI 도입 담당자, 기술 리더, 안전/보안 담당자
• 중간~고급 수준의 이해가 필요 (구체적 사례와 전략 제시)

핵심 요약

• 신뢰성 평가 체계 (자동평가, 휴먼 평가, LLM 기반 평가)와 레드팀 검증이 생성형 AI 도입의 핵심이다.
• 데이터 흐름 추적과 운영 통제는 AI 시스템의 전체 리스크를 관리하는 데 필수적이다.
• 어슈어드 인텔리전스(안티 디보이스, 온디바이스 LLM, 양자암호 기반 보안)는 AI의 신뢰성과 안전성을 확보하는 실무적 전략이다.

섹션별 세부 요약

1. 생성형 AI 도입 시 핵심 과제: 신뢰성과 안전성 평가 체계 구축

• 기술력보다 기준 마련과 반복 검증이 우선이다.
• 자동평가는 빠르고 효율적, LLM 평가는 반복 작업 대체에 유용하다.
• 레드팀 검증을 통해 위장된 질문으로 잠재적 위험 발화를 사전 탐지해야 한다.

2. 기업별 맞춤형 평가 기준과 데이터셋 구축

• 셀렉트스타는 DATUMO eval 자동화 솔루션을 통해 기업별 LLM을 체계적으로 검증하고 있다.
• 정확성, 정책 적합성, 유해성 등 사전에 마련된 기준에 따라 모델의 응답 수준을 평가해야 한다.

3. 조직 구조와 거버넌스 체계 정비의 중요성

• 원티드랩은 에이전트 통계, 요금 통제, 사용 이력 관리 등 통제 기능을 자체 플랫폼에 구축했다.
• 민감정보 대응과 내부 사용 통제가 핵심 기능으로 작동 중이다.
• AI 전담조직은 사용자 접근 권한, 구조적 통제를 뒷받침하는 역할을 수행해야 한다.

4. AI 안전성 확보를 위한 기술적 전략: 어슈어드 인텔리전스

• LG유플러스는 안티 디보이스, 온디바이스 LLM, 양자암호 통신 보안을 핵심 전략으로 제시했다.
• 익시오(XiO)는 개인정보 처리 없이 AI 기능을 수행하고, 위험한 생성물(텍스트, URL)을 사전 차단하는 기능을 개발 중이다.

결론

• 신뢰성 검증 체계와 레드팀 검증, 데이터 흐름 추적을 통해 AI 도입 전후의 리스크를 관리해야 하며, 어슈어드 인텔리전스와 같은 기술적 전략은 안전성 확보의 핵심이다.