검색어에 숨겨진 의도를 더 정확하게, 검색을 바꾸는 AI 실험들

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

AI 엔지니어, 검색 시스템 개발자, 자연어 처리(NLP) 연구자

핵심 요약

• LLM을 활용한 검색 시스템의 의도 이해 기능 도입
• 프롬프트 최적화를 통한 검색어 의도 분류 정확도 향상
• QU/DU 구조로 검색어와 업체 정보의 의미 단위 연결 구현

섹션별 세부 요약

###1. Hy의 LLM 기반 검색 실험

• 기존 검색 시스템의 키워드 기반 결과 정렬 방식을 LLM 후처리 모델로 재구성
• 10분만에 데모 구현으로 검색어 의도에 맞는 결과 재구성이 가능
• 예: '신논현 맛집을 업체 위주로 보여줘' 입력 시, 업체 정보만 필터링

###2. Rose의 프롬프트 고도화

• 1,500개 검색어의 정성 평가를 기반으로 프롬프트 조건 8개 추가
• 일반어 조합, 문맥 기반 분류, 축약어 처리 등 정교한 의도 분류 기준 반영
• 복잡한 코딩 없이 프롬프트 개선으로 의도 분류 정확도 향상

###3. August의 QU/DU 구조 설계

• QU(Query Understanding): Rose의 프롬프트로 의도 분류, 사전 처리 방식으로 실시간 성능 개선
• DU(Document Understanding): 비정형 정보에서 구조화된 카테고리 추출, 데이터 추출 자동화
• LLM 기반 QU/DU 도입 후 검색 커버리지 95% 이상 달성

결론

• 의도 기반 검색 시스템 구현을 위해 LLM, 프롬프트 최적화, QU/DU 구조의 복합적 적용이 핵심
• LLM은 검색에서 '의도 연결' 중심으로 활용 가능하며, 성능 개선과 사용자 경험 향상에 기여
• QU/DU 구조 도입으로 검색 품질 기준이 '이해력'으로 확장됨