질문 맞춰 최적 LLM 찾아주는 '라우팅' 챗봇 플랫폼 등장

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

인공지능

대상자

• *소프트웨어 개발자, AI 엔지니어, 챗봇 플랫폼 개발자**
• 중급~고급 수준의 AI 모델 통합 및 최적화 기술 이해 필요*

핵심 요약

• 다양한 LLM 자동 선택·조합을 통한 최적 응답 생성
• 오픈라우터(OpenRouter) 기반의 모델 통합 기술 활용
• 사용자 쿼리에 따른 '프롬프트 체계' 기반의 모델 분류 알고리즘 구현

섹션별 세부 요약

1. 플랫폼 개요

• AI 스타트업 하이퍼라이트가 개발한 '토큰 몬스터(Token Monster)' 플랫폼 공개
• 단일 모델 대신 다양한 LLM 조합을 활용하는 라우팅 기반 챗봇
• 주요 LLM: Claude 3.5 Sonnet/Open, GPT-4.1/O1, o3, PPLX, Gemini 2.5 Pro

2. 핵심 기능

• 프롬프트 체계로 쿼리 분석 후 최적 모델 자동 선택 (예: 창의성 → Claude, 논리 → o3)
• FAST 모드 지원: 자동 모델 선택 기능
• Supabase 기반 세션 저장: 사용자 데이터 통제 가능
• 유연한 요금제: 토큰 사용량 기준 요금제 적용

3. 기술 구현

• OpenRouter 서비스를 통해 모델 통합 과정 단순화
• 다단계 워크플로우 예시:

- 웹 검색 API → o3 정보 격차 분석 → Gemini 개요 작성 → Claude 초안 → Claude Sonnet 정제

• MCP(Model Context Protocol) 연동 계획: 기업 시스템 직접 접근 가능

결론

• OpenRouter 기반의 모델 라우팅 기술로 다양한 LLM 활용 가능
• 유연한 요금제와 사용자 데이터 제어 기능은 기업 사용자에게 유리
• MCP 연동 확대를 통해 고차원 AI 업무 자동화 가능