AI 기반 이슬람 학문 접근성 향상: AIFiqh의 기술적 여정

핵심 기술: AIFiqh는 이슬람 법학(Fiqh) 분야의 방대한 텍스트 데이터를 AI 기술로 분석하여 신뢰성 있는 정보 접근성을 높이는 것을 목표로 합니다. 일반적인 AI 모델의 한계를 극복하기 위해 도메인 특화된 데이터 처리 및 검색 시스템을 구축했습니다.

기술적 세부사항:
* 데이터 수집 및 처리: 45만 건 이상의 이슬람 경전 및 현대 법령을 OCR(Optical Character Recognition)을 통해 디지털화했습니다. 특히, 복잡한 아랍어 텍스트의 정규화, 문맥 보존, 출처 추적 기능을 갖춘 파이프라인을 개발했습니다.
* 아키텍처:
* 프론트엔드: React + Next.js를 사용하여 SSR(Server-Side Rendering)로 성능을 최적화했습니다.
* 백엔드: Python/Flask (AI 연산), NestJS (메인 API, TypeScript)를 사용하며, PostgreSQL/Prisma로 데이터베이스를 관리합니다.
* AI 스택: TensorFlow (커스텀 모델), Google Gemini (고난이도 질의), text-embedding-004 (텍스트 임베딩)를 활용합니다.
* 인프라: DigitalOcean을 사용하여 확장성과 유연성을 확보했습니다.
* 검색 및 캐싱 시스템:
* Tier 1: LRU 캐시를 활용하여 빈번하게 요청되는 질문에 대한 100ms 이하의 응답 속도를 제공합니다.
* Tier 2: ChromaDB를 사용하여 텍스트 임베딩 기반의 시맨틱 검색을 수행하며, 코사인 유사도와 80% 임계값을 사용합니다.
* 매칭 실패 시, 관련 문맥을 포함하여 Gemini 모델에 질의하는 폴백(fallback) 전략을 사용합니다.
* 아랍어 처리: 아랍어의 복잡한 특징(모음 부호, 다양한 철자, RTL 등)을 처리하기 위한 전처리 파이프라인을 구축했습니다.
* 인터페이스: 사용자 친화적인 챗 인터페이스를 제공하며, 모든 답변에 대한 출처 명확화, 다중 관점 제시, 관련 질문 추천, 점진적 정보 공개 등의 기능을 포함합니다.

개발 임팩트: 일반 AI 모델이 놓칠 수 있는 도메인별 맥락과 학술적 권위를 정확하게 반영하는 시스템을 구축했습니다. 이를 통해 이슬람 학문에 대한 접근성을 혁신적으로 개선하고, 사용자에게 신뢰할 수 있는 정보를 제공할 수 있습니다. 향후 음성 인터페이스, 다국어 지원, 학자 검증 시스템 등을 통해 서비스 확장을 계획하고 있습니다.

커뮤니티 반응: 상세한 커뮤니티 반응은 언급되지 않았으나, 프로젝트의 기술적인 도전 과제와 솔루션은 개발자 커뮤니티의 흥미를 끌기에 충분합니다.

톤앤매너: 개발자의 입장에서 솔직하고 구체적인 기술적 경험과 도전을 공유하며, 문제 해결 과정과 기술 스택에 대한 상세한 설명이 돋보입니다.