Named Entity Recognition: BiLSTM과 CRF를 활용한 구현

카테고리

프로그래밍/소프트웨어 개발

서브카테고리

NLP, 데이터 분석

대상자

- 학생, 개발자, AI 허브리스트

- 자원 제한 환경에서 NLP 모델을 구현하고자 하는 중급자

- 경량 모델과 실무 적용 사례를 학습하고자 하는 개발자

핵심 요약

• Bidirectional LSTM (BiLSTM) + Conditional Random Field (CRF) 구조는 GloVe 임베딩을 기반으로 NER 태깅에 효과적임
• NER은 BIO 태깅 체계를 사용해 인명, 조직, 위치 등 명사 인식에 활용되며, 자원 제한 환경에서 실용적
• 모델 성능 지표: O 태그 정확도 97%, 전체 정확도 94% (가중 평균 F1 93%)

섹션별 세부 요약

1. NER의 중요성 및 적용 분야

• NER은 텍스트에서 인명, 조직, 위치 등의 명사 인식을 통해 다운스트림 NLP 작업의 전처리에 유용
• 자원 제한 환경, 프라이버시 감수성 앱, 저지연 요구 시스템에서 특히 중요
• BIO 태깅 체계: B (시작), I (내부), O (외부)

2. BiLSTM과 CRF의 역할

• BiLSTM은 전방향/후방향 입력 처리로 맥락 정보를 포착하여 NER에 적합
• CRF는 태깅 간 의존성 제약 (예: I- 태그가 O 또는 불일치 B- 태그 다음에 오면 안됨)을 강화
• LSTM + CRF 조합이 태깅 일관성을 향상

3. GloVe 임베딩 및 모델 구조

• GloVe는 공동 발생 패턴을 기반으로 단어 의미를 학습 (예: bank의 의미가 여러 의미를 혼합)
• 100차원 GloVe 벡터 사용, 경량성과 빠른 실험 가능
• PyTorch 기반 모델: main.ipynb에서 데이터 로드, 학습, 평가 흐름 제공

4. 모델 평가 및 성능 지표

• 정확도: 전체 94%, O 태그 97%
• F1-score: B-LOC 0.80, I-LOC 0.46 (다중 토큰 인식 문제)
• 가중 평균 F1 93%, I- 태그의 재현율 저하로 인한 개선 필요

결론

• BiLSTM + CRF + GloVe 구조는 자원 제한 환경에서 실용적 NER 모델 제공
• 개선 방향: LSTM hidden size 증가, 고차원 GloVe 사용, BERT 등 컨텍스츄얼 임베딩 도입
• 프로젝트 구조: main.ipynb에서 학습, 평가, 실시간 태깅 가능하며, 경량성과 높은 정확도의 균형 달성