LoRA를 활용한 T5 모델 미세 조정: 효율적인 텍스트 요약 기술

핵심 기술

이 콘텐츠는 Hugging Face 라이브러리를 사용하여 T5 모델의 소형 버전을 LoRA(Low-Rank Adaptation) 기법으로 미세 조정하여 텍스트 요약 성능을 향상시키는 방법을 설명합니다.

기술적 세부사항

• 텍스트 요약의 두 가지 유형: Extractive Summarisation (문장 분류 기반)과 Abstractive Summarisation (의미 기반 새로운 문장 생성).
• T5 모델: Encoder-Decoder 아키텍처를 갖춘 Text-to-Text Transformer 모델을 활용합니다.
• LoRA (Low-Rank Adaptation):
  • 전체 모델 미세 조정 대신, 모델의 어텐션 블록 내 저계수(low-rank) 행렬만 업데이트하여 효율성을 높입니다.
  • 전체 파라미터의 극히 일부(예: 0.48%)만 학습하여 메모리 및 컴퓨팅 자원을 절약합니다.
  • 저자원 환경에 적합하며, 특정 레이어 언프리징보다 유연하고 강력할 수 있습니다.
• Hugging Face Ecosystem 활용: 사전 학습된 모델 로딩, 데이터셋(CNN/Daily Mail) 사용, LoRA 미세 조정, 학습 루프 구현까지 전 과정을 Hugging Face 라이브러리를 통해 간소화합니다.
• 성능 평가: ROUGE 대신 BERTScore F1을 사용하여 생성된 요약과 원문의 의미적 유사성을 평가합니다.
  • Vanilla Model: BERTScore F1 0.8594
  • LoRA Fine-Tuned: BERTScore F1 0.8665 (약 0.71% 향상)
• 제약 사항 및 고려사항:
  • CNN/Daily Mail 데이터셋 사용으로 인한 도메인 전이 테스트의 한계.
  • 단 1 epoch 학습으로 인한 추가 성능 향상 가능성 (2-3 epoch 또는 t5-base 모델 사용 시).
  • 추론 속도 및 배포 최적화는 본 프로젝트의 초점이 아님.
  • 메모리 효율성을 위한 입력(512 토큰) 및 출력(128 토큰) 길이 제한 (추론 시 청킹 기법 등으로 해결 가능).

개발 임팩트

• 한정된 자원으로도 대규모 언어 모델의 성능을 효과적으로 개선할 수 있음을 보여줍니다.
• 간결하고 효율적인 미세 조정 기법을 통해 NLP 작업의 접근성을 높입니다.
• 실제 서비스 적용을 위한 모델 경량화 및 효율화 방안에 대한 인사이트를 제공합니다.