BERT 입력 임베딩 공간에서의 기울기 분석을 통한 언어 모델 탐색

핵심 기술: 본 포스트는 BERT와 같은 언어 모델에서 입력 임베딩 공간의 기울기를 분석하여 모델의 내부 동작과 표현 학습 방식을 탐색하는 방법을 제시합니다.

기술적 세부사항:
* 실험 절차:
* 토큰을 위치 인코딩 전의 입력 임베딩으로 변환합니다.
* 변환된 입력 임베딩을 사용하여 모델의 순방향 전달(forward pass)을 수행하여 예측된 토큰 분포를 얻습니다.
* 예측된 분포와 목표 분포 간의 교차 엔트로피(cross-entropy) 손실을 계산합니다.
* autograd를 사용하여 입력 임베딩에 대한 교차 엔트로피의 기울기를 계산합니다.
* 모델 및 라이브러리: HuggingFace의 transformers 라이브러리와 ModernBERT-large 모델을 사용했습니다. ModernBERT-large는 가벼우면서도 시각화 도구가 잘 갖춰져 있고, 단순한 어텐션 마스크를 가지고 있어 분석에 용이합니다.
* 구현: HuggingFace transformers 라이브러리를 통해 모델 내부 접근성을 확보했으며, tokenizer와 AutoModelForMaskedLM을 사용하여 입력 임베딩을 추출하고, inputs_embeds를 모델의 순방향 전달에 직접 주입하는 방식을 사용했습니다.
* 기울기 해석: 계산된 기울기 텐서는 입력 임베딩과 같은 형태를 가지며, 예측 분포와 목표 분포 간의 차이를 최소화하는 방향을 가리킵니다. 개별 토큰의 임베딩 변화 방향을 탐색하기 위해 기울기의 L2 노름과 어휘 벡터와의 코사인 유사도를 측정했습니다.
* 최적화 실험: ADAM 옵티마이저를 사용하여 입력 임베딩을 직접 최적화하여 모델의 수렴성을 확인하고, 'bark'와 'neigh' 같은 특정 단어의 임베딩이 어떻게 변화하는지 시각화했습니다.
* 결과 분석: 'bark' 토큰의 임베딩이 'neigh' 방향으로 이동하는 경향을 보였으나, 전체 어휘 공간에서의 이동 거리는 작았으며, 여러 예시에서 L2 노름이 수렴하고 KL-divergence가 0에 가까워지는 것을 관찰했습니다. 또한, 임베딩 차원의 분포가 특정 차원에 치우치지 않고 고르게 분포됨을 확인했습니다.
* 가설 및 검증: 이러한 결과들을 바탕으로, 입력 임베딩 공간이 '과도하게 매개변수화(overparameterized)'된 영역에 있으며, 이로 인해 전역 최솟값이 모든 지점에서 가깝고 다수가 존재하며, 해석 가능한 결과를 얻기 어렵다는 가설을 제기하고, 무작위 임베딩으로 실험을 재현하여 가설을 검증했습니다.

개발 임팩트: 이 분석은 언어 모델이 특정 단어나 개념을 어떻게 표현하는지에 대한 깊은 이해를 제공하며, 모델 해석 가능성을 높이는 새로운 접근 방식을 제시합니다. 또한, 임베딩 공간의 속성을 이해함으로써 모델 미세 조정이나 프롬프트 엔지니어링에 대한 통찰력을 얻을 수 있습니다.

커뮤니티 반응: 원문에서 직접적인 커뮤니티 반응을 언급하지는 않았지만, 이러한 유형의 모델 내부 동작 분석은 학계 및 연구 커뮤니티에서 활발히 논의되는 주제입니다.