그라디언트 하강법을 통한 입력 임베딩 공간 분석: ModernBERT 실험
카테고리
프로그래밍/소프트웨어 개발
서브카테고리
인공지능, 머신러닝
대상자
자연어 처리(NLP) 모델을 활용한 연구자, 데이터 과학자, 머신러닝 엔지니어
(난이도: 중급~고급, BERT 및 그라디언트 계산 기술 필요)
핵심 요약
- 입력 임베딩 공간에서의 그라디언트 계산은
ModernBERT-large
모델을 활용해cross_entropy
손실에 대한 그라디언트를 추출하는 방법을 제시함 autograd
를 통해 계산된 그라디언트 텐서는 입력 임베딩의 형태를 유지하면서 예측 분포와 목표 분포 간 차이를 최소화하는 방향으로 가리킴- 모델이 과매개화(overparameterized) 범위에 있음을 시사하며, 이는 전역 최소값 매니폴드가 넓고 연결된 구조를 가진다는 가설을 뒷받침함
섹션별 세부 요약
1. 입력 임베딩 공간의 그라디언트 계산 절차
- 토큰을 입력 임베딩으로 변환 후 위치 인코딩을 적용하지 않고 모델에 전달
cross_entropy
손실을 계산하여 예측 분포와 목표 분포 간 차이를 측정autograd
를 사용해 입력 임베딩에 대한 그라디언트 계산inputs_embeds_grad = torch.autograd.grad(...)
ModernBERT-large
모델의 내부 구조에 대한 저수준 접근 가능
2. 실험 설정 및 예시 분석
- "The animal that says bark is a ____"와 "The animal that says neigh is a ____" 두 문장을 토대로 실험 수행
ModernBERT-large
의 예측 분포를🐶
와🐴
로 표현하며,cross_entropy(🐶,🐴)
에 대한 그라디언트 계산- L2 노름 분석을 통해 "says", "dog", "animal" 토큰이 가장 높은 그라디언트 강도를 보임
3. 그라디언트 방향성 분석
- 코사인 유사도 기반으로 그라디언트가 "neigh"와 유사한 방향으로 가는지 확인
argmax(cosine_sim(gradient, vocabulary))
- 그라디언트 벡터가 원래 임베딩과 직교하며 코사인 유사도 약
-0.01
로 나타남 - 이는 그라디언트 방향이 특정 토큰으로 향하지 않음을 시사
4. ADAM 최적화 실험 결과
- ADAM 최적화를 적용한 경우 입력 임베딩이 빠르게 수렴
- "bark" 임베딩이 "neigh" 방향으로 이동(코사인 유사도
0.3
) - 10,000 스텝 후에도 "bark" 임베딩은 "bark" 영역 내부에 머무름
- 유클리드 거리:
2.5
→0.8
이동
5. 과매개화 범위의 의미
- 전역 최소값 매니폴드가 넓고 연결된 구조를 가짐
- 과매개화 시 손실이 거의 0에 수렴하며, 해석 가능성은 낮음
- 랜덤 포인트에서 시작한 실험에서도 입력 임베딩이 크게 이동하지 않음
결론
- ModernBERT-large 모델에서 입력 임베딩 공간의 그라디언트 계산은 과매개화 범위에 해당하며, 이는 전역 최소값 매니폴드의 특성과 연결됨
- ADAM 최적화를 통해 입력 임베딩의 수렴 가능성을 검증했으며, "bark" 임베딩이 "neigh" 방향으로 이동하는 현상은 흥미로운 결과를 제공함
- 과매개화 시 해석 가능성은 낮으나, 손실 수렴 가능성은 높음 → NLP 모델의 임베딩 공간 분석 시 주의가 필요함