AI의 역사] 48 문제를 해결하고도 알릴 수 없었던 사연 – PDP와 오류 역전파

카테고리

트렌드

서브카테고리

인공지능

대상자

AI 연구자, 데이터 과학자, 딥러닝 학습자 및 교육자. 중급~고급 수준의 기술적 이해가 필요.

핵심 요약

• 단층 퍼셉트론의 한계를 극복한 역전파(Back Propagation, BackProp) 알고리즘의 등장은 신경망 학습의 가능성을 열었다.
• 1986년 럼멜하트와 힌튼의 논문은 다층 신경망 학습의 기반을 마련했으나, 1960년대 켈리와 워보스의 초기 연구도 기반이 됐다.
• 역전파 알고리즘은 오류를 입력층까지 역전파하며 가중치를 조정하는 방식으로, 딥러닝의 기초가 되었다.

섹션별 세부 요약

###1. 단층 퍼셉트론의 한계와 민스키의 주장

• 1969년 민스키와 페퍼트가 단층 퍼셉트론이 배타적 논리합 문제를 해결 불가능함을 증명.
• 다층 신경망의 가중치 조정 문제로 인해 학계가 다층 구조 개발을 포기하게 됨.
• 민스키는 다층 구조는 연산량이 과도해 현실적 해결 불가능하다고 주장.

###2. 역전파 알고리즘의 등장과 기술적 특징

• 1986년 럼멜하트와 힌튼이 발표한 역전파 알고리즘은 다층 신경망의 학습 효율을 극복.
• 순방향 네트워크(FeedForward Network)에서 출력 오류를 역전파하며 가중치를 업데이트.
• 미분 계산을 반복하여 입력층까지 오류를 전달, 수백~수천번의 반복이 필요.

###3. 역사적 배경과 초기 연구자들의 기여

• 1960년 켈리가 최적 비행경로 논문에서 역전파 모델 제시.
• 1974년 워보스가 다층 신경망 학습을 위한 역전파 논문 발표, 그러나 1차 AI 암흑기로 인해 공개 지연.
• 1982년 워보스 논문이 재발견되고, 1986년 럼멜하트와 힌튼의 연구로 신경망 연구에 획기적 전환.

###4. PDP 그룹과 연구 공동체의 역할

• PDP(PDP = Parallel Distributed Processing)는 신경과학자와 심리학자가 중심으로 연구.
• 힌튼과 럼멜하트는 PDP 그룹에서 가중치 설정 연구를 진행.
• 볼츠만 머신과 역전파 알고리즘 개발을 병행하며 딥러닝 기반 마련.

결론

• 역전파 알고리즘은 신경망 학습의 기반이 되었으며, 1960년대 이후 여러 연구자들의 기여가 모여 1980년대에 완성됨. 실무에서는 가중치 업데이트와 미분 계산 반복이 핵심이며, 딥러닝의 기초 기술로 자리 잡았다.