[딥러닝 이론 1] 뇌를 흉내 낸 기계, 퍼셉트론에서 DNN까지

안녕하세요! 오늘은 딥러닝의 가장 기초가 되는 인공 신경망(ANN)의 역사와 구조를 파헤쳐 보려고 합니다.

우리 뇌 속의 뉴런이 어떻게 코드로 재탄생했는지, 그리고 단순한 계산기가 어떻게 복잡한 의료 데이터를 분석하는 '딥러닝'으로 진화했는지 알아보겠습니다.

 

1. 생물학적 뉴런 vs 인공 뉴런 (Perceptron)

인공신경망은 인간의 뇌 신경세포인 '뉴런(Neuron)'의 구조를 본떠 만들었습니다.

• 생물학적 뉴런: 가지돌기에서 신호를 받아 신경세포체에서 처리하고, 임계값을 넘으면 축삭돌기를 통해 다음 뉴런으로 전달합니다.
  
  • 입력($x$): 데이터가 들어오는 곳 (가지돌기).
  • 가중치($w$): 입력의 중요도 (시냅스 연결 강도).
  • 가중합($\sum$) & 활성화: 입력과 가중치를 곱해 더한 값($Wx+b$)이 임계값을 넘으면 1, 아니면 0을 출력합니다.
• 인공 뉴런 (퍼셉트론): 1957년 로젠블라트가 이를 수학적으로 구현했습니다.

출처 : https://nicola-ml.tistory.com/156#google_vignette

 

2. 퍼셉트론의 한계: AI의 겨울을 부른 XOR 문제

초기에는 퍼셉트론이 인간의 지능을 구현할 줄 알았지만, 곧 큰 벽에 부딪힙니다. 바로 선형 분리(직선 하나로 나누기)가 불가능한 문제는 풀지 못한다는 것이었죠.

• AND/OR 문제: 그림의 왼쪽처럼 직선 하나로 0과 1을 나눌 수 있습니다.
• XOR 문제: 그림의 오른쪽을 보세요. 서로 다른 값일 때만 1이 되는(빨간점과 초록점이 대각선에 위치) 경우에는 직선 하나를 어떻게 그어도 완벽하게 나눌 수 없습니다.
  • 이 한계를 마빈 민스키가 증명하면서 AI 연구는 약 20년간 암흑기를 맞이합니다.

출처 : https://velog.io/@soyoun9798/DL1-2%EC%9E%A5-%EC%A0%95%EC%9D%98-%EA%B5%AC%ED%98%84-%ED%95%9C%EA%B3%84%EC%A0%90

 

3. 해결책: 은닉층(Hidden Layer)과 다층 퍼셉트론

해결책은 "직선을 여러 개 긋는 것"이었습니다. 입력층과 출력층 사이에 '은닉층(Hidden Layer)'을 추가하여 층을 여러 겹으로 쌓은 것이죠.

• 다층 퍼셉트론 (MLP): 그림처럼 입력층과 출력층 사이에 숨겨진 층(은닉층)을 두면, 직선들을 조합하여 복잡한 영역을 구분할 수 있게 됩니다. 마치 AND, OR, NAND 게이트를 조합해 XOR를 푸는 것과 같은 원리입니다.

출처 : https://gomguard.tistory.com/178?category=712467

 

4. DNN (Deep Neural Network)으로의 진화

이 은닉층을 2개 이상으로 아주 깊게(Deep) 쌓은 것이 바로 DNN(딥러닝)입니다.

• 신경망의 깊이(Depth)와 너비(Width)가 커질수록(Network Capacity 증가), AI는 훨씬 더 복잡하고 어려운 문제를 해결할 수 있습니다. 최근의 초거대 AI들도 결국 이 구조를 거대하게 확장한 것입니다.

출처 : https://velog.io/@kyucho1009/MLDL-1.-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%8B%A0%EA%B2%BD%EB%A7%9D%EC%9D%98-%EA%B8%B0%EC%B4%88-Machine-Learning-Neural-Network