수학으로 한 방에 풀까, 조금씩 찾아갈까? (최소제곱법 vs 경사하강법)

우리가 $w$(가중치)와 $b$(편향)를 찾는 방법은 크게 두 가지가 있습니다.

1. 수학 천재 방식 (최소제곱법): 공식을 써서 한 번에 "정답은 이거야!"라고 찾기.
2. 탐험가 방식 (경사하강법): 조금씩 발을 내딛으며 "이쪽이 더 낫네" 하고 찾아가기.

1. 최소제곱법 (Least Squares Method) 이란?

오차(Cost) 그래프는 밥그릇 모양(2차 함수)이라고 했죠?

수학적으로 밥그릇의 가장 낮은 바닥(최소값)은 '기울기(미분값)가 0'인 지점입니다.

최소제곱법은 "미분해서 0이 되는 $w$와 $b$를 방정식으로 풀어버리는 방법"입니다.

• 원리: $\frac{\partial}{\partial w} Cost = 0$ 이 되는 지점을 수학적으로 계산합니다.
• 장점: 반복 학습(Epoch)이 필요 없습니다. 그냥 계산기 두드리면 답이 툭 나옵니다.
• 의료 비유: 환자 데이터를 보자마자 "이 환자는 3일 뒤 퇴원합니다"라고 예언하는 것과 같습니다.

2. 그런데 딥러닝에선 왜 안 쓸까요? (치명적 단점)

"독립변수가 많아지면 계산이 어렵다"는 치명적인 단점이 있기 때문입니다.

1. 변수가 너무 많음:
   • 변수가 1~2개일 땐 방정식 풀기가 쉽습니다.
   • 하지만 딥러닝(이미지, 유전자 데이터)은 변수($x$)가 수천, 수만 개입니다. 이걸 방정식으로 풀려면 슈퍼컴퓨터도 뻗어버립니다. (행렬 역행렬 계산 비용이 어마어마함) .
2. 데이터가 너무 많음:
   • 데이터 100만 개를 한 번에 메모리에 올려서 계산해야 합니다. (메모리 부족 발생)

그래서 딥러닝에서는 조금 느리더라도, 변수가 아무리 많아도 적용 가능한 경사하강법(Gradient Descent)을 표준으로 사용합니다.

 

3. [한눈에 비교] 최소제곱법 vs 경사하강법

구분	최소 제곱법	경사하강법
방식	수학 공식으로 한 방에 해결	조금씩 이동하며 반복적으로 해결
속도	데이터 적을 땐 즉시 완료	학습 시간이 걸림(Epoch 필요)
데이터 크기	소량 데이터에 적합	대용량 데이터에 적합
주 사용처	통계학, 단순 회귀 분석	딥러닝

 

요약

• 최소제곱법: "정석대로 수학 공식을 풀어서 답을 내자!" (전통 통계)
• 경사하강법: "일단 부딪혀보면서 오차를 줄여나가자!" (머신러닝/딥러닝)