"> 경사하강법(GD, SGD, Mini-batch) 비교 및 업데이트 원리 정복 | 양파고 "> 경사하강법(GD, SGD, Mini-batch) 비교 및 업데이트 원리 정복 | 양파고 "> 
<head>
  <meta charset="UTF-8" />
  <title> 경사하강법(GD, SGD, Mini-batch) 비교 및 업데이트 원리 정복 | 양파고 </title>
  <meta
    name="description"   content="Batch GD, SGD, Mini-batch의 차이를 시뮬레이터로 한눈에 확인하세요. 가중치 업데이트 횟수 계산법부터 Epoch와의 관계까지, 딥러닝 입문자를 위한 필수 개념을 완벽 정리해 드립니다."   />
  <meta name="keywords" content="경사하강법 비교, SGD 원리, Mini-batch GD 차이, 에포크 배치사이즈 계산, 가중치 업데이트 과정, 딥러닝 기초, 양파고, Yang Phago, 노션, 양파고 노션, notion" />

  <meta   property="og:title"   content="경사하강법(GD, SGD, Mini-batch) 비교 및 업데이트 원리 정복"  />
  <meta  property="og:description" content="랜덤으로 고르는 건 가중치가 아니라 '데이터'입니다! 헷갈리는 경사하강법 3종 세트, 시뮬레이터로 직관적으로 이해하고 싶다면 클릭하세요., 양파고, Yang Phago, 노션, 양파고 노션"  />
  <meta property="og:image" content="<https://yangphago.oopy.io/logo.png>" />
  <meta property="og:url" content="<https://yangphago.oopy.io/gradient-descent-simulator>" />
  <meta property="og:type" content="website" />
</head>

<aside> 💡 경사하강법의 세 가지 방식(Batch GD / SGD / Mini-batch GD)은 “몇 개의 데이터로 기울기를 계산하느냐” 의 차이만 있을 뿐, 가중치는 항상 전부 동시에 업데이트됨.

</aside>

image.png

Gradient Descent Comparison Simulator

1. 경사하강법(Gradient Descent) 기본 구조

1-1. 한 번의 업데이트 과정

경사하강법의 업데이트는 항상 아래 순서로 진행됨.

  1. 데이터를 신경망에 통과시켜 오차(Loss) 계산
  2. 역전파로 모든 가중치의 편미분(∂E/∂w) 동시 계산
  3. 계산된 편미분으로 모든 가중치 동시 업데이트

$$ W_{new} = W_{old} - \eta \cdot \frac{\partial E}{\partial W} $$

⚠️ 가중치를 하나씩 순서대로 업데이트하면 안 되는 이유: w1을 먼저 바꾸면 오차 E가 달라지고, 달라진 E 기준으로 w2를 바꾸게 됨 → 원래 전체 오차 기준의 기울기가 아니게 됨.

1-2. 랜덤으로 선택하는 것은 “가중치”가 아니라 “데이터”

SGD에서 헷갈리기 쉬운 부분.

2. 경사하강법의 세 가지 방식 비교

2-1. 핵심 비교표