DL-Theory #1 : GD(Gradient Descent)의 변형 알고리즘

GD(Gradient Descent) 변형 알고리즘

 

GD(Grdient Descent)

SGD(Stochastic Gradient Descent)

 loss function을 계산할 때, 전체 데이터 대신 일부 조그만한 데이터(mini-batch)의 모음에 대해서만 loss 계산

 

 

Momentum

NAG

Adagrad

RMSProp

 Adagrad 식에서 gradient 제곱값을 더해나가면서 구한 

Adam

 Momentum 방식과 유사하게 지금까지 계산해온 기울기의 지수평균을 저장

 RMSProp과 유사하게 기울기의 제곱값의 지수 평균 저장