s5unnyjjj's LOG
ML - Theory #3 : 경사 하강법(Gradient Descent, GD) 본문
Artificial Intelligence/Machine Learning
ML - Theory #3 : 경사 하강법(Gradient Descent, GD)
s5unnyjjj 2021. 3. 31. 08:54경사 하강법(Gradient Descent, GD)
- 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘
- 비용 함수를 최소화하기 위해 반복해서 파라미터를 조정해가는 과정
- 비용 함수가 감소되는 방향으로 진행하여 알고리즘이 최솟값에 수렴할 때까지 점진적으로 향상시키는 과정
학습률 (Learning rate)
경사 하강법에서 A라는 점에서 B라는 다음 점으로 이동하는 과정에서 다음 점인 B를 정하기 위해, 이동하는 정도/보폭/step/크기를
반응형
'Artificial Intelligence > Machine Learning' 카테고리의 다른 글
| ML - Theory #6 : Supervised Learning (지도학습) #1 'Regression, Classification(Perceptron, Logistic Regression)' (0) | 2021.04.21 |
|---|---|
| ML - Theory #5 : 엔트로피 (Entropy), 크로스엔트로피 (Cross Entropy), 상대 엔트로피(Relative Entropy) (0) | 2021.04.21 |
| ML - Theory #4 : 베이즈 정리(Bayes' rule) (0) | 2021.04.21 |
| ML - Theory #2 : Machine Learning의 종류 (0) | 2021.03.20 |
| ML - Theory #1 : 선형회귀분석(Linear regression) (0) | 2021.03.14 |
'Artificial Intelligence/Machine Learning' Related Articles
more
Comments