ML - Theory #6 : Supervised Learning (지도학습) #1 'Regression, Classification(Perceptron, Logistic Regression)'

Supervised Learning (지도학습)

• 정의 : 훈련 데이터로 입력과 출력 데이터가 있고, 이를 모델화하여 새로운 데이터에 대해 정확한 출력을 예측하는 것
• 종류 : Regression, Classification, K-Nearest Neighbors (K-NN), SVM

  ---

Regression (회귀)

• 어떤 데이터들의 특징을 기준으로 연속된 값을 예측
• 출력에는 연속성이 있고, 그 연속성 중에 어디에 점을 찍을지 결정하는 문제
• 확률 예측 X
• 예시로 집값추정, 패턴, 트렌드, 경향 예측 등이 존재
• Regression 종류로 Linear regression이 존재

관련 설명은 본 블로그내에 새로운 글로 업로드하였으며, 링크는 아래와 같으니 참고바랍니다.
https://s5unnyjjj.tistory.com/33?category=939071

 

Classification (분류)

• 주어진 데이터를 정해진 카테고리에 따라 분류
• 어떤 데이터들의 특징을 기준으로 discrete한 class에 분류
• 종류 : Perceptron, Logistic Regression

▶ Perceptron (퍼셉트론)

• Function : H(x) = 1 (theta * X > 0)
                      = 0 ( otherwise )
• Loss function : L (h, (x,y) ) = - ( y - H(x) ) * theta * X
• Cost function : 

  

 

 

 

▶ Logistic Regression (로지스틱 회귀)

• 샘플이 특정 클래스에 속할 확률을 추정하는데 사용됨
• Function :

  

 

 

 

 

• Loss function
  • Negative log-lihelihood

• Cost function

---

Linear regression vs Perceptron vs Logistic Regression

: Logistic regression의 GD(Gradient Descent) update와 Linear regression의 GD update와 Perceptron의 GD update는 현저히 비슷하다.

---

>> 위 내용은 필자가 공부하여 직접 정리한 내용이며, 위 그림 역시 직접 그린 그림이므로 워터마크 "s5unnyjjj"를 삽입하였음을 알려드립니다.

>> 부족한 점이 많을 수 있기에 잘못된 내용이나 궁금한 사항이 있으면 댓글 달아주시기 바랍니다.

>> 긴 글 읽어주셔서 감사합니다.