목록Artificial Intelligence
반응형
(34)
s5unnyjjj's LOG
DL - Theory #3 : Flow of Actiation function
딥러닝 모델 구축에 사용되는 많은 activation function이 존재합니다. 해당 글에서는 activation function의 변천사에 대해서 간략히 설명하려고 합니다. Sigmoid / Tanh(Hyperbolic Tangent) 초기에는 sigmoid, tanh가 빈번하게 사용되었습니다. Sigmoid와 Tanh는 s 모양의 곡선으로 이루어져있습니다. Sigmoid의 경우 y 값의 범위는 0~1인 반면, Tanh의 경우 y 값의 범위는 -1~1입니다. 하지만 모델 업데이트 과정에서의 지속적인 미분으로 인하여 vanishing gradient가 발생합니다. 이를 해결하기 위해 ReLU가 급부상하게 됩니다. ReLU(Rectified Linear Unit) ReLU는 x가 0이상의 양수일 경우 ..
ML - Practice #4 : SVM
본 글에서는 아래에 나열된 이론을 바탕으로 코드를 작성해보도록 한다. 1. SVM (참고링크) https://s5unnyjjj.tistory.com/64?category=939071 1_1. Binary Classification with Linear SVM 1_2. Kernel SVM Binary Classification with Linear SVM sklearn에서는 classification 모델 테스트를 위하여 여러가지 가상의 데이터를 생성하는 함수를 제공한다. 그 중, 클러스터링 용 가상데이터를 생성하는 함수인 make_blobs 함수를 사용하여 진행한다. training dataset과 test dataset에서 표본 데이터의 수는 각각 100개 씩이며 독립 변수의 수는 2개로 설정하였다. ..
ML - Practice #3 : Regularization(Ridge, Lasso, L1-norm/L2-norm with Logistic), Confusion Matrix
본 글에서는 아래에 나열된 이론을 바탕으로 코드를 작성해보도록 한다. 1. Regularization (참고링크) https://s5unnyjjj.tistory.com/42?category=939071 1_1. Ridge Regression 1_2. Lasso Regression 1_3. L1/L2 norm-regularized Logistic Regression 2. Confusion matrix (참고링크) https://s5unnyjjj.tistory.com/44?category=939071 Used train data #1 사용할 데이터는 data1.csv 파일에 담겨 있다. 해당 파일을 열어보면 아래와 같이 저장되어있다. 아래의 코드를 이용하여 data1.csv 파일에서 0행을 drop한 정보만..
ML - Practice #2 : Perceptron, Logistic Regression, KNN
본 글에서는 아래에 나열된 이론을 바탕으로 코드를 작성해보도록 한다. 1. Perceptron (참고링크) https://s5unnyjjj.tistory.com/39?category=939071 2. Logistic Regression (참고링크) https://s5unnyjjj.tistory.com/39?category=939071 3. KNN (K-Nearest Neighbors) (참고링크) https://s5unnyjjj.tistory.com/63?category=939071 Used train data 사용할 데이터는 data_train.txt파일에 담겨 있다. 해당 파일을 열어보면 아래와 같이 저장되어있다. 아래의 코드를 이용하여 data_train.txt 파일에서 데이터를 불러온 후, 1행은..
ML - Practice #1 : Linear regression, Ordinary Least Squares(OLS), Batch Gradient descent, Stochastic Gradient descent
본 글에서는 아래에 나열된 이론을 바탕으로 코드를 작성해보도록 한다. 1. Linear regresison (참고링크) https://s5unnyjjj.tistory.com/39?category=939071 2. Ordinary Least Squares (OLS) (참고링크) https://s5unnyjjj.tistory.com/33?category=939071 3. Batch Gradient descent 4. Stochastic Gradient descent Used train data 사용할 데이터는 data_train.txt파일에 담겨 있다. 해당 파일을 열어보면 아래와 같이 저장되어있다. 아래의 코드를 이용하여 data_train.txt 파일에서 데이터를 불러온 후, 1행은 population으..
ML - Problem #4 : Metrics for binary classification (2)
Problem #4 : Metrics for binary classification (2) 하단의 표에서 y는 trau labels이고, h(x)는 classifier의 classification values이다. Threshold 0.6인 classifier의 경우 Accuracy, Recall, Precision 그리고 F1-score 을 구하시오. 풀이를 원하실 경우, 하단의 '더보기' 를 클릭해주시기 바랍니다. 더보기 해당 문제를 풀기위한 Accuracy, Recall, Precision, F1-score 의 설명과 식은 아래 링크에 업로드되어있으니 본 글에서는 생략하도록 한다. https://s5unnyjjj.tistory.com/44?category=939071 True Positive 값은 ..
ML - Problem #3 : Metrics for binary classification (1)
Problem #3 : Metrics for binary classification 하단의 표에서 y는 trau labels이고, h(x)는 classifier의 classification values이다. Threshold 0.4인 classifier의 경우 Accuracy, Recall, Precision 그리고 F1-score 을 구하시오. 풀이를 원하실 경우, 하단의 '더보기' 를 클릭해주시기 바랍니다. 더보기 해당 문제를 풀기위한 Accuracy, Recall, Precision, F1-score 의 설명과 식은 아래 링크에 업로드되어있으니 본 글에서는 생략하도록 한다. https://s5unnyjjj.tistory.com/44?category=939071 True Positive 값은 7이다...
