s5unnyjjj's LOG

엔트로피 (Entropy) 불순도를 수치화한 지표, 불확실성 측정의 정도를 의미한다. 엔트로피 수치가 0이라면, 해당 분류에 속하는 개체의 속성이 모두 동일하다. 즉, 분류를 하지 않아도 된다. 엔트로피 수치가 0에 가까워질수록 불순도가 낮고, 엔트로피 수치가 1에 가까워질수록 불순도가 높다. 즉, 불순한 상태는 분류하기 어려운 상태로 볼 수 있으며, 불순한 상태일수록 엔트로피 수치는 커지며 불순도가 높을수록 분류하기 어렵다. 결론은 불순도와 엔트로피는 비례관계이다. 식은 아래와 같다. 크로스 엔트로피 (Cross Entropy) Estimated value와 실제 정답이 되는 값이 서로 얼마나 근사한지 보는 것으로 주로 classification에 사용된다. 식은 아래와 같다. 상대 엔트로피 (Rela..

베이즈 정리 (Bayes' rule) 이전의 경험(Prior)과 현재의 증거를 토대로 어떤 사건의 확률 추론 조건부 확률(Conditional Probability)을 이용하여 추론 특징 : 결과를 관측한 뒤, 원인을 추론할 수 있다. 즉, 조건부 확률 P(B|A)를 이용하여 다른 조건부 확률 P(A|B)를 구할 수 있다. 추론 과정 P(A) : A의 사전 확률 (Prior probability) P(B) : B의 사전 확률 (Evidence) P(A|B) : 사건 B라는 증거에 대한 사후 확률 (Posterir probability) P(B|A) : 사건 A가 주어졌을 때, B의 조건부 확률 (Likelihood) >> 위 내용은 필자가 공부하여 직접 정리한 내용이며, 위 그림 역시 직접 그린 그림이므..

경사 하강법(Gradient Descent, GD) 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 일반적인 최적화 알고리즘 비용 함수를 최소화하기 위해 반복해서 파라미터를 조정해가는 과정 비용 함수가 감소되는 방향으로 진행하여 알고리즘이 최솟값에 수렴할 때까지 점진적으로 향상시키는 과정 학습률 (Learning rate) 경사 하강법에서 A라는 점에서 B라는 다음 점으로 이동하는 과정에서 다음 점인 B를 정하기 위해, 이동하는 정도/보폭/step/크기를

ML(Machine Learning, 머신러닝) 정의 : 기계학습으로, 컴퓨터가 학습을 통해서 기계에게 주입함으로써 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구 종류 Supervised Learning, 지도학습 Unsupervised Learning, 비지도학습 Reinforcement Learning, 강화학습 Supervised Learning, 지도학습 정의 : 컴퓨터에게 정답이 무엇인지 알려주면서 컴퓨터를 학습시키는 방법 종류 K-최근접 이웃 (K-Nearest Neighbors) 선형 회귀 (Linear Regression) 로지스틱 회귀 (Logistic Regression) 서포트 벡터 머신 (Support Vector Machines, SVM) 결정 트리 (Decision Tre..

AI (Artificial Intelligence, 인공지능) 컴퓨터가 인간의 행동을 모방하도록 하는 어떤 기술 ML(Machine Learning, 머신러닝) 통계 방법을 근거로 기계가 경험을 통해 개선되도록 하는 AI 기술의 하위 집합 DL(Deep Learning, 딥러닝) 다층 신경망의 계산을 가능하게하는 ML의 하위 집합

선형회귀분석 정의 : 독립변수와 종속변수 사이의 관계 독립변수: 연구자가 의도적으로 변화시키는 변수 ex) x1, x2, ... 종속변수: 연구자가 독립변수의 변화에 따라 어떻게 변하는지 알고 싶어하는 변수 ex) y(i) e(i) : 오차 즉, 미리 알 수 없는 값 회귀분석에는 단순회귀분석, 다중회귀분석이 있다. ▶ 단순회귀분석 (Simple linear regression model) 정의 : 독립변수가 1개 즉, 단일개가 존재하여, 1개의 독립변수와 종속변수와의 관계 ▶ 다중회귀분석 (Multiple linear regression model) 정의 : 2개 이상의 독립변수와 종속변수와의 관계 선형회귀모델 훈련 선형 회귀 모델을 훈련시키기 위해서 선형 회귀를 아래와 같이 정의해준다. n은 x의 수이..

사용하려는 Neural Network (NN) 구조의 Hidden layer내의 node는 4개이다. Iteration은 10,000번, learning rate는 0.7로 설정하였다. Neural Network (NN) 구조는 아래와 같다. NN구조로 XOR를 학습할 것이다. Error Graph는 아래와 같다. ---------------------------------------------------------------------------------------------------- >> 위 내용은 필자가 직접 그린 그림과 작성한 내용입니다. >> 필자가 직접 구현한 코드를 아래의 링크에 업로드하였으니 참고바랍니다. github.com/s5unnyjjj/DNNgithub.com/s5unnyjjj..

사용하려는 Neural Network (NN) 구조의 Hidden layer내의 node는 2개이다. Iteration은 10,000번, learning rate는 0.5로 설정하였다. Neural Network (NN) 구조는 아래와 같다. NN구조로 XOR를 학습할 것이다. Error Graph는 아래와 같다. ---------------------------------------------------------------------------------------------------- >> 위 내용은 필자가 직접 그린 그림과 작성한 내용입니다. >> 필자가 직접 구현한 코드를 아래의 링크에 업로드하였으니 참고바랍니다. https://github.com/s5unnyjjj/Simple-Neural-N..