Underfitting / Overfitting 머신러닝에서 underfitting과 overfitting은 모델이 데이터를 어떻게 학습하고 일반화하는지에 대한 중요한 개념이다. Underfitting: 이는 모델이 학습 데이터를 충분히 학습하지 못해, 데이터의 패턴을 제대로 파악하지 못하는 상황을 말한다. 이 경우, 모델은 학습 데이터에서도 낮은 성능을 보이며, 새로운 데이터에 대해서도 잘 예측하지 못한다. Underfitting은 주로 모델의 복잡성이 너무 낮아 발생하며, 이는 모델이 너무 단순하여(모델의 용량이 너무 작음) 데이터의 복잡성을 캡처할 수 없음을 의미한다. Overfitting: 반면에 overfitting은 모델이 학습 데이터를 너무 과도하게 학습하여, 특정 학습 데이터에만 과도하게 ..
Linear Regression Linear regression에서의 MSE cost와 그 gradient는 다음과 같다. 다음은 그 유도 과정이다. Logistic Regression logistic regression의 cost function인 Cross Entropy(CE)의 classic form과 vector form은 다음과 같다. 그리고 CE의 gradient를 구하면 다음은 이를 증명하는 과정이다. Perceptron 다음은 perceptron의 cost function이다. 이를 통해 gradient를 구할 수 있다. Multi-Layer Perceptron 출력층 은닉층 결과적으로 다음과 같이 정리될 수 있다. Minibatch SGD algorithm Softmax Classifie..
MSE cost Linear regression에서의 MSE cost와 그 gradient는 다음과 같다. 다음은 그 유도 과정이다. Normal Equations 아래와 같이 gradient 수식을 통해 가중치 값을 바로 구해낼 수 있다. 이 경우 gradient descent로 가중치를 지속적으로 업데이트 해줄 필요 없이 바로 최종 가중치 값을 얻어낼 수 있지만 inverse 계산이 필요하기 때문에 특성이 많아지면 오히려 속도가 느릴 수 있다. Polynominal Regression 고차항을 변수로 치환하여 Linear regression 문제로 환원하여 풀 수 있다. Feature Normalization feature 간 스케일이 다를 경우 cost function이 스케일이 큰 feature의..
