학교공부/기계학습
[기계학습] 각 모델들의 Cost function과 Gradient
Linear Regression Linear regression에서의 MSE cost와 그 gradient는 다음과 같다. 다음은 그 유도 과정이다. Logistic Regression logistic regression의 cost function인 Cross Entropy(CE)의 classic form과 vector form은 다음과 같다. 그리고 CE의 gradient를 구하면 다음은 이를 증명하는 과정이다. Perceptron 다음은 perceptron의 cost function이다. 이를 통해 gradient를 구할 수 있다. Multi-Layer Perceptron 출력층 은닉층 결과적으로 다음과 같이 정리될 수 있다. Minibatch SGD algorithm Softmax Classifie..
