손실함수에 대해서

손실함수 손실함수란 신경망 성능의 나쁨을 나타내는 지표이다. 그러니까, 값이 클 수록 성능이 좋지 못하다는 뜻이다. 왜 이런 부자연스러운 결과가 나오냐면, 그 식에서 답을 찾아 말할 수 있다. 손실함수로 사용하는 오차제곱합(SSE)와 교차 엔트로피 오차(CEE)에서, SSE의 경우 One-Hot-Encoding된 정답 레이블을 y(결과값, 또는 예측값)에서 뺀 것의 제곱을 더하고, CEE는 One-Hot-Encoding 된 정답 레이블을 곱하여, 즉 정답만 1로 된 것을 y의 자연로그(y가 클 수록 숫자는 작아진다)에 곱한다. 이후 -1를 곱하여서 양수로 만든다. 결국 SSE, CEE 모두 숫자가 클 수록 손실이 크다는 것을 의미하게 된다. 왜 손실함수를 사용하는가? 정확도를 지표로 삼아 가중치를 조정하..

2022.07.24