99클럽 코테 스터디 19일차 TIL + Loss function

오늘은 Loss function에 대해서 간단하게 정리해 보 겠 다.

저번 수업 시간에 교수님께서 갑자기 OOO학생 무슨 Loss function 쓰면 될까요? 하셨는데

내 이름이 불리지 않은 것에 매우 감사했다.. ㅋㅋㅋ 그런일이 다시 없도록 정리해 둬야지

일단 softmax

• $S(y_{i}) = \frac{e^{y_{i}}}{\sum_{j}^{}{e^{y_{j}}}}$

1. 회귀 (Regression) 문제:

• MSE(Mean Squared Error) - Ridge
  • $ \frac{1}{N}\sum_{N}^{i}(h(x)-f(x))^2$
• MAE(Mean Absolute Error) - Lasso
  • $ \frac{1}{N}\sum_{N}^{i}\left|(h(x)-f(x))\right|$

2. 이진 분류 ( Binary Classification) 문제:

• Cross Entropy
  • $H_{p,q}(X) = -\sum_{i=1}^{N}p(x_{i})log({q(x_i)})$

• Binary Cross-Entropy
  • $-\frac{1}{N}\sum_{i=1}^{N}y_{i}log(h(x_{i};\theta )) + (1-{y_{i}})log(1-h(x_{i};\theta ))$

 

교수님이 원하신 답은 크로스 엔트로피 였다... 훟 이제 다 알겠다🤓

 

참고 : 모두의 연구소 - https://modulabs.co.kr/blog/machine_learning_loss_function/

딥러닝 개발자라면 꼭 알아야 할 손실 함수 의 개념과 종류