인공지능 - Loss

Loss : 손실

- 이미지 classifier에서 사용한 W가 좋은지 나쁜지를 판단하기 위해선 Loss를 구해야함.

- Loss가 작을수록 좋음

- 아래 식의 xi는 이미지 인풋, yi는 정답 레이블, N은 이미지의 개수

Loss의 정의

 

 

 

Loss Function : 손실함수

- Loss를 구하는 과정에서 사용됨(위 그림의 Li)

 

 

*Hinge Loss

- syi는 정답 클래스 score, sj는 정답이 아닌 클래스 score를 뜻함

 

 

*Cross-Entropy Loss

- 확률을 사용하길 원하는데 이때 쓸 수 있는 함수는 Softmax 함수

- 확률은 0 이상이어야 하기 때문에 익스포넨셜을 사용

softmax function

- 0.13 = 24.5 / (24.5+164.0+0.18)

- Li = -log(확률값) 

- 예를 들어 Li = -log(0.13)

- (-log)를 사용하는 이유는 -log함수를 그려보면 알 수 있다.

- x축은 확률, y축은 loss로 할 때, 확률이 1로 갈수록 정답에 가깝고 loss는 줄어든다.

- 따라서 최소값은 0, 최대값은 무한대이다.

- 만약 정답 스코어 값이 증가하면 cross-entropy loss는 줄어든다