출력층의 activation function

각 layer의 노드마다 적용되는 activation function은 연산이 이뤄진 후의 입력값의 모음(?)을 입력으로 받아 원하는 출력 신호로 변환해주는 함수입니다. 

예를 들어, 인풋으로 들어오는 값이 0.5 이상이면 1로, 0.5 미만이면 0으로 출력되도록 해야겠다고 activation function을 정의할 수 있겠죠? 변환자의 역할을 하는 것입니다.

출력층의 activation function은 좀 더 특별합니다. 

출력층의 activation function은 우리가 풀고자 하는 문제가 classification인지, regression인지 등.. 문제에 맞춰 정의합니다.

//classification : input data가 1번 클래스일까? 2번 클래스일까?

//regression: input data가 다음과 같을 때, '우리가 구하고자 하는 요소'에 대한 값이 몇일까? ex. 사람의 키 data -> '몸무게'는 몇일까? 수치적으로 예측하는 것

일반적으로, 

regression -> 항등함수

2 class classification -> sigmoid

multi class classification -> softmax (0 ~ 1)