활성화 함수

Activation Function

종류

구분	명칭	그래프	설명
단극성	Sigmoid		로지스틱 함수. x값을 변화에 따라 0~출력
	ReLU		x값이 음수일 땐 0 고정
	Softmax	2차원 그래프로 표현 불가	여러 입력값을 0~1로 나누어 표현
양극성	tanh		Sigmod보다 기울기가 크며 1~1 범위를 가짐
	LReLU		음수일 때 입력값의 1/10 출력
	Maxout	2차원 그래프로 표현 불가	두 개의 W와 b중에서 큰 값 사용