우분투 서버 사용 용량 확인
du -sh 확인하고자 하는 디렉토리에서 사용! 하위 디렉토리들의 용량 출력
Basic section/Linux
2018. 2. 28. 12:50
softmax function overflow problem
본 내용은 deeplearning from scratch 를 공부하는 차원에서 정리한 것입니다! (다들 꼭 읽어보세요 입문자에게도, 정리하는 차워에서 읽는 분에게도 좋습니다.) Softmax 함수는 주로 출력층 activation function으로 사용됩니다.주의할 점이 있는데, 기본 softmax 함수는 모든 값들을 지수함수를 사용하여 받고 계산하기 때문에 쉽게 값이 커지게 됩니다.컴퓨터가 다루는 데이터 크기가 있는데, 너무 큰 값을 큰 값으로 나누는 형태는 불안정한 결과를 낳습니다. (계산을 하지 못하는 경우가 발생합니다. 이런 문제를 overflow라고 하죠. 컴퓨터가 다룰 수 있는 범위를 넘은 것입니다!) 때문에 사용하는 트릭! 바로 입력값 중 가장 큰 값을 입력값 전체에 빼준 후, 해당 값을 ..
Basic section/Python
2018. 2. 22. 18:18