2017년 10월 23일 월요일

SVM, KNN cs231n

- SVM 모델의 로쓰함수는 힌지로쓰이다.
- 힌지로쓰안에는 강건함을 위해 +1 이 추가된다.
- +1은 경험에 의한 고정된 값이다.
- SVM의 로쓰함수는 분리선 과 각 서포트벡터들 간의 수직거리의 합이다.
- 같은 로쓰값을 보이는 가중치 조합이 여러개 있을수 있다.
- 레귤러라이제이션은 고차함수로 오버핏되는걸 막기위해 초저주파 성분(상수값)을 더해주는 것이다.
- 앙상블 레귤러라이제이션은 엘원과 엘투 정규식을 섞어서 만든다.
- 소프트맥스 로스함수는 마이너스로그 형태를 취하며 값은 플러스로 나온다.
- 쌔너티 체크를 써서 소프트맥스의 출력이 잘 나오는지 확인하라.
- Mask R-CNN ?
- f(x; W)에서 ;연산자의 의미는 W측면에서 x
- SGD는 해석적이 좋으며 속도측면에서 문제로 미니배치를 사용한다.
- 오류역전파시 더하기 노드는 그레디언트 분산기 역할, 곱하기노드는 그레디언트 스위치 역할, 그리고 최대값노드는 그레디언트 라우터 역할을 한다고 볼수있다,.
- 파이썬도 브로드캐스팅으로 변수를 공유한다?
- 자코비안은 1차 편미분 연산행렬
- 렐루도 연속함수이므로 의 꺽이는 점에서의 미분은 별문제 없다.
- KNN은 1클래스 1클래시파이어의 일종이다.
- 오늘 두번째 발표자의 웃는 모습은 약간 탤런트 성동일 닮았다.
- 리키렐루는 배니싱그레디언트의 포화문제 제거에 효과적
- 소프트플러스 렐루는 평균이 0이 되어 그레디언트 밸런싱이 좋다고 ?
- 히든노드가 많아지면 분리면이 복잡해져 오버핏을 유발할수있다. 
- 레이어 갯수가 많아질수록 다차원분리가 가능해 복잡한 문제의 해결이 가능하다.

댓글 없음:

댓글 쓰기

gpustat command

sudo apt install gpustat watch --color -n0.1 gpustat --color