2017년 10월 23일 월요일

CNN, RNN cs231n

- 레즈넷 아이덴티티 루프 이슈
- 디그레데이션 이라는 낯선 용어, 그레디언트 디슨트 와는 다른거라고
- 글로벌 애버리지 풀링으로 연산량을 줄일수 있다고
- 인셉션 버전2에는 3x3 콘볼을 3x1 + 1x3 으로 바꿔서 속도를 향상(?) 시켰다고 ..
-  네떡 안에 네떡이 들어있는 NiN 네트웍

레즈넷 이후의 주요 고성능 망들 ..
- 와이드 레지듀얼 네트웍: F x k 필터를 여러개 체배해 와이드하게 만든넷(두터움이 아니고 와이드? 이해 안감)
- ResNext
- FractalNet : 미시구조가 거시구조와 닮아있게 반복되는 구조 ... 생체 에서 흔히 나타나는 프랙탈에서 힌트를 얻은듯
- SqueezeNet : ZFNet 처럼 알렉스넷을 다이어트 시킨거라고 

- 그룹 깃허브 개설했다고: https://github.com/deepsight-korea
- 앞으로 출석관련은 카톡을 이용하고 텔레그램에선 스터디 내용만 이야기 하는걸로  !

- 한 시점에서 RNN의 입출력 노드는 무조건 1개씩이다.
- RNN 모델에서 매니-to-one 입출력은 는 매니타임-to-one 입출력으로 고쳐 불러야..
- 이미지 캡션 모델에서 진짜 입력은 CNN 피쳐 입력인듯.
- CNN네떡의 노드들이 공간적 특징을 표현했듯이 RNN네떡의 노드들은 시간적 분포의 특징을 잡는 방향으로 학습됨.
- RNN 발표자 형규가 반응이 미적지근해 좀 셀프 실망한듯.. 담번에 많은 리액션과 질문을 안겨줍시다~

댓글 없음:

댓글 쓰기

gpustat command

sudo apt install gpustat watch --color -n0.1 gpustat --color