딥러닝은 더이상 블랙박스 툴이 아니다.

- 알비엠은 스토케스틱이고 딥러닝은 디터미니스틱 접근방법이다.
- 인간생체신호 펄스처럼 작동하는 스파이킹 뉴럴네트웍
- 덴스넷은 레즈넷에서 아이덴티티루프를 더하는게 아니라 옆에 붙이는 것이다.
- 이미지넷 사진갯수는 2017년 현재 천만장이다.
- 아담보다 네스테로브가 더 학습을 잘할때도 있다.
- 사람도 아기때는 비지도학습, 청소년이되선 지도학습을 한다.
- 드랍아웃은 요즘 많이 안쓴다
- 배치노멀라이제이션은 데이타 분포를 시그모이드의 중앙으로 이동시키는 것이다.
- 네트웍을 가지치기한후 재학습시켜 성능을 높이기도 한단다. 비임베디드 넷 프루닝.
- KLD > JSD > 와써스타인 다이버젼스
- 안정정인 학습을 시켜주는 wGAN
- 텍스트 같은 디스크릿 데이타는 갠 학습이 어렵다.
- 텍스트를 생성해주는 seqGAN
- 쌍을 이루지 않는 무작위 클래스데이타로부터 규칙을 학습하는 CycleGAN
- 딥러닝의 결과에 대한 설명을 가능하게 해주련ㄴ 노력들. CAM, LIME 등등
- 클래스판단 근거를 샐리언시맵으로 보여주는 CAM
- 입력 주변의 랜덤벡터로 선형모델을 만들어 해석하는 LIME
- 결과에 가장크게 기여하는 학습데이타를 알려주는 influence Function
- 분류결과를 겸손하게 만들어주는 기술.
- 경제적 앙상블인 셈인 드랍아웃은 가우시안 프로세스와 유사하다고.
- 성격이 다른 학습데이타들을 합치는 VAE 멀티모덜 트레이닝 기법
- 스스로 규칙을 찾아내는 VQA 와 RN의 원리.
- VQA는 이미 인간 성능을 넘어섰다고..
- RN은 CNN과 FC의 중간이다.
- RN은 피쳐들 뿐 아니라 피쳐들의 위치정보 또한 공유한다.
- CNN 입력에 약간에 노이즈를 섞으면 오인식을 하는 문제: adversarial Example
- 그걸 막는 방법과 그런 노이즈를 만들어내는 방법. Lipstick Constants.
- 딥러닝은 더이상 블랙박스 툴이 아니다.