0328 새싹일지

범진이

귓속말의 자막나라

 

논문리뷰 유튜브

 

docker : 가상환경

 

loss를 줄이기 위해 파라미터(가중치) 조정

하이퍼 파라미터 : 사람이 개입(처음에 정함)

파라미터 : 사람이 개입x

 

순전파 역전파 계산하기

딥러닝을 이용한 자연어처리

: 역전파 이해하기

 

p.58 크로스엔트로피로 원래 해야하는데 어려우니까 mse로 하자

 

배치가 많은 경우 에러 더하고 나눠서 평균

 

밑바닥 딥러닝 187페이지까지 함.

#keras optimizer 확인

모멘텀, adam, sgd 등

모멘텀은 push 하는 느낌

adam은 상황에 따라 push하는 느낌

 

바트 버트 세서미 어쩌구

 

가중치의 초기값

 

정규분포로 초기화하는게 안좋은 방법

 

실습

- mnist 데이터(손글씨 데이터) 학습 실습

 

CNN

고양이 뇌파 실험

 

이미지의 윤곽을 찾고 그걸 종합해

어떤 패턴을 나타내면 어떤 결과를 보이는지?

 

학습할 것 

1. 윤곽을 학습시킴(딥러닝이 알아서 인식하도록)

2. 라벨을 다는 분류 문제를 해결할 수 있도록 학습

 

 

Image Kernels explained visually (setosa.io)

Image Kernels explained visually

사선만 detection하는?

 

딥러닝 4 (velog.io)

딥러닝 4

커널

 

 

커널 크기 만큼 매트릭스를 곱해 한 개로 표현

 

VGG16 Neural Network Visualization

 과일 학습 시키기

계속 추상화하면 픽셀단위로만 남음

 

원디맨션, 투디맨션 convolution

 

1. 2D 합성곱(2D Convolutions)

앞서 합성곱 신경망을 설명하며 합성곱 연산을 다음과 같이 정의했습니다.

합성곱 연산이란 커널(kernel) 또는 필터(filter) 라는 n × m 크기의 행렬로 높이(height) × 너비(width) 크기의 이미지를 처음부터 끝까지 겹치며 훑으면서 n × m 크기의 겹쳐지는 부분의 각 이미지와 커널의 원소의 값을 곱해서 모두 더한 값을 출력으로 하는 것을 말합니다. 이때, 이미지의 가장 왼쪽 위부터 가장 오른쪽 아래까지 순차적으로 훑습니다.

위와 같은 이미지 처리에서의 합성곱 연산을 2D 합성곱 연산이라고 부릅니다.

2. 1D 합성곱(1D Convolutions)

자연어 처리에 사용되는 1D 합성곱 연산을 정리해봅시다. LSTM을 이용한 여러 실습을 상기해보면, 각 문장은 임베딩 층(embedding layer)을 지나서 각 단어가 임베딩 벡터가 된 상태로 LSTM의 입력이 되었습니다. 이는 1D 합성곱 연산에서도 마찬가지입니다. 1D 합성곱 연산에서도 입력이 되는 것은 각 단어가 벡터로 변환된 문장 행렬로 LSTM과 입력을 받는 형태는 동일합니다.

'wait for the video and don't rent it'이라는 문장이 있을 때, 이 문장이 토큰화, 패딩, 임베딩 층(Embedding layer)을 거친다면 다음과 같은 문장 형태의 행렬로 변환될 것입니다. 아래 그림에서 𝑛은 문장의 길이, 𝑘는 임베딩 벡터의 차원입니다.

 

책읽기 과제