0719 새싹일지

배치를 넣는건 GPU 사용

 

파인튜닝?

 

SGD b = 1

미니배치사이즈

풀배치사이즈

 

Affine : 아핀, 어파인 참고하기

-> 비선형문제 해결

 

선형 변환 및 행렬 | 3장 선형대수학의 본질 (youtube.com)

 

보통 Dense layer라고 하는 애들이 Affine 변환

 

신경망의 결과는 항상 score => softmax에 넣으면 => 확률

 

학습률 크게 주다가 점점 작게 변화

 

adam = 모멘텀 + AdaGrad

 

가중치의 초기화

xavier(카이버) 초기값

시그모이드는 카이버초기값을 사용해야 정규분포 유지

 

드롭아웃

약간 껏다 켯다(연결 됐다 안됐다)하면서 학습 시켰다 안시켰다하는 느낌인듯.

 

하이퍼파라미터

ex) 그리드 서치, 베이지안 최적화, 뉴럴 아키텍트 서치(하이퍼파라미터를 찾아주는 딥러닝 모델), 

 

컨벌루션 신경망 -> 특징 추출

 

p.277 연산정밀도

메모리는 적게쓰지만 정밀도는 낮아짐?

현재는 4비트까지 줄임. => 딥러닝 모델 양자화

 

[인공지능] ANN, DNN, CNN, RNN 개념과 차이 (tistory.com)

[인공지능] ANN, DNN, CNN, RNN 개념과 차이

 

 

요즘쓰는 어텐션은 LSTM 기반으로 나옴. 

 

RNN은 다른 모델과 다르게 자기 자신을 입력받음

 

RNN

tan h 계속 만나서 정보 소실 -> 그걸 만나는걸 줄여줌(cell state 보존)

 

GRU는 한국인이 만듦. 대단대단굳.

 

<코드>

 

코랩 kreas폴더 -> cnn.ipynb

 

흑백 1채널 (RGB는 3채널)

# Sequential로 model 초기화

배치를 명시안해주고 바로 (28, ~~ ) 입력

 

tensorflow example(텐서플로 학습 -> 이미지)

 

칙촉봉지 하나로 위치를 돌리거나 찢는 등 변형을 가해서 여러 데이터를 만들어 증강.

 

 

머신러닝

 

그리드서치, 베이지안, optuna

 

로지스틱 회귀는 분류모델

 

n_j obs=1 : -1로 하면 cpu최대

 

머신러닝(p. 191)

지니 불순도가 0이면 분류가 끝난거

 

 bagging 방식은 데이터를 분류해서 하기 때문에 같은 분류모델을 사용해도 된다(데이터셋이 다르기 때문에)

배깅은 부스팅과 유사.

 

보팅은 하드 보팅과 소프트 보팅

 

로지스틱 회귀 : 시그모이드로 분류.