딥러닝 개념 정리

 

• 딥러닝

  

  • 다층이 아니라 심층을 의미함
  • 모델은 학습된 파라미터의 집합이라고 할 수 있음

• MLP (Multi Layer Perceptron)
  • sklearn의 neural_network
  • 층이 3개만 있음(input, hidden, output)

• 오차역전파
  • 목적 : 수치미분을 수행하지 않고, 학습에 필요한 편미분값을 획득
  • 원리
    • 체인룰(연쇄법칙) : 합성 함수의 미분은 합성 함수를 구성하는 개별 함수 미분의 곱으로 처리
    • 역전파 : 파라미터 업데이트를 위해 출력층의 오차값을 은닉층으로 전파

• DNN
  • 딥러닝 모델링 이슈
    • Vanishing Gradient → Activation 함수
      • sigmoid의 미분값이 0~0.25의 범위라서, 은닉층 증가에 따라서 미분값이 0이 되는 현상
      • relu, tanh(hyperbolic tangent), leaky relu
    • global minimum이 아닌 local minimum에 빠지는 문제 → Optimization
      • SGD(Stochastic Gradient Decent) : 배치 사이즈를 조정하여 데이터를 변경하는 방식
      • Momentum : 움직이는 쪽으로 가중치를 주는 방식
      • AdaGrad(Adaptive Gradient) : 학습률을 변경하는 방식
      • RMSProp : Adaptive 방식으로 제곱합을 지수평균(이동평균)으로 변경
      • Adam : Momentum + RMSProp를 융합한 방식
    • Over Fitting 이슈
      • 학습 데이터의 부족 → 추가 학습 데이터 수집
      • 모델의 Capacity가 너무 높다
        • 레이어 수를 조절하여 파라미터의 개수를 줄인다
        • L1(절댓값), L2(제곱) 규제를 설정한다
          • L2규제는 최소한의 파라미터를 찾는 것이고, L1규제는 필요한 파라미터를 뽑는 것이다
        • DropOut를 설정한다 (기본값 및 권장값은 0.5)
        • BatchNormalization를 설정한다 (레이어의 개수가 적으면 효과적이지 않을 수 있음)
  • 모델링 팁
    • 배치사이즈는 2의 제곱으로 설정하는 것이 좋다
    • 레이어 3개까지는 sigmoid를 사용해도 되는데, 5개 이상부터는 sigmoid를 안 쓰는 것이 좋다
    • 다중분류의 출력층은 softmax, 손실함수는 CEE(Cross Entropy Error)를 사용하기를 권장
      • CEE 계산시에 이진분류는 y값이 0 또는 1이지만, 다중분류에서는 y값은 1만 계산한다
    • 이진분류의 출력층은 1개로, 활성화함수는 sigmoid를 사용한다
    • 수치예측의 출력층은 activation을 사용하지 않고, wx + b의 형태로 반환하여야 한다.
    • EarlyStopping의 patience는 150~200으로 설정하는 편이

• CNN
  • 합성곱 연산이란 파라미터 행렬을 의미한다
  • Feature Extraction Layer(특징추출)와 Classification Layer(분류) 레이어로 구분된다.
  • 가중치 수를 줄이고 연산량을 감소시켜 성능을 향상하고자 한다.
  • Hyper Parameter
    • Filter의 개수와 크기
      • Feature Map를 생성하게 해준다.
      • FIleter의 크기는 주로 홀수를 설정한다.
    • Stride : 이동 간격, 기본값은 1
    • Padding
      • 기본값은 줄어드는 것으로 same padding을 설정해야 크기가 줄지 않는다.
        • 단 stride를 2로 설정하면 크기가 줄어든다.
      • 레이어가 10개만 되어도, 이미지가 소멸하지 않기 위해서 padding이 필요하다.
    • Pooling : 주로 MaxPooling를 사용하나, 요새는 사용하지 않는 추세
      • Pooling은 대부분 반으로 축소시키는데, 홀수인 경우에는 1줄을 날리고 반으로 축소시킨다.
      • 1줄이 소실되는 것을 막으려면 미리 padding으로 이미지를 채우면 된다.

• 데이터세트
  • imdb
    • x데이터만 있다 → y레이블을 어떻게 구성해야 하나?
    • x의 개수가 제각각이다 → 길이를 동일하게 바꾸자
  • mnist
    • x데이터만 있다 → y레이블을 어떻게 구성해야 하나?
    • input의 shape와 model의 shape가 다르다
    • 1차원의 데이터가 아니라 2차원데이터로 되었다 → 지역적 특징이 사라진다
    • 파라미터 개수가 줄었는데 성능이 좋게 나왔다
  • cats vs dogs
    • 이미지 사이즈가 다르다 (input shape를 정의하기 힘들다)
    • x데이터만 있다 → y레이블을 어떻게 구성해야 하나?