[Deep Learning] 인공 신경망

🎈 인공 신경망 (artificial neural network)

🎲 사람의 뇌 속 뉴런의 작용을 본떠 패턴을 구성한 컴퓨팅 시스템의 일종

뉴런의 구조

 

🎈 인공 신경망 뉴런

👉 생물학적인 뉴런을 수학적으로 모델링한 것

👉 여러 입력값을 받아서 일정 수준이 넘어서면 활성화되어 출력값을 내보냄

인공 신경망 모델

🎲 하나의  인공 뉴런(노드, node)  에서 다수의 입력 신호를 받아서 하나의 신호를 출력

🎲 뉴런의 돌기가 신호를 전달하는 역할을 하듯이 인공 뉴런에서는  가중치(weight)  가 그 역할을 함

      각 입력신호에는 고유한 가중치가 부여되며 가중치가 클수록 해당 신호가 중요하다고 할 수 있음

 

🎈 인공 신경망의 작동 원리

입력신호를 받는 인공 신경망의 작동 원리

편향을 0이라고 하고, 다수의 입력신호가 주어질 때의 인공 신경망 작동 원리

활성화 함수

👉 입력신호를 통한 출력값은  hΘ 함수  로 표현되며,  활성화 함수 (Activation Function)  라고 함

 

🎈 활성화 함수 (Activation Function)

🎲 시그모이드 함수 (Sigmoid function)

   : 활성화 함수가 일정 값을 넘어서면 1, 그 이하는 0 값을 출력하기 위해  시그모이드 함수 (Sigmoid function)  를 사용

     입력값 x와 각각의 입력값에 대한 가중치(weight) 세타값(Θ) 으로 계산된 시그모이드 함수에 입력하여 0과 1사이의

     값으로 바꾸며, 보통 0.5를 기준으로 0.5 미만은 0,  0.5 이상은 1에 대응되도록 하여 활성화 함수로 사용

Sigmoid function

Sigmoid function

✔  임계값을 기준으로 활성화 / 비활성화 되는  계단함수(step function)  or  Heaviside function  을 근사화

Heaviside function

🎲 ReLU 함수 (Rectified Linear Unit function)

   : 입력값이 0보다 크면 입력값을 그대로 출력, 입력값이 0 이하이면 0을 출력

     시그모이드부터 탄젠트 함수까지 해결되지 않았던  기울기 소실문제  를 아래의 함수로 해결

ReLU function

✔  시그모이드 함수는 도함수에서 0에서 1사이의 작은 값을 곱하면서 점점 기울기가 소실되는 문제가 발생

✔  ReLU 함수는 위의 그림과 같이 미분값이 1이기 때문에 기울기 소실문제가 발생하지 않고 학습효과가 계속 지속

✔  But, 신경망의 특정 출력이 0이 되면  학습해서 곱했던 기울기 값에 0을 곱하게 되어 값을 0으로 만들게 됨 

     (죽은 ReLU 문제)

 

🎲 Leaky ReLU 함수

✔  0보다 작거나 같을 때 0을 곱하는 것이 아닌  x에 0.01을 곱한 작은 양의 기울기를 사용  하여 죽은 ReLU 문제를 해결 

 

🎈 퍼셉트론 (Perceptron)

   : 뉴런의 원리를 본떠 만든 인공구조

Perceptron

🎲 퍼셉트론은 단순한 선형 분류기에 불과하여 OR, AND 와 같은 분류는 가능하나,  XOR 분류  는 해결할 수 없음

 

🎈 다중 퍼셉트론 (MLP, Multi-Layer Perceptron)

   : 은닉계층 (Hidden Layer) 이라는 중간층을 추가하여 선형분류기라는 한계를 극복

👉 인공신경망 뉴럴 네트워크는 뉴런들을 여러개 쌓아서 만들 수 있음

       Layer1 (Input Layer, 입력층), Layer2 (Hidden Layer, 은닉층), Layer3 (Output Layer, 출력층)  로 구성된 뉴럴 네트워크

 

🎈 역전파 알고리즘 (Backpropagtion Algorithm)

👉  순방향 (Feed forward) 연산 후  예측값과 정답 사이의  오차를 후방 (backward)  으로 다시 보내면서 학습시키는 방법

 

🎈 경사 하강법 (Gradient Descent)

   : 1차 근사값 발견용 최적화 알고리즘

     함수의 기울기(경사)를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복시킴

최적의 가중치 찾기

경사 하강법으로 근사값을 찾는 과정

 

🎲 문제점 1. 적절한 학습률 (learning rate)

학습률에 따른 비교

👉  학습률을 적절히 조정  하는 것이 매우 중요 

 

🎲 문제점 2. Local Minimum 문제

👉 전역 최소값(Global) 을 찾고 싶지만,  지역(Local) 최소값에 빠져 탈출하지 못하고 그대로 수렴  할 수 있음 

 

✔  학습 도중에 학습률을 지속적으로 바꾸는  Adaptive Gradient Descent,

local minimum 에 빠지는 경우를 방지하기 위해 관성력을 추가한  Momentum GD  와 같은 경사 하강법으로 해결