[AI] 인공 신경망(Artificial Neural Network) 용어1

---

1. 퍼셉트론(Perceptron)

인공신경망(Artificial Neural Network)의 가장 기본적인 형태
입력 데이터를 받아 특정 클래스에 속하는지 여부를 판단하는 역할을한다.

https://datascientest.com/perceptron

 

2.활성화 함수(Activation Function)

인공신경망(Artificial Neural Network)에서 뉴런의 출력 값을 결정하는 함수
입력 신호의 총합을 받아 이를 비선형 변환하여 다음 층으로 전달한다.
ex) 계단함수

https://medium.com/@shrutijadon/survey-on-activation-functions-for-deep-learning-9689331ba092

 

 

 

 

2-1.계단 함수(Step Function)

계산된 z 값을 이진 분류 결과로 변환하는 활성화 함수(Activation Function)중하나

 

 

 

 

 

 

 

 

2-2.하이퍼볼릭탄젠트 함수(Hyperbolic tangent function)

신경망에서 자주 사용되는 활성화 함수 중 하나
sigmoid 함수와 유사하지만 입력값을 -1과 1 사이의 값으로 변환하며, 그 특성상 0을 중심으로 대칭적인 함수다.

 

 

2-3.렐루 함수(ReLU)

신경망에서 가장 널리 사용되는 활성화 함수 중 하나
이 함수는 입력값이 0보다 클 때는 그대로 출력하고, 0 이하일 때는 0을 출력하는 단순한 함수다.
딥러닝 모델에서 학습 속도를 빠르게 하고, 기울기 소실 문제를 해결하는 데 유리하다.

 

 

 

2-4.리키 렐루(Leaky ReLU)

ReLU 함수의 변형으로, 죽은 뉴런 문제(Dead Neuron Problem)를 해결하기 위한 방법
일반적인 ReLU 함수는 음의 입력에 대해 출력값이 0이 되어 해당 뉴런이 학습되지 않는 문제가 발생할수 있기에 이 문제를 해결하기 위해 음수 입력값에 대해서도 작은 기울기를 부여한다.

 

 

 

 

2-5.소프트맥스 함수(Softmax function)

다중 클래스 분류 문제에서 사용되는 활성화 함수
각 클래스에 대한 확률을 출력하는 함수다.
입력값을 0과 1 사이의 확률로 변환하고, 이들의 합이 1이 되도록한다.

 

 

 

 

 

3.은닉층(Hidden Layer)

입력층(Input Layer)과 출력층(Output Layer) 사이에 위치한 층
신경망이 복잡한 데이터 패턴을 학습할 수 있도록 돕는 핵심 구성 요소
활성화 함수(Activation Function)를 통해 입력 데이터를 비선형적으로 변환하여 복잡한 패턴과 관계를 학습할 수 있게한다.

 

 

 

 

 

4.피드 포워드 신경망(Feed-Forward Neural Network, FFNN)

인공신경망(Artificial Neural Network)의 가장 기본적인 형태로 정보가 입력층(Input Layer)에서 시작하여 은닉층(Hidden Layer)을 거쳐 출력층(Output Layer)으로 한 방향으로만 전달되는 구조다.
역전파(Backpropagation)를 통해 학습이 이루어진다.

 

https://learn.flucoma.org/learn/mlp-parameters/

 

 

 

5.순환 신경망(Recurrent Neural Network,RNN)

시계열 데이터나 순차 데이터와 같은 연속적인 데이터를 처리하기 위해 설계된 신경망
이전 상태의 정보를 기억하고 활용하여 데이터 간의 의존성을 학습할수있다.

https://medium.com/@issackondreddy/chapter-3-recurrent-neural-networks-unlocking-the-secrets-of-sequential-data-5905ab186730

 

 

 

 

6.역전파(Backpropagation)

신경망 학습 과정에서 오차를 각 가중치와 편향에 대해 계산하여 이를 업데이트하는 알고리즘

https://www.analyticsvidhya.com/blog/2023/01/gradient-descent-vs-backpropagation-whats-the-difference/

6-1.순전파(Forward Propagation)

입력 데이터를 신경망을 통해 전달하여 최종 출력값(예측값)을 계산한다.

 

 

6-2.오차 계산(Error Calculation)

출력값과 실제값(정답) 간의 차이를 손실 함수(Loss Function)를 사용해 계산한다.

 

 

6-3.오차의 기울기 계산

출력층부터 입력층까지 역방향으로 각 가중치에 대한 오차의 기울기를 계산한다.

 

 

6-4.가중치 업데이트

계산된 기울기를 사용해 가중치를 업데이트한다.

 

 

 

 

 

 

7.기울기 소실(Vanishing Gradient)

신경망 학습 과정에서 역전파 중 기울기(Gradient) 값이 점점 작아져 가중치가 거의 업데이트되지 않는 문제
오래된 입력 정보가 사라지는 장기 의존성(Long-Term Dependency) 문제를 초래한다.