[AI] 인코더 모델,디코더 모델,인코더-디코더 모델

---

1.인코더 모델 (Encoder Models)

입력 데이터를 이해하고, 이를 고차원의 벡터(잠재 공간)로 변환한다.
정보 압축과 특징 추출을 잘하고 주로 분류나 특징 생성 같은 작업에서 사용한다.

• BERT: 문장의 문맥적 표현을 학습하여 자연어 이해 작업(감정 분석, 질문 응답 등)에 사용.
• 컴퓨터 비전: CNN 기반 인코더로 이미지를 저차원 벡터로 변환.

 

 

 

 

2.디코더 모델 (Decoder Model)

주어진 벡터 표현(잠재 공간)에서 출력 데이터를 생성한다.
데이터 복원과 생성 능력이 좋아서 다양한 생성 작업(텍스트, 이미지 등)에서 유용하다.

• GPT 계열 모델: 주어진 텍스트를 기반으로 새로운 문장을 생성.
• 이미지 복원: 낮은 품질의 이미지나 영상 데이터를 고해상도로 복원.

 

 

 

 

3.인코더-디코더 모델 (Encoder-Decoder Model)

입력 데이터를 이해(인코더)하고, 이를 기반으로 출력을 생성(디코더)하는 모델이다.
RNN 기반 Seq2Seq 모델, Transformer등이 있다.

 

3-1.번역(인코더-디코더 모델)

 

• 입력: 한국어 문장 → 인코더 → 잠재 표현.
• 출력: 잠재 표현 → 디코더 → 영어 문장.

 

https://vitalflux.com/encoder-decoder-architecture-neural-network/