[AI] Stable Diffusion의 CheckPont, VAE란 뭘까?

0.개요

오늘도 심심풀이로 StableDiffusion 모델 기반으로 AI 그림을 뽑아내던중 저위에 있는 CheckPoint랑 VAE가 뭘하는 친구들인지 갑자기 궁금증이 생겨서 조사하게되었다.

 

 

 

 

1. Diffusion 모델

이를 알기 위해서는 Diffusion 모델을 알아야하는데
처음에는 노이즈를 포함한 무작위 데이터를 만들고, 그 데이터를 점차적으로 '복원'하는 방법을 학습하는 방식이 Diffusion 모델의 방식이다.

https://asa9874.tistory.com/504

[AI] Diffusion 모델이 뭐지?

 

 

 

2.CheckPoint

CheckPoint란 뭘까? 알기전에 직접사용해보면 같은 Text 프롬프트를 넣어도 이에 따라 다른 결과가 생성되게 된다. 

CheckPoint는 학습된 모델의 상태를 저장한 파일로 주로 모델의 가중치와 구성 요소들이 포함되어 있어, 이를 통해 모델을 나중에 다시 불러와 사용할수있게 해준다. 
(모델 학습 과정에서 저장된 모델의 상태를 의미한다. 특정 에포크(epoch)나 검증(validation) 성능이 최고일 때 모델 저장한다.)

즉 노이즈상태에서 데이터를 뽑아올때 CheckPoint에 저장된 훈련된 모델의 가중치로 노이즈 제거 작업을 수행하는거다. 역방 과정은 특정 훈련된 모델의 가중치에 의존하므로 CheckPoint가 필요했던거다.

 

 

 

 

3.VAE?

CheckPoint의 경우 직관적으로 무엇을 수행하는지 알수있었지만 VAE는 무엇을 하는지 잘 몰랐다.

VAE(Variational Autoencoder)라고 하는것은 이미지 생성, 노이즈 제거, 이상 탐지, 데이터 복원 등의 작업에 사용되는 확률적 생성 모델이라고 한다.