DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Network

paper : openaccess.thecvf.com/content_cvpr_2018/html/Kupyn_DeblurGAN_Blind_Motion_CVPR_2018_paper.html

 

< Outline >

1. Introduction

2. The proposed method

3. Result

4. Conclusion

 

----------------------------------------------------------------------------------------------------

 

1. Introduction

 DeblurGAN은 Deblurred Image를 생성하여 object detection에 도움을 준다. Discriminator로 Wasserstein GAN을 사용하였으며 그외에도 multi-component loss function을 사용하였다.

2. The proposed method

 Generator Architecture + Loss(Perceptual loss + WGAN-GP loss) + Critic Network Architecture + Wasserstein distance으로 구성되어 있다.

 

 1) Generator

 - 2 strided convolution blocks with stride 1/2 + 9 Resblock + 2 transposed convolution block + skip connection으로 구성되어 있으며 끝에는 tanh함수가 사용되었다.

 - ReseBlock은 2 convolution lyaer + 2 instance normalization layer + ReLU activation으로 구성되어 있다.

 2) Loss

 Perceptual loss + WGAN-GP loss로 구성되어 있다.

 - Perceptual loss

 General content에 초점을 맞췄으며 Generator가 만든 deblurred image와 VGG-19로 학습한 image 차이를 의미한다. VGG Network는 Convolution layer를 통해서 이미지를 resize한 것이 아니라 Max Pooling을 사용해서 resize한 것이다.

 - WGAN-GP loss

 Texture detail에 초점을 맞췃으며 샘플의 품질과 상관관계가 있으며 WGAN-GP는 visual performance의 효율성이 좋다. 

 

 3) Discriminator

 WGAN with gradient penalty와 WGAN-GP 그리고 Critic Network로 구성되어 있으며 끝네는 sigmoid함수를 사용하였다.

 

 4) Wasserstein distance

 두 개의 주변 확률 분포를 일치시키기 위해 하나의 분포를 다른 분포로 변화시키기 위해 옮기는 과정으로 Samples간의 distance이다.

 

3. Result

 Object detection을 통해 한층 발전된 deblurred image임을 알 수 있다.

 

4. Conclusion

 Generator에서는 CNN architecture를 사용하였으며, 2개의 loss함수인 perceptual loss와 WGAN loss를 사용하였다. 도한 Discriminator에서는 critic network를 사용하였다. 

 

---

>> 부족한 점이 많을 수 있기에 잘못된 내용이나 궁금한 사항이 있으면 댓글 달아주시기 바랍니다.

>> 긴 글 읽어주셔서 감사합니다.