UNIT (Unsupervised Image to Image Translation Network)

github.com/eriklindernoren/PyTorch-GAN implementation

 

Image to Image translation의 대표 주자인 UNIT에 대해 정리를 해보려고 한다.

 

UNIT에서 말하는 Unsupervised는 학습을 하는것이 쉽지 않기 때문이다.

 

데이터를 사용할 때, Colorization이나 Super Resolution같은 문제는 정답 데이터가 있기 때문이다.

 

다른 이미지로 style translation을 한다면 두 도메인 사이의 Joint Distribution을 알아야 한다.

 

한정된 데이터를 가지고는 두 도메인 사이의 Joint Distribution을 알 수 없다.

 

UNIT에서는 새로운 방법을 제안 한다.

 

1. Shared Latent Space Assumption

  1) Coupled GAN

2. Weight-sharing

3. Cycle Consistency

  1) shared latent space를 통해 Cycle Consistency를 사용

4. Architecture

  1) GAN + VAE의 네트워크를 사용한다.

 

Shared latent space

Latent space의 구조도 이다.

Discriminator을 제외한 Encoder와 Generator의 모습을 나타 낸것이다.

각각의 도메인의 이미지는 E1 -> G1을 지나갈 때, Z라는 latent space를 공유한다.

 

UNIT Architecture

6개의 Sub network를 가지고 있다. 1,2는 도메인을 나타내고 각각의 조합은 다음과 같다.

E1 + G1 -> VAE

G1 + D1 -> GAN

E1 + G1 + D1 -> VAE – GAN

G1 + G2 + D1 + D2 -> CoGAN

 

Shared latent space로 인하여 Cycle consistency를 사용할 수 있다.

 

1도메인에서 2도메인으로 Translation하는 F를 찾을 수 있다