적응형 판별기 증강(ADA) 기술

AI 분야.. 특히 딥러닝과 관련된 분야에서 가장 중요한 것은 적잘한 데이터의 확보라고 할 수 있습니다.

그런데 주가 데이터와 같이 쉽게 대규모의 데이터를 얻을 수 있는 분야도 있지만 영상인식과 같이 원하는 범위의 데이터를 쉽게 얻기 어려운 경우가 더 많죠.

다양한 얼굴을 학습하여 좋은 얼굴 인식 모델을 만들고 싶지만 초상권문제 등으로 얼굴 사진을 함부로 쓸 수 업는 것처럼 말이죠.

 

그래서 많은 경우의 영상인식 모델은 데이터 증강(Data Augmentation)이라는 방법을 사용합니다.

기존에 확보한 이미지를 좌우반전, 늘이기, 줄이기, 회전, 비틀기 등 다양한 형태로 변형시켜 그 수를 늘린 후 학습에 활용하는 방법이며 생각보다 좋은 효과를 거두고 있습니다.

 

또한 생성적 적대 신경망(Generative Adversarial Network, GAN) 모델이 발표된 후에는 GAN을 이용하여 가상의 이미지를 대량으로 생성하여 학습에 적용하는 기법이 인기를 끌고 있습니다.

실제의 대상과 유사하지만 다른 가상의 데이터를 만들 수 있으니 초상권같은 문제를 걱정하지 않아도 되며 이미지 뿐만 아니라 다른 형태의 데이터를 확보하는 데에도 활용되고 있습니다.

그런데 문제는 GAN 모델 자체도 학습을 해야 하기때문에 그를 위한 데이터는 역시 기존의 데이터 증강 방법을 사용하게 되었고 이런 방식은 GAN 모델이 제대로 된 합성 이미지를 만들지 못하고 이미지 변형을 모방하는 결과를 초래할 수 있다는 것입니다.

 

그래서 많은 연구자들이 이런 문제를 해결하기 위해서 연구를 계속해 왔는데 이번에 GPU 기술로 유명한 엔비디아에서 적응형 판별기 증강(Adaptive Discriminator Augmentation, ADA)이라는 기술을 발표하였습니다.

ADA 방법 역시 데이터 증강 기법에 그 기반을 두고 있지만 학습 과정동안 전체 범위를 대상으로 이미지를 변형하는 대신 필요한 만큼의 데이터만 선별적으로 수행하여 학습을 진행함으로써 과적합(Over-fitting) 문제를 피할 수 있게 해 줍니다.

엔비디아에서는 "데이터의 일부만을 사용하여 유명한 화가의 작품을 모방하고, 암 조직의 이미지를 재현하는 등의 복잡한 기술을 학습할 수 있다"라고 설명하고 있습니다.

엔비디아의 연구진은 StyleGAN2라는 모델에 ADA 방법을 적용하여 메트로폴리탄 미술관의 약 1500개에 달하는 이미지를 기반으로 작품을 재창조하는 결과를 보였습니다.

 

연구진에 의하면 ADA 기술을 이용할 경우 필요한 학습 이미지의 수를 1/10~1/20 수준으로 줄일 수 있다고 합니다.

ADA 기술을 이용하면 GAN을 사용하여 학습 이미지를 확보하고 활용하는 데에 큰 도움이 될 수 있을것으로 기대하고 있네요.

 

StyleGAN2-ADA 관련 소스코드는 깃허브( github.com/NVlabs/stylegan2-ada  )에서 확인하실 수 있습니다.

관련 논문은 링크 ( arxiv.org/pdf/2006.06676.pdf )에서 다운로드하여 확인할 수 있습니다.

 

StyleGAN2