과학기술정보통신부가 내년 20억원의 예산을 들여 딥페이크 성착취물 탐지 및 생성 억제 기술을 연구한다./사진=이미지 투데이
과학기술정보통신부가 내년 20억원의 예산을 들여 딥페이크 성착취물 탐지 및 생성 억제 기술을 연구한다./사진=이미지 투데이

과학기술정보통신부가 20억원의 예산을 투입해 딥페이크 성 착취물 탐지 및 생성 억제 기술을 연구한다.

7일 뉴스1에 따르면 우사이먼성일 성균관대 교수는 딥페이크 성 착취물 탐지 및 억제 기술을 연구하고 있다. 그가 연구중인 딥페이크 성 착취물 탐지 기술은 딥페이크 생성 소프트웨어를 응용한 AI 모델에 기반한다. 보통 딥페이크 생성에는 적대적 생성 신경망(GAN), 스테이블 디퓨전 등 기술이 쓰인다.


적대적 생성 신경망은 가짜 이미지를 만드는 '생성 AI 네트워크'와 이것이 가짜인지 검증하는 '판별 네트워크' 간 경쟁으로 작동한다. 이런 경쟁을 반복하면 실제 사진(영상)과 구분하기 어려운 비디오·이미지가 생성된다.

스테이블 디퓨전은 영국 기업 스태빌리티 AI가 오픈소스로 보급한 모델이다. 간단한 명령어 입력만으로 이미지 등을 생성할 수 있다. 원본 이미지가 노이즈로 붕괴하는 과정을 역이용해 무작위 노이즈에서 고품질 이미지를 뽑아내는 '확산'을 사용했다.

업계는 GAN의 판별 네트워크 등을 별도로 떼어내 탐지 솔루션에 활용할 수 있다고 전망한다. 우 교수의 연구 역시 이런 방향성을 가지고 있다. 우 교수는 "딥페이크 생성 SW를 응용한 모델을 구축한 뒤 딥페이크의 특징이 될 만한 시각 데이터를 학습시킬 것"이라며 "어색한 머리카락, 혈류, 동공뿐만 아니라 비디오의 프레임 끊김, 인물 뒤 배경 등이 활용될 수 있다"고 설명했다.


AI 모델이 시각 데이터를 생성하는 것 자체를 억제하는 기술도 연구한다. 그는 "누드 등 특정 콘셉트의 콘텐츠는 아예 AI 모델이 생성하지 못하도록 하는 억제 설계를 연구할 계획"이라며 "기존 키워드 기반 검열이나 블러 등 후처리 방식보다 정교하면서도 일반적인 사용성을 저해하지 않는 게 목표"라고 말했다.

딥페이크 성 착취물의 가장 큰 과제는 탐지 솔루션의 범용성을 높이는 것이다. 딥페이크 생성 SW 방식은 방어 기술을 회피하고자 계속 변주되며 발전하고 있다.

우 교수는 "특정 생성 SW에 기반한 탐지 솔루션은 다른 생성 방식을 탐지하는 데 서투르다는 한계가 있었다"며 "AI 전이학습 등 방법을 통해 성능 저하를 저감할 방법을 연구할 예정"이라고 부연했다. 우 교수는 "개방 연구실 형태인 리빙랩 구성 후 각계각층의 의견을 수렴할 것"이라며 "국가기관과 플랫폼에 먼저 애플리케이션 프로그래밍 인터페이스(API) 형태로 제공할 계획"이라고 말했다.