멀티모달 딥페이크 탐지 강화

정교한 생성 기술로 오디오-시각 데이터 조작이 증가함에 따라 딥페이크 탐지는 중요한 과제가 되었습니다. 기존 방법은 주로 오디오-시각 특징을 이용한 립싱크 동기화에 초점을 맞추며, 컨볼루션 신경망(CNN)을 통한 지역 특징 추출에 의존합니다. 본 연구는 지역 및 전역 특징 통합을 통해 딥페이크 탐지를 강화하는 멀티모달 프레임워크를 제안합니다. 기존 파이프라인에 눈 움직임, 얼굴 영역 등 추가 시각 특징과 오디오 특징을 결합하여 교차 모달 의존성을 모델링합니다. CNN은 지역 특징을, 비전 트랜스포머(ViT)는 시각 및 오디오 양식에서 전역 맥락 관계를 추출합니다. 확산 모델은 전처리기로 통합되어 노이즈 데이터를 정제하고 사실적인 증강을 생성하여 고품질 특징 표현을 보장합니다. 제안된 프레임워크는 FakeAVCeleb, AV-Deepfake1M, TVIL, LAV-DF 데이터셋에서 각각 0.9987, 0.9825, 0.9915, 0.9812의 정확도를 달성하며 최첨단 성능을 보였습니다. 이는 기존 방법 대비 상당한 개선을 의미합니다. 이러한 결과는 조작된 오디오-시각 데이터 전반에 걸쳐 미묘한 불일치를 탐지하는 프레임워크의 우수한 일반화 및 견고성을 입증합니다. 본 연구는 딥페이크 탐지 기술 발전에 기여하며, 향후 멀티모달 위협 대응에 중요한 기반을 제공할 것입니다.