Caramel LabCaramel Lab
#

트랜스포머

2의 한국어 분석 — 최신순으로 정렬했어요

컴퓨터 과학발표 2026.04· 5최근 1년 5

트랜스포머 및 CNN 기반 딥페이크 탐지

딥페이크 생성 기술의 발전은 디지털 미디어의 신뢰성을 위협하며, 사생활 침해, 보안 문제, 허위 정보 유포 등 심각한 위험을 초래하고 있습니다. 딥러닝(DL) 기반 탐지 방법론이 유망하지만, 적용의 일관성 부족, 표준화된 파이프라인 부재, 그리고 데이터셋 간 일반화 능력의 한계로 인해 실제 환경에서의 신뢰성 있는 배포가 어렵습니다. 본 연구는 비디오 딥페이크 탐지를 위해 트랜스포머 및 CNN 기반 아키텍처를 종합적으로 평가합니다. 여러 벤치마크 데이터셋과 새롭게 구축된 얼굴 재연(facial-reenactment) 데이터셋을 활용하여 교차 데이터셋 일반화 성능과 제한된 미세 조정(10-30%)을 통한 사전 학습 효과를 분석했습니다. 또한, 시간 윈도우 길이가 탐지 성능에 미치는 영향을 탐구했습니다. 실험 결과, TimeSformer 모델이 96프레임 클립과 30% 미세 조정을 통해 78.4%의 정확도, 0.801 AUC, 77.0% F1-점수를 달성하며 가장 우수한 성능을 보였습니다. 이는 시공간 통합 모델링의 이점을 입증합니다. 모든 모델은 적절한 미세 조정(20% 이상에서 성능 정체)을 통해 성능 향상을 보였으며, 클립 길이 증가는 시간적 인지 모델의 성능을 향상시켜 확장된 시간적 맥락의 중요성을 강조합니다. 이 연구는 현재 아키텍처의 강점과 한계에 대한 실증적 증거를 제공하며, 견고하고 일반화 가능한 딥페이크 탐지기 개발을 위한 향후 연구 및 실제 배포에 중요한 지침을 제시합니다.

컴퓨터 과학발표 2026.03· 5최근 1년 5

DeiTFake: 다단계 훈련 딥페이크 탐지

딥페이크는 디지털 미디어의 신뢰성을 심각하게 위협하는 주요 문제로 부상하고 있습니다. 본 연구는 이러한 위협에 대응하기 위해 DeiT 기반 트랜스포머 모델인 DeiTFake와 점진적 증강 복잡도를 활용하는 2단계 훈련 전략을 제안합니다. 제안하는 방법론은 표준 증강을 적용한 전이 학습 단계로 시작하며, 이후 고급 아핀 및 색상 기반 증강을 사용한 미세 조정 단계를 거칩니다. DeiT 모델의 사전 학습된 가중치를 활용하여 조작 흔적 학습을 위한 강력한 초기화를 제공함으로써 탐지 모델의 견고성을 크게 향상시킵니다. OpenForensics 데이터셋(190,335개 이미지)에서 파생된 얼굴 크롭 데이터셋으로 훈련된 DeiTFake는 1단계에서 98.71%의 정확도를 달성했으며, 2단계에서는 99.22%의 정확도와 99.97%의 AUROC(곡선하면적)를 기록했습니다. 이는 동일한 얼굴 수준 평가 설정에서 매우 우수한 성능을 보여줍니다. 본 연구는 증강 기법과 훈련 스케줄의 영향을 분석하고, 얼굴 딥페이크 탐지를 위한 실용적인 벤치마크를 제공합니다. 이를 통해 기존 모델 대비 우수한 딥페이크 탐지 성능을 입증하며, 디지털 미디어 보안 강화에 기여할 수 있습니다.

연구 트렌드로 돌아가기