딥페이크 기술은 사실적인 얼굴 이미지 및 비디오 합성을 목표로 하며, 엔터테인먼트, 영화 제작, 디지털 휴먼 모델링 등 광범위한 응용 잠재력을 지닌다. 최근 확산 모델의 등장으로 생성 품질이 크게 향상되며 연구의 새로운 물결을 일으켰다. 그러나 딥페이크의 오용 가능성(프라이버시 침해, 피싱 공격 등)에 대응하기 위해 탐지 기술 또한 지속적으로 발전하고 있다.
본 연구는 딥페이크 생성 및 탐지 분야의 최신 발전을 종합적으로 검토한다. 먼저, 태스크 정의를 통일하고, 데이터셋 및 평가 지표를 포괄적으로 소개하며, 기반 기술을 요약한다. 이어서 얼굴 스와핑, 얼굴 재연, 대화하는 얼굴 생성, 얼굴 속성 편집 등 네 가지 대표적인 딥페이크 연구 분야와 위조 탐지 기술의 발전을 심층적으로 분석한다.
또한, 널리 사용되는 데이터셋에 대해 대표적인 방법론들을 벤치마킹하여 가장 영향력 있는 연구들의 최신 평가를 제공한다. 이를 통해 빠르게 진화하는 이 분야의 현재 기술 수준을 명확히 제시한다.
마지막으로, 딥페이크 기술의 주요 과제를 논의하고 향후 연구 방향을 제시한다. 본 조사는 컴퓨터 과학 분야의 STEM 학생 및 연구자들이 딥페이크 기술의 핵심을 신속하게 파악하고 관련 연구에 기여할 수 있도록 돕는다.
본 논문은 현대 컨볼루션 신경망(ConvNets) 설계에서 대형 컨볼루션 커널 활용 패러다임을 제안한다. 여러 개의 작은 커널을 쌓는 대신 소수의 대형 커널을 사용하는 것이 더 우수한 설계 전략이 될 수 있음을 규명하였다. 우리는 대형 커널 ConvNets의 효율성과 성능을 최적화하는 아키텍처 설계 가이드라인을 제시한다.
특히, 대형 커널 ConvNets를 위해 고안된 체계적인 아키텍처 설계 원칙을 제공하는 UniRepLKNet 아키텍처를 제안한다. 이 아키텍처는 깊은 레이어 스태킹 없이도 광범위한 공간 정보를 포착하는 대형 커널의 고유한 능력에 중점을 둔다.
그 결과, UniRepLKNet은 ImageNet 정확도 88.0%, ADE20K mIoU 55.6%, COCO box AP 56.4%를 달성하여 이전 모델들을 능가한다. 또한 시계열 예측, 오디오, 포인트 클라우드, 비디오 인식 등 다양한 양식에서 인상적인 확장성과 성능을 보인다. 이는 대형 커널 ConvNets가 비전 트랜스포머보다 빠른 추론 속도로 범용적인 모델링 능력을 가짐을 시사한다.
우리의 연구는 대형 커널 ConvNets가 더 큰 유효 수용장(effective receptive fields)과 높은 형태 편향(shape bias)을 가지며, 이는 작은 커널 CNN에서 흔히 나타나는 텍스처 편향(texture bias)에서 벗어남을 밝혀냈다.
소형 객체 탐지(SOD)는 컴퓨터 비전 분야에서 감시, 자율 시스템, 의료 영상, 원격 탐사 등 다양한 응용 분야에 필수적이지만, 해결하기 어려운 과제입니다. 소형 객체는 해상도가 낮고 공간 및 문맥 정보가 제한적이며, 가려짐, 배경 간섭, 클래스 불균형 등의 문제로 인해 정확한 탐지가 어렵습니다.
이 조사는 2024-2025년 Q1 저널에 발표된 딥러닝 기반 SOD 관련 최신 연구들을 종합적으로 검토합니다. 주요 도전 과제, 최신 기술, 데이터셋, 평가 지표 및 실제 적용 사례를 분석했습니다. 특히 다중 스케일 특징 추출, 초해상화(SR), 어텐션 메커니즘, 트랜스포머 기반 아키텍처 등 딥러닝의 혁신적인 솔루션들을 다룹니다.
또한, 데이터 증강, 합성 데이터 생성, 전이 학습을 통해 데이터 부족 및 도메인 적응 문제를 해결하는 방안을 제시합니다. 경량 신경망, 지식 증류(KD), 자기 지도 학습과 같은 새로운 트렌드는 UAV 기반 감시 및 엣지 컴퓨팅과 같은 자원 제약 환경에서 탐지 효율성을 향상시키는 유망한 방향을 제시합니다.
실제 적용 사례로 FFCA-YOLO는 원격 탐사 분야에서 높은 성능을 보였고, DsP-YOLO는 산업 결함 탐지에서 95.8%의 mAP를 달성했습니다. 본 조사는 SOD 분야의 현재와 미래 연구 방향을 이해하는 데 중요한 통찰을 제공합니다.
대규모 언어 모델과 비전-언어 모델(VLM)을 포함한 파운데이션 모델은 효율적이고 확장 가능하며 다중 모드 학습을 통해 인공지능 분야에 혁신을 가져왔습니다. 이러한 모델은 자기 지도 및 준 지도 학습의 발전을 활용하여 컴퓨터 비전과 자연어 처리를 통합함으로써 질병 분류, 분할, 교차 모드 검색, 자동 보고서 생성과 같은 복잡한 작업을 해결합니다.
의료 분야에서 파운데이션 모델은 다양한 의료 영상 모달리티 정보와 방사선 보고서 및 임상 기록의 텍스트 데이터를 결합하여 중요한 문제를 해결합니다. 이러한 통합은 진단 워크플로우를 간소화하고 정확도를 높이며 견고한 의사 결정을 가능하게 하는 도구 개발로 이어졌습니다.
본 리뷰는 2022년부터 2024년까지 의료 VLM의 최신 발전을 체계적으로 검토하며, 의료 영상 분야의 모달리티별 접근 방식과 맞춤형 응용에 중점을 둡니다. 주요 기여는 기존 모델을 분류하기 위한 구조화된 분류 체계, 훈련 및 평가에 필수적인 데이터셋에 대한 심층 분석, 그리고 실제 응용 사례 검토를 포함합니다.
이 연구는 또한 현재 진행 중인 과제를 다루고 의료 분야에서 파운데이션 모델의 접근성과 영향력을 높이기 위한 미래 방향을 제시합니다.
자율주행 분야에서 월드 모델은 다중 시점 운전 영상 생성에 탁월한 성능을 보였으나, 맞춤형 영상 생성에는 한계가 있었습니다. 본 연구는 사용자 정의 운전 영상 생성을 위해 대규모 언어 모델(LLM)을 통합한 DriveDreamer-2를 제안합니다.
DriveDreamer-2는 사용자 설명에 부합하는 궤적을 생성하는 궤적 생성 함수 라이브러리를 개발하고, 궤적에서 도로 구조를 학습하는 HDMap 생성기를 설계했습니다. 또한, 생성된 다중 시점 운전 영상의 시간적, 공간적 일관성을 강화하기 위해 통합 다중 시점 모델(UniMVM)을 제안합니다.
DriveDreamer-2는 맞춤형 운전 영상을 생성하는 최초의 월드 모델로, 차량의 갑작스러운 끼어들기 같은 비정형적인 시나리오도 사용자 친화적으로 생성할 수 있습니다. 실험 결과, 생성된 영상은 3D 객체 탐지 및 추적과 같은 운전 인지 방법론의 훈련을 향상시키는 것으로 나타났습니다.
DriveDreamer-2는 기존 최첨단 방법론 대비 FID 11.2, FVD 55.7을 달성하여 각각 약 30%, 50%의 상대적 성능 향상을 보였습니다. 이는 영상 생성 품질 면에서 월등함을 입증합니다.
전기 오토바이 운전자 및 동승자의 헬멧 착용 여부를 자동으로 감지하는 객체 감지 알고리즘은 규제 인력 비용을 절감할 수 있습니다. 그러나 복잡한 환경 배경과 헬멧과 유사한 머리 장식은 오탐 및 미탐을 유발하여 감지 정확도를 저하시키는 문제가 있었습니다.
본 연구에서는 이러한 문제를 해결하기 위해 YOLOv8n-Improved 객체 감지 알고리즘을 제안합니다. 이 알고리즘은 먼저 넥(neck) 부분에서 단순화된 가중 양방향 특징 피라미드 네트워크(Bi-FPN) 구조를 사용하여 단일 입력 노드를 제거하고, 연결 에지를 추가하며, 특징의 중요도에 따라 경로 가중치를 부여합니다. 이를 통해 알고리즘의 다중 스케일 특징 융합 능력을 최적화하고 계산 효율성을 향상시킵니다.
또한, 헤드(head) 부분에서는 예측 박스와 실제 박스 간의 벡터 각도를 도입하는 스케일 민감형 IoU(Intersection over Union) 손실 함수를 사용하여 페널티 측정 방식을 재정의합니다. 이 개선은 네트워크의 수렴 속도를 높이고 모델의 정확도를 향상시킵니다.
테스트 세트에서 비교 검증한 결과, YOLOv8n-Improved 알고리즘은 전기 오토바이 및 헬멧 감지에서 평균 정밀도(AP)가 각각 1.37% 및 3.16% 증가했으며, 전체 평균 AP는 2.27% 향상되었습니다. 또한, 두 범주 모두에서 오탐 및 미탐이 감소하는 것을 확인했습니다. 이 연구는 헬멧 착용 감지 시스템의 실용성을 크게 높이는 데 기여할 것입니다.
정교한 생성 기술로 오디오-시각 데이터 조작이 증가함에 따라 딥페이크 탐지는 중요한 과제가 되었습니다. 기존 방법은 주로 오디오-시각 특징을 이용한 립싱크 동기화에 초점을 맞추며, 컨볼루션 신경망(CNN)을 통한 지역 특징 추출에 의존합니다.
본 연구는 지역 및 전역 특징 통합을 통해 딥페이크 탐지를 강화하는 멀티모달 프레임워크를 제안합니다. 기존 파이프라인에 눈 움직임, 얼굴 영역 등 추가 시각 특징과 오디오 특징을 결합하여 교차 모달 의존성을 모델링합니다. CNN은 지역 특징을, 비전 트랜스포머(ViT)는 시각 및 오디오 양식에서 전역 맥락 관계를 추출합니다. 확산 모델은 전처리기로 통합되어 노이즈 데이터를 정제하고 사실적인 증강을 생성하여 고품질 특징 표현을 보장합니다.
제안된 프레임워크는 FakeAVCeleb, AV-Deepfake1M, TVIL, LAV-DF 데이터셋에서 각각 0.9987, 0.9825, 0.9915, 0.9812의 정확도를 달성하며 최첨단 성능을 보였습니다. 이는 기존 방법 대비 상당한 개선을 의미합니다.
이러한 결과는 조작된 오디오-시각 데이터 전반에 걸쳐 미묘한 불일치를 탐지하는 프레임워크의 우수한 일반화 및 견고성을 입증합니다. 본 연구는 딥페이크 탐지 기술 발전에 기여하며, 향후 멀티모달 위협 대응에 중요한 기반을 제공할 것입니다.
