강건한 다중모드 감성 분석 융합 트랜스포머 RAFT

다중모드 감성 분석(MSA)은 텍스트, 오디오, 시각 신호를 통합 처리하여 인간의 감정을 이해하는 핵심 기술로 부상했습니다. 그러나 기존 융합 모델은 양상 잡음, 채널 누락, 약한 양상 간 결합 등 실제 환경의 문제에 취약합니다. 이 연구는 이러한 한계를 해결하고자 교차 양상 및 자기 주의 메커니즘과 잡음 모방 적대적 훈련을 통합한 RAFT(Robust Adversarial Fusion Transformer)를 제안합니다. RAFT는 불완전한 입력 조건에서 특징 상호작용과 복원력을 강화합니다. 특히, MSA에서 잡음 및 불완전 데이터 문제를 정형화하고, 적대적 잡음 시뮬레이션이 깨끗한 양상과 손상된 양상 간의 격차를 해소할 수 있음을 입증합니다. RAFT는 MOSI 및 MOSEI 두 벤치마크 데이터셋에서 평가되었습니다. 이 모델은 88% 이상의 이진 분류 정확도와 57%의 5단계 감성 분류 정확도를 달성하며 경쟁력 있는 성능을 보였습니다. 또한, 최신 기준 모델 대비 평균 절대 오차를 줄이고 피어슨 상관관계를 최대 2% 향상시켰습니다. 적대적 훈련과 문맥 인식 모듈이 강건성 향상에 크게 기여함이 절제 연구를 통해 확인되었습니다. 본 연구 결과는 RAFT가 잡음이 많은 환경에서 신뢰할 수 있는 실제 감성 분석을 위한 견고한 기반을 마련했음을 시사합니다. 향후 잡음 생성 전략을 정교화하고, 더 표현력 있는 융합 아키텍처를 탐색하며, RAFT를 장문 대화 및 문화적으로 다양한 표현으로 확장할 계획입니다.