노이즈 활용 시각-언어 정렬 강화

사전 학습된 시각-언어(VL) 모델의 발전과 함께, 다운스트림 태스크에서 시각 및 언어 양식 간의 정렬을 개선하는 것이 중요한 과제로 부상했습니다. 기존 미세 조정 방법들이 두 양식에 추가 모듈을 사용하는 것과 달리, 본 연구는 고정된 모델을 맞춤형 노이즈를 통해 미세 조정할 수 있는지 탐구합니다. 이 접근 방식은 노이즈의 영향을 정량적으로 분석하는 유익한 노이즈, 즉 긍정적 유인 노이즈(Pi-noise)에 대한 과학적 연구에서 영감을 받았습니다. 이를 통해 VL 모델 미세 조정에 활용될 수 있는 유익한 노이즈 분포를 학습하는 새로운 방안을 제시합니다. CLIP 기반 소수점 분류 태스크에 초점을 맞춰, CLIP의 추론 과정을 재구성하고 변분 추론을 적용하여 시각 및 언어 양식에 대한 Pi-noise 생성 방법을 시연합니다. 나아가, 시각 및 텍스트 인코더 모두에 노이즈를 주입하여 CLIP을 미세 조정할 수 있는 긍정적 유인 노이즈 주입기(PiNI)를 제안합니다. 제안된 방법은 유익한 노이즈 분포를 학습할 수 있으므로, 제한된 컴퓨팅 자원 내에서 특정 다운스트림 태스크를 위해 두 양식을 더 잘 정렬할 수 있는 보다 다양한 시각 및 언어 임베딩을 얻을 수 있습니다. 다양한 노이즈 통합 접근 방식과 PiNI의 네트워크 아키텍처를 평가했으며, 11개 데이터셋에 걸친 평가는 그 효과성을 입증했습니다. 이 연구는 노이즈를 활용한 VL 모델의 효율적인 미세 조정 가능성을 제시하며, 자원 제약 환경에서 모델 성능 향상에 기여할 수 있습니다.