노이즈 활용 시각-언어 정렬 강화
사전 학습된 시각-언어(VL) 모델의 발전과 함께, 다운스트림 태스크에서 시각 및 언어 양식 간의 정렬을 개선하는 것이 중요한 과제로 부상했습니다. 기존 미세 조정 방법들이 두 양식에 추가 모듈을 사용하는 것과 달리, 본 연구는 고정된 모델을 맞춤형 노이즈를 통해 미세 조정할 수 있는지 탐구합니다. 이 접근 방식은 노이즈의 영향을 정량적으로 분석하는 유익한 노이즈, 즉 긍정적 유인 노이즈(Pi-noise)에 대한 과학적 연구에서 영감을 받았습니다. 이를 통해 VL 모델 미세 조정에 활용될 수 있는 유익한 노이즈 분포를 학습하는 새…