시각-언어 MLLM 연구 및 활용 가이드

본 조사는 이미지 캡셔닝, 시각 질의응답, 교차 모달 검색 등 시각-언어 작업을 중심으로 다중 모달 대규모 언어 모델(MLLM)에 대한 포괄적인 가이드를 제공한다. MLLM의 아키텍처, 훈련 파이프라인, 실제 적용 사례를 분석하며, 시각 인코더, 언어 모델 백본, 연결 모듈, 대조 사전 학습, 명령어 튜닝, 선호도 정렬 등을 다룬다. 정보 병목 현상, 데이터 처리 한계, 통계적 동시 발생 편향 등 아키텍처, 견고성, 평가에 영향을 미치는 근본적인 제약 조건을 조명한다. 시각-언어 시스템에 중점을 두며, 오디오 전용 모델이나 시각 입력이 없는 코드 생성 도구는 다루지 않는다. 작업 수준 분석과 시스템 수준 사례 연구를 통해 주요 MLLM 구현을 검토하고, 확장성, 메모리, 에너지 사용, 추론 비용, 견고성, 교차 모달 학습의 주요 과제를 해결한다. MLLM 설계 공간의 통합 분류 체계, 대표 모델 및 평가 벤치마크의 비교 개요, 미해결 문제에 대한 논의를 제시한다. 윤리적 고려 사항과 책임 있는 AI 개발로 마무리하며, 본 조사는 자연어 처리와 컴퓨터 비전의 교차점에서 연구하는 연구자, 실무자 및 학생들에게 이론적 틀과 실제적 통찰력을 제공한다.