2026년 43주차 · 급상승 연구 주제
컴퓨터 과학 · Multimodal Machine Learning Applications
연 2,090 → 3,395편
분야 평균 대비 +37%p
현실 세계의 정보는 이미지, 텍스트, 음성 등 다양한 형태로 존재하며, 이들을 통합하여 분석하면 단일 모달리티보다 더 풍부하고 정확한 이해를 얻을 수 있기 때문에 각광받고 있습니다.
출판량은 OpenAlex 전수 데이터를 최근 12개월과 직전 12개월로 나눠 비교한 값이에요. 분야 전체가 함께 커지는 착시를 빼기 위해 분야 중앙값 성장률을 차감한 초과 성장(+37%p)으로 순위를 매겼어요.
학부·석사 수준에서 실제로 착수 가능한 스케일로 좁힌 방향이에요. 마음에 드는 걸 고르면 카라멜 조교가 이어서 구체화해 줘요.
온라인 강의 영상의 음성 및 자막 데이터를 활용한 학습자 집중도 분석 모델 개발
아이디에이션2SNS 게시물의 이미지와 텍스트를 결합하여 특정 이벤트 감지 및 분류 정확도 개선
아이디에이션3제품 리뷰의 사진과 텍스트 정보를 융합하여 사용자 감성 분석 및 상품 추천 시스템 고도화
아이디에이션인용 속도와 최신성으로 고른 논문이에요. 한국어 요약을 먼저 보고, 원문은 8개 섹션 풀 분석으로 이어갈 수 있어요.
Sa2VA: Marrying SAM2 With MLLM for Dense Grounded Understanding of Images and Videos
기존 멀티모달 대규모 언어 모델(MLLM)은 특정 모달리티 및 작업에 국한되는 한계가 있습니다. 본 연구는 이미지와 비디오 모두에 대한 밀집 접지 이해를 위한 최초의 포괄적이고 통합된 모델인 Sa2VA를 제안합니다. Sa2VA는 참조 분할 및 대화를 포함한 광범위한 이미지 및 비디오 작업을 지원하며, 최소한의 단일 단계 지시 튜닝만 필요합니다. Sa2VA는 기반 비디오 분할 모델인 SAM-2와 고급 비전-언어 모델인 MLLM을 결합하여 텍스트, 이미지, 비디오를 공유 LLM 토큰 공간으로 통합합니다. LLM을 활용하여 Sa2VA는…
A Comprehensive Survey and Guide to Multimodal Large Language Models in Vision–Language Tasks
본 조사는 이미지 캡셔닝, 시각 질의응답, 교차 모달 검색 등 시각-언어 작업을 중심으로 다중 모달 대규모 언어 모델(MLLM)에 대한 포괄적인 가이드를 제공한다. MLLM의 아키텍처, 훈련 파이프라인, 실제 적용 사례를 분석하며, 시각 인코더, 언어 모델 백본, 연결 모듈, 대조 사전 학습, 명령어 튜닝, 선호도 정렬 등을 다룬다. 정보 병목 현상, 데이터 처리 한계, 통계적 동시 발생 편향 등 아키텍처, 견고성, 평가에 영향을 미치는 근본적인 제약 조건을 조명한다. 시각-언어 시스템에 중점을 두며, 오디오 전용 모델이나 시각 …
Multimodal foundation models exploit text to make medical image predictions
멀티모달 파운데이션 모델은 의료 영상 해석에서 주목할 만하지만 상충되는 성능을 보여왔으며, 이미지와 텍스트 등 다양한 데이터 양식을 통합하고 우선순위를 정하는 방식은 명확히 이해되지 않았습니다. 본 연구는 이러한 모델들이 의료 영상 예측에 텍스트를 어떻게 활용하는지 탐구합니다. 저자들은 8가지 독점 및 오픈소스 멀티모달 파운데이션 모델을 1,090개의 멀티모달 의료 사례에 적용하여 평가했습니다. 이 과정에서 모델이 다양한 정보 양식을 통합하는 방식을 면밀히 분석했습니다. 연구 결과, 이미지 예측은 주로 텍스트 정보에 의해 좌우되…
Generalist foundation models from a multimodal dataset for 3D computed tomography
의료 AI, 특히 3D 영상 분야의 발전은 포괄적인 데이터셋 부족으로 제약을 받아왔습니다. 본 연구는 3D 의료 영상과 해당 텍스트 보고서를 결합한 공개 데이터셋인 CT-RATE를 소개합니다. CT-RATE는 21,304명의 환자로부터 얻은 25,692개의 비조영 흉부 CT 스캔과 방사선 보고서로 구성됩니다. CT-RATE를 활용하여, 특정 작업 훈련 없이 광범위하게 적용 가능한 CT 중심의 대조 언어-영상 사전 학습 프레임워크인 CT-CLIP을 개발했습니다. 또한, CT-CLIP의 비전 인코더와 사전 학습된 대규모 언어 모델을 …
A Survey on Vision--Language--Action Models for Embodied AI
체화 인공지능(Embodied AI)은 물리적 세계에서 로봇이 작업을 수행하도록 제어하는 것을 포함하기에 인공 일반 지능(AGI)의 핵심 요소로 주목받고 있습니다. 최근 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)의 성공을 기반으로, 언어 조건부 로봇 작업을 처리하고 행동을 생성하는 시각-언어-행동(VLA) 모델이 새로운 다중 모드 모델로 부상했습니다. 이처럼 빠르게 발전하는 VLA 모델 분야를 체계적으로 정리하기 위한 포괄적인 연구의 필요성이 증대되고 있습니다. 본 연구는 체화 인공지능을 위한 VLA 모델에 대한 최초의…
From language to action: a review of large language models as autonomous agents and tool users
인간 수준의 인공지능(AI)을 향한 노력은 자율 에이전트와 대규모 언어 모델(LLM)의 발전을 크게 촉진했습니다. LLM은 지시 해석, 순차적 작업 관리, 피드백을 통한 적응 능력 덕분에 의사결정 에이전트로 널리 활용되고 있습니다. 본 리뷰는 자율 에이전트 및 도구 사용자로서 LLM의 최신 개발 동향을 7가지 연구 질문을 중심으로 분석합니다. 2023년부터 2025년 사이에 A* 및 A 등급 학술대회와 Q1 저널에 게재된 논문만을 사용했습니다. LLM 에이전트의 아키텍처 설계 원칙을 단일 및 다중 에이전트 시스템으로 나누어 구조적…
Multimodal learning with next-token prediction for large multimodal models
텍스트, 이미지, 비디오 등 다양한 양식(modality)을 아우르는 통합 학습 및 생성 알고리즘 개발은 인공지능 분야의 오랜 난제였습니다. 대규모 언어 모델(LLM)에서 혁신을 이끈 차세대 토큰 예측(next-token prediction) 방식은 멀티모달 영역으로의 확장에 한계가 있었으며, 이미지 및 비디오 합성에 주로 사용되는 확산 모델(diffusion model)이나 비전 인코더와 언어 모델을 통합하는 복합 프레임워크가 여전히 지배적이었습니다. 본 연구는 차세대 토큰 예측 방식만으로 학습된 멀티모달 모델인 Emu3 제품군…
Efficient multimodal large language models: a survey
최근 멀티모달 대규모 언어 모델(MLLM)은 시각 질의응답 및 시각 이해·추론 분야에서 뛰어난 성능을 보였습니다. 그러나 방대한 모델 크기와 높은 학습 및 추론 비용은 학계와 산업 전반에 걸친 MLLM의 광범위한 적용을 저해하는 요인으로 작용했습니다. 특히 엣지 컴퓨팅 환경에서 효율적이고 경량화된 MLLM 연구의 잠재력은 매우 큽니다. 본 연구는 효율적인 MLLM의 현재 상태를 포괄적이고 체계적으로 검토합니다. 구체적으로 대표적인 효율적 MLLM의 발전 과정, 구조 및 전략에 대한 연구 현황, 그리고 다양한 응용 사례를 요약하여 …
Multi-Step Reasoning with Large Language Models, a Survey
수십억 개의 매개변수를 가진 대규모 언어 모델(LLM)은 특정 훈련 없이도 소수의 예시만으로 학습하는 인컨텍스트 학습 능력을 보인다. 기존 모델들이 언어 과제에서 뛰어난 성능을 보였지만, 기본적인 추론 벤치마크에서는 한계를 드러냈다. 그러나 새로운 인컨텍스트 학습 접근법인 Chain-of-Thought는 이러한 벤치마크에서 강력한 다단계 추론 능력을 입증했다. 본 연구는 LLM의 다단계 추론 분야를 종합적으로 검토한다. 다단계 추론의 생성, 평가, 제어 방식을 체계화하는 분류법을 제시하고, 핵심 접근법과 미해결 과제를 심층적으로 …
SkyEyeGPT: Unifying remote sensing vision-language tasks via instruction tuning with large language model
최근 대규모 언어 모델(LLM)이 시각-언어 영역으로 확장되어 인상적인 다중 모달 능력을 보이고 있으나, 원격 탐사(RS) 데이터에 특화된 다중 모달 대규모 언어 모델(MLLM) 연구는 초기 단계이며, 관련 데이터셋 부족과 성능 한계가 존재합니다. 본 연구는 이러한 문제를 해결하고자 RS 다중 모달 지시 튜닝 데이터셋인 SkyEye-968k를 구축했습니다. 이 데이터셋은 단일 및 다중 작업 대화 지시를 포함하며, 수동 검증을 거쳐 968k개의 고품질 샘플로 구성됩니다. 이를 기반으로 RS 다중 세분화 시각-언어 이해를 위해 특별히…
Vision-language foundation models for medical imaging: a review of current practices and innovations
대규모 언어 모델과 비전-언어 모델(VLM)을 포함한 파운데이션 모델은 효율적이고 확장 가능하며 다중 모드 학습을 통해 인공지능 분야에 혁신을 가져왔습니다. 이러한 모델은 자기 지도 및 준 지도 학습의 발전을 활용하여 컴퓨터 비전과 자연어 처리를 통합함으로써 질병 분류, 분할, 교차 모드 검색, 자동 보고서 생성과 같은 복잡한 작업을 해결합니다. 의료 분야에서 파운데이션 모델은 다양한 의료 영상 모달리티 정보와 방사선 보고서 및 임상 기록의 텍스트 데이터를 결합하여 중요한 문제를 해결합니다. 이러한 통합은 진단 워크플로우를 간소화…
Enhance Vision-Language Alignment with Noise
사전 학습된 시각-언어(VL) 모델의 발전과 함께, 다운스트림 태스크에서 시각 및 언어 양식 간의 정렬을 개선하는 것이 중요한 과제로 부상했습니다. 기존 미세 조정 방법들이 두 양식에 추가 모듈을 사용하는 것과 달리, 본 연구는 고정된 모델을 맞춤형 노이즈를 통해 미세 조정할 수 있는지 탐구합니다. 이 접근 방식은 노이즈의 영향을 정량적으로 분석하는 유익한 노이즈, 즉 긍정적 유인 노이즈(Pi-noise)에 대한 과학적 연구에서 영감을 받았습니다. 이를 통해 VL 모델 미세 조정에 활용될 수 있는 유익한 노이즈 분포를 학습하는 새…
Vision-Language Models for Autonomous Driving: CLIP-Based Dynamic Scene Understanding
자율주행 시스템의 안전성 향상, 운전자 의사결정 설명, 그리고 주행 영상 분석을 위한 장면 이해는 필수적입니다. 본 연구는 동적 장면 검색 시스템을 개발했으며, 이는 CLIP(Contrastive Language–Image Pretraining) 모델을 활용하여 엣지 디바이스에 실시간 배포 가능하도록 최적화되었습니다. 제안된 시스템은 복잡한 시나리오에서 GPT-4o의 제로샷(zero-shot) 기능을 포함한 기존의 최첨단 인컨텍스트 학습 방법론을 능가하는 성능을 보였습니다. 약 80시간 분량의 주행 영상이 포함된 Honda Sce…
High-level visual representations in the human brain are aligned with large language models
인간의 뇌는 시각 입력에서 객체, 공간적·의미론적 관계, 환경과의 상호작용 등 복잡한 정보를 추출하지만, 이를 정량적으로 연구하는 방법은 여전히 부족합니다. 본 연구는 대규모 언어 모델(LLM)에 인코딩된 맥락 정보가 뇌가 자연 장면에서 추출하는 복잡한 시각 정보를 모델링하는 데 유용한지 탐구합니다. 연구팀은 장면 캡션의 LLM 임베딩이 자연 장면을 볼 때 유발되는 뇌 활동을 성공적으로 특성화함을 보였습니다. 이 매핑은 다양한 뇌 영역의 선택성을 포착하며, 뇌 활동으로부터 정확한 장면 캡션을 재구성할 수 있을 만큼 견고합니다. 엄…
Vision-language foundation model for 3D medical imaging
최근 인공지능, 특히 시각-언어 파운데이션 모델(VLFMs)의 발전은 복잡한 3D 의료 영상 데이터로부터 방사선 보고서 생성을 자동화할 가능성을 보여줍니다. 본 연구는 VLFMs에 대한 23개 연구를 분석하여 모델 아키텍처, 기능, 훈련 데이터셋 및 평가 지표에 중점을 두었습니다. 연구 방법론은 VLFMs 관련 문헌을 체계적으로 검토하고, 각 연구의 핵심 요소를 비교 분석하는 방식으로 진행되었습니다. 이를 통해 방사선학 분야에서 AI의 진화 과정을 추적하고, 현재 기술 수준과 한계를 파악했습니다. 분석 결과, 일관되고 고품질의 …
A comprehensive taxonomy of prompt engineering techniques for large language models
거대 언어 모델(LLM)은 다양한 분야에서 뛰어난 성능을 보이며, 2023년까지 AI 생성 콘텐츠(AIGC) 산업에 260억 달러 이상이 투자될 정도로 그 잠재력이 주목받고 있습니다. LLM 활용이 확산됨에 따라, 모델 파라미터 변경 없이 성능을 향상시키는 프롬프트 엔지니어링이 핵심 연구 분야로 부상했습니다. 그러나 기존 프롬프트 엔지니어링 기법들을 체계적으로 정리하고 종합적으로 분석한 연구는 부족한 실정입니다. 이 연구는 프롬프트 엔지니어링의 기존 기법과 응용 사례를 심층적으로 조사하고, 프롬프트 구성의 기초 프레임워크를 제공하…
