2026년 29주차 · 급상승 연구 주제
컴퓨터 과학 · Multimodal Machine Learning Applications
연 2,829 → 6,500편
분야 평균 대비 +113%p
텍스트, 이미지, 오디오 등 여러 형태의 데이터를 동시에 학습하여 인간처럼 세상을 더 풍부하게 이해하고, 더 정확하고 견고한 AI 시스템을 구축할 수 있습니다.
출판량은 OpenAlex 전수 데이터를 최근 12개월과 직전 12개월로 나눠 비교한 값이에요. 분야 전체가 함께 커지는 착시를 빼기 위해 분야 중앙값 성장률을 차감한 초과 성장(+113%p)으로 순위를 매겼어요.
학부·석사 수준에서 실제로 착수 가능한 스케일로 좁힌 방향이에요. 마음에 드는 걸 고르면 카라멜 조교가 이어서 구체화해 줘요.
상품 리뷰 이미지와 텍스트를 결합하여 고객 감성 분석 정확도 개선
아이디에이션2온라인 강의의 오디오와 비디오 데이터를 활용한 학생 집중도 실시간 감지
아이디에이션3음성 명령과 제스처를 동시에 인식하여 로봇 제어 정확도 향상
아이디에이션인용 속도와 최신성으로 고른 논문이에요. 한국어 요약을 먼저 보고, 원문은 8개 섹션 풀 분석으로 이어갈 수 있어요.
SkyEyeGPT: Unifying remote sensing vision-language tasks via instruction tuning with large language model
최근 대규모 언어 모델(LLM)이 시각-언어 영역으로 확장되어 인상적인 다중 모달 능력을 보이고 있으나, 원격 탐사(RS) 데이터에 특화된 다중 모달 대규모 언어 모델(MLLM) 연구는 초기 단계이며, 관련 데이터셋 부족과 성능 한계가 존재합니다. 본 연구는 이러한 문제를 해결하고자 RS 다중 모달 지시 튜닝 데이터셋인 SkyEye-968k를 구축했습니다. 이 데이터셋은 단일 및 다중 작업 대화 지시를 포함하며, 수동 검증을 거쳐 968k개의 고품질 샘플로 구성됩니다. 이를 기반으로 RS 다중 세분화 시각-언어 이해를 위해 특별히…
Paper 1 — BIFACE-Based Sentence Coordinate Documents: Human-Readable Surfaces and AI+AGI-Referable Coordinates Across Documents, Code, Media, and Conversations
본 연구는 인간이 인지 가능한 결과물을 AI 및 AGI 시스템이 동시에 참조할 수 있도록 하는 비실행 구조 프레임워크인 BIFACE 기반 문장 좌표 문서(SCD)를 제안한다. 이는 문서, 오피스 출력물, 코드, 이미지 영역, 비디오 장면, 자막, 음성, 대화, 검토 및 수정 지침 등 다양한 형태의 데이터에서 인간이 읽을 수 있는 표면과 AI+AGI가 참조할 수 있는 좌표 레이어가 공존하는 참조 구조를 정의한다. SCD/BIFACE는 데이터 저장, 실행, 승인, 동의, 판단, 법적 효력, 정산, 증거 확인 또는 AI/AGI 의사결정…
High-level visual representations in the human brain are aligned with large language models
인간의 뇌는 시각 입력에서 객체, 공간적·의미론적 관계, 환경과의 상호작용 등 복잡한 정보를 추출하지만, 이를 정량적으로 연구하는 방법은 여전히 부족합니다. 본 연구는 대규모 언어 모델(LLM)에 인코딩된 맥락 정보가 뇌가 자연 장면에서 추출하는 복잡한 시각 정보를 모델링하는 데 유용한지 탐구합니다. 연구팀은 장면 캡션의 LLM 임베딩이 자연 장면을 볼 때 유발되는 뇌 활동을 성공적으로 특성화함을 보였습니다. 이 매핑은 다양한 뇌 영역의 선택성을 포착하며, 뇌 활동으로부터 정확한 장면 캡션을 재구성할 수 있을 만큼 견고합니다. 엄…
