차세대 토큰 예측 기반 대규모 멀티모달 학습

텍스트, 이미지, 비디오 등 다양한 양식(modality)을 아우르는 통합 학습 및 생성 알고리즘 개발은 인공지능 분야의 오랜 난제였습니다. 대규모 언어 모델(LLM)에서 혁신을 이끈 차세대 토큰 예측(next-token prediction) 방식은 멀티모달 영역으로의 확장에 한계가 있었으며, 이미지 및 비디오 합성에 주로 사용되는 확산 모델(diffusion model)이나 비전 인코더와 언어 모델을 통합하는 복합 프레임워크가 여전히 지배적이었습니다. 본 연구는 차세대 토큰 예측 방식만으로 학습된 멀티모달 모델인 Emu3 제품군을 소개합니다. Emu3는 확산 모델이나 복합 아키텍처 없이도 기존의 태스크별 전문 모델들과 동등한 성능을 달성합니다. 특히 인지 및 생성 작업 모두에서 최첨단 시스템과 견줄 만한 성과를 보였습니다. Emu3는 일관성 있고 고품질의 비디오 생성, 텍스트와 이미지가 혼합된 시각-언어 생성, 그리고 로봇 조작을 위한 시각-언어-행동 모델링까지 성공적으로 수행합니다. 이는 멀티모달 학습을 통합된 토큰 예측 문제로 환원함으로써 가능했습니다. Emu3는 대규모 멀티모달 모델링을 위한 견고한 기반을 마련하고, 통합된 멀티모달 인텔리전스를 향한 유망한 경로를 제시합니다. 이 모델은 확장 가능하고 통합된 멀티모달 지능 시스템 개발에 중요한 함의를 가집니다.