LLM 기반 운전 영상 생성 월드 모델
자율주행 분야에서 월드 모델은 다중 시점 운전 영상 생성에 탁월한 성능을 보였으나, 맞춤형 영상 생성에는 한계가 있었습니다. 본 연구는 사용자 정의 운전 영상 생성을 위해 대규모 언어 모델(LLM)을 통합한 DriveDreamer-2를 제안합니다. DriveDreamer-2는 사용자 설명에 부합하는 궤적을 생성하는 궤적 생성 함수 라이브러리를 개발하고, 궤적에서 도로 구조를 학습하는 HDMap 생성기를 설계했습니다. 또한, 생성된 다중 시점 운전 영상의 시간적, 공간적 일관성을 강화하기 위해 통합 다중 시점 모델(UniMVM)을 …