LLM 기반 운전 영상 생성 월드 모델

자율주행 분야에서 월드 모델은 다중 시점 운전 영상 생성에 탁월한 성능을 보였으나, 맞춤형 영상 생성에는 한계가 있었습니다. 본 연구는 사용자 정의 운전 영상 생성을 위해 대규모 언어 모델(LLM)을 통합한 DriveDreamer-2를 제안합니다. DriveDreamer-2는 사용자 설명에 부합하는 궤적을 생성하는 궤적 생성 함수 라이브러리를 개발하고, 궤적에서 도로 구조를 학습하는 HDMap 생성기를 설계했습니다. 또한, 생성된 다중 시점 운전 영상의 시간적, 공간적 일관성을 강화하기 위해 통합 다중 시점 모델(UniMVM)을 제안합니다. DriveDreamer-2는 맞춤형 운전 영상을 생성하는 최초의 월드 모델로, 차량의 갑작스러운 끼어들기 같은 비정형적인 시나리오도 사용자 친화적으로 생성할 수 있습니다. 실험 결과, 생성된 영상은 3D 객체 탐지 및 추적과 같은 운전 인지 방법론의 훈련을 향상시키는 것으로 나타났습니다. DriveDreamer-2는 기존 최첨단 방법론 대비 FID 11.2, FVD 55.7을 달성하여 각각 약 30%, 50%의 상대적 성능 향상을 보였습니다. 이는 영상 생성 품질 면에서 월등함을 입증합니다.