LLM의 제품 아이디어 생성 능력과 다양성

본 연구는 대규모 언어 모델(LLM)이 대학생을 위한 50달러 미만 신제품 아이디어를 생성하는 능력을 실증적으로 분석했습니다. LLM 기반 제품 혁신의 주요 강점과 약점을 파악하기 위해 일련의 연구를 수행했습니다. 첫 번째 연구에서 LLM이 생성한 아이디어가 인간이 생성한 아이디어보다 평균 품질(구매 의도 기준)이 높고, 상위 10%에 들 확률이 7배 높음을 확인했습니다. 이는 LLM의 설득력 있는 피칭 능력 때문이 아님을 두 번째 연구에서 밝혔습니다. 그러나 세 번째와 네 번째 연구에서는 LLM 생성 아이디어가 아이디어 수준에서 참신성이 떨어지고, 아이디어 세트 수준에서 다양성이 부족하다는 약점을 발견했습니다. 다섯 번째 연구를 통해 이러한 다양성 부족 현상이 기존 LLM 기반 창의성 연구 전반에 걸쳐 일관되게 나타남을 확인했습니다. 여섯 번째와 일곱 번째 연구에서는 다양성 손실을 완화하기 위한 다양한 기법을 탐구했습니다. 최신 LLM 모델이 더 다양한 아이디어를 생성하지만 여전히 인간 수준에는 미치지 못함을 확인했습니다. 또한, 여러 공급업체의 아이디어를 통합하고, 프롬프트 엔지니어링(Chain-of-Thought, 이질적 페르소나/제약 주입 등), 그리고 다양성 복원을 목표로 솔루션 공간을 탐색하는 창의적 에이전트 활용을 통해 인간 수준에 가까운 아이디어 다양성을 달성할 수 있음을 입증했습니다. 마지막으로, 여덟 번째 연구에서는 LLM 아이디어 생성의 거의 제로에 가까운 한계 비용을 활용하여 아이디어 수를 늘리면 아이디어 공간의 커버리지가 꾸준히 향상되어 인간 수준에 근접함을 보였습니다. 본 연구는 LLM 기반 아이디어 생성을 효과적으로 관리하기 위한 실용적인 권고사항을 제시합니다.