LLM 사용자 의도 인식 및 만족도 연구

대규모 언어 모델(LLM)의 급속한 발전은 디지털 상호작용의 패러다임을 변화시켰지만, 사용자 의도를 정확히 파악하는 데 어려움을 겪어 불만족을 초래하기도 합니다. 본 연구는 이러한 문제를 해결하고자, 정교한 의도 분류 체계와 의도 기반 프롬프트 재구성 방식을 활용하여 LLM의 의도 인식 품질과 사용자 만족도를 분석했습니다. 연구는 GPT-3.5 Turbo 및 GPT-4 Turbo 모델을 대상으로 의도 기반 프롬프트 재구성 답변의 품질을 평가했습니다. 특히 인간-AI 상호작용의 중요성을 강조하며, 대화형 AI 시스템 개선을 위한 다학제적 접근의 필요성을 역설합니다. 분석 결과, GPT-4는 일반적인 의도 인식에서 GPT-3.5보다 우수했지만, 덜 빈번한 의도 인식에서는 오히려 GPT-3.5가 더 나은 성능을 보였습니다. 사용자 만족도 측면에서는 의도가 정확히 인식되었을 때 GPT-4의 재구성된 답변에 대한 만족도가 GPT-3.5보다 높았습니다. 그러나 사용자들은 재구성된 프롬프트 답변보다 원래 프롬프트에 대한 모델의 답변에 더 만족하는 경향을 보였습니다. 본 연구의 데이터는 추가 연구를 위해 GitHub에 공개되어 있습니다.