AI 활용과 인지-메타인지 불일치

인간-AI 상호작용 최적화를 위해서는 사용자의 비판적 성찰이 필수적이나, 생성형 AI가 사용자의 메타인지 판단에 미치는 영향은 잘 알려져 있지 않습니다. 본 연구는 AI 사용이 논리적 추론 과제에서 사용자의 메타인지 모니터링 및 성과에 어떻게 연관되는지 대규모 연구를 통해 탐구했습니다. 두 가지 대규모 연구에서, 참가자들은 AI를 활용하여 논리적 추론 문제를 해결했습니다. 특히, AI를 사용하는 사람들이 자신의 수행 능력을 얼마나 정확하게 모니터링하는지 분석했습니다. 연구 1에서는 246명의 참가자가 AI를 이용해 LSAT 논리 추론 문제 20개를 풀었습니다. 연구 결과, AI 사용 시 과제 수행 능력은 일반 집단 대비 3점 향상되었으나, 참가자들은 자신의 성과를 4점 과대평가했습니다. 흥미롭게도 AI 활용 능력이 높을수록 메타인지 정확도는 낮아져, AI에 대한 기술적 지식이 많을수록 자신감은 높지만 실제 수행 판단은 덜 정확했습니다. 더닝-크루거 효과는 AI 사용 시 사라지는 것으로 나타났습니다. 연구 2(452명)에서도 이러한 결과가 재현되었습니다. 본 연구는 AI가 인간-AI 상호작용에서 인지 및 메타인지 성과를 어떻게 평준화하는지 논의합니다. 또한, 정확한 자기 모니터링을 촉진하고 과도한 의존을 방지하며 인지 성과를 향상시키는 대화형 AI 시스템 설계를 위해 성과 과대평가가 갖는 함의를 고찰합니다.