지능형 튜터링 시스템의 실시간 인지·정서 추적

지능형 튜터링 시스템(ITS)에서 학습자의 인지 부하와 성취 정서를 실시간으로 파악하고 이에 맞춰 교육을 조정하는 것은 여전히 어려운 과제입니다. 본 연구는 얼굴, 음성, 생리적 신호 및 상호작용 데이터를 감지하여 인지-정서 상태를 통합적으로 추정하고, 낮은 지연 시간 내에 맞춤형 개입을 제공하는 신뢰성 기반의 실시간 다중 모드 프레임워크를 제안합니다. 이 프레임워크는 인지 부하 이론과 성취 정서의 통제-가치 이론을 통합한 인지-정서 학습 모델을 기반으로 합니다. 다중 모달리티 데이터는 DTW와 PCA를 통해 정렬 및 정규화되며, 신뢰도 가중치가 적용됩니다. 감정 및 삼중 인지 부하 추정에는 Temporal Transformer와 GRU가 사용되며, 제한된 문맥적 밴딧 알고리즘을 통해 콘텐츠, 인터페이스, 초인지 또는 동기 부여 행동을 선택합니다. 총 271명의 참가자가 3주간 9회 세션에 걸쳐 수학 및 과학 학습 단위를 완료했습니다. 시스템은 200ms 미만의 종단 간 지연 시간과 82-88%의 감정 인식 정확도를 달성하며 실시간 목표를 충족했습니다. 적응형 교육은 정적인 ITS 기준선 대비 사후 테스트 성과를 향상시켰으며, 특히 중간 능력 학습자에게서 약 15% 포인트의 가장 큰 학습 효과를 보였습니다. 본 연구는 학습자의 실시간 인지 및 정서 상태를 효과적으로 추적하고 개입함으로써 지능형 튜터링 시스템의 학습 효과를 크게 향상시킬 수 있음을 입증했습니다. 이는 개인 맞춤형 학습 경험 제공 및 교육 기술 발전에 중요한 기여를 할 것으로 기대됩니다.