반복 측정 데이터 모델 검증: 교차 검증 비교
생체역학 및 디지털 헬스 분야의 반복 측정 데이터는 참가자별로 상관관계가 있는 여러 시행 데이터를 포함한다. 이때 교차 검증(CV)이 이러한 데이터 구조를 무시하면, 훈련 데이터에서 테스트 데이터로 정보가 유출되어 모델 성능이 과대평가되고 임상적 신뢰성이 저해될 수 있다. 본 연구는 이러한 문제 인식을 바탕으로 참가자 인지(participant-aware) 검증 전략이 반복 측정 분류 작업에서 모델 신뢰성에 미치는 영향을 평가했다. 전방 십자인대 재건술(ACLR) 후 재부상 두려움 예측을 사례 연구로, 72명의 ACLR 환자로부터 얻은 623개의 홉(hop) 시행 데이터를 분석하여 생체역학적 특징 기반의 재부상 두려움을 분류했다. 계층적 10겹 CV, leave-one-participant-out CV(LOPOCV), 그룹 3겹 CV, 그리고 LOPOCV와 그룹 3겹 CV를 결합한 중첩 프레임워크의 네 가지 CV 전략을 비교했다. 10가지 지도 학습 분류기를 분류 정확도, 훈련-테스트 일반화 격차, 모델 순위 일관성, 계산 효율성 측면에서 벤치마킹했다. 계층적 10겹 CV는 참가자 수준의 데이터 유출로 인해 모델 성능을 체계적으로 과대평가했다(예: Extra Trees 정확도 LOPOCV에서 0.66인 반면 0.91). 반면 그룹 및 중첩 CV 전략은 더 보수적이고 안정적인 성능 추정치를 제공했다. 특히 중첩 LOPOCV + 그룹 CV 프레임워크는 일반화와 참가자 인지 분리 간의 균형을 잘 이루었으며, 비중첩 대안에 비해 편향과 과적합이 감소했다. 결론적으로, 반복 측정 환경에서 신뢰할 수 있는 머신러닝(ML) 평가를 위해서는 참가자 인지 검증 전략이 필수적이다. 중첩 CV 설계는 재현성을 향상하고 선택 편향을 줄이며, 임상 ML 도구에 대한 규제 기대치와도 부합한다. 이러한 결과는 생체역학 및 디지털 헬스 애플리케이션의 모델 검증 모범 사례를 뒷받침한다.