설명 가능한 AI: 의료진 신뢰와 성과

설명 가능한 인공지능(XAI)은 의료와 같은 고위험 분야에서 사용자 신뢰를 높이는 데 필수적이라고 여겨지지만, 실제 사용자 평가보다는 자동화된 측정 방식에 의존하는 경향이 있습니다. 본 연구는 이미지 기반의 재태 연령(GA) 추정 프로토타입 XAI 모델을 적용하여, 신뢰, 의존성 및 성능에 미치는 영향을 평가하고, 적절한 의존성에 대한 새로운 측정 지표를 도입했습니다. 10명의 초음파 검사 전문가가 3단계 판독 연구를 통해 XAI 모델이 GA 추정치에 미치는 영향을 평가했습니다. 모델 예측은 임상의의 평균 절대 오차(MAE)를 23.5일에서 15.7일로 감소시켰으며, 설명이 추가되었을 때는 14.3일로 추가 감소를 보였으나 통계적으로 유의미하지는 않았습니다. 흥미롭게도, 설명의 영향은 참가자별로 상이하여 일부는 설명이 있을 때 오히려 성능이 저하되기도 했습니다. 또한, 설명이 참가자의 자신감을 높였음에도 불구하고, 모델에 대한 신뢰나 의존성에는 유의미한 영향을 미치지 못했습니다. 이러한 예상 밖의 결과는 XAI 배포 시 발생할 수 있는 잠재적 위험을 시사하며, 의료진의 다양한 반응을 포착하기 위한 인간 중심 연구의 중요성을 강조합니다.