의료 AI 설명 가능성: 예측, 설명, 혹은 묘사?

설명 가능한 인공지능(XAI)은 AI 모델의 예측 과정을 이해하기 위한 정보를 제공하도록 설계되었습니다. 의료 분야에서는 XAI가 환자부터 의료 전문가, AI 개발자에 이르기까지 다양한 이해관계자에게 모델 작동 방식에 대한 정확하고 관련성 높은 정보를 제공할 것이라는 기대가 큽니다. 그러나 이해관계자마다 '관련성 있는 정보'의 기준이 크게 다를 수 있어, 이러한 기대에 부응하는 것은 쉽지 않은 과제입니다. 많은 이해관계자에게는 인과적 설명이 중요하지만, 현재의 XAI 방법론은 이러한 인과적 정보를 제공하는 데 한계가 있습니다. 본 연구는 '묘사-예측-설명(Describe-Predict-Explain)' 프레임워크를 활용하여 XAI의 역량을 분석했습니다. 분석 결과, XAI는 모델의 작동 방식을 묘사하는 데는 효과적인 도구이지만, 근본적인 생물학적 메커니즘이나 인과 관계 측면에서 '왜' 모델이 그렇게 작동하는지를 설명하는 능력은 제한적임을 발견했습니다. 이는 XAI가 환자에게 실질적인 조언을 제공하거나 AI 모델의 타당성을 판단하는 데 적합하지 않을 수 있음을 시사합니다. 따라서 XAI의 현재 한계를 명확히 인식하고, 각 이해관계자의 요구에 맞는 정보 제공 방식을 재고해야 합니다. 향후 연구는 XAI가 인과적 설명을 제공할 수 있도록 방법론을 발전시키거나, XAI의 역할을 모델 묘사 도구로 재정의하는 방향으로 나아가야 할 것입니다.