미주신경성 실신(VVS)은 흔한 일시적 의식 소실의 원인이지만 진단에 어려움이 있습니다. 표준 진단법인 기립경 검사(HUTT)는 민감도가 제한적이며, 인공지능(AI) 기반 도구는 프라이버시 및 해석 가능성 문제로 도입이 지연되고 있습니다. 본 연구는 HUTT에서 얻은 생체 신호를 활용하여 VVS 탐지를 위한 프라이버시 보호 개념 증명 프레임워크를 탐색합니다.
총 137명의 참가자(VVS 양성 54명, 음성 83명) 데이터를 분석하여 심전도(ECG) 및 혈압 신호에서 54개 특징을 추출했습니다. 차등 프라이버시 확률적 경사 하강법(DP-SGD)을 사용하여 로지스틱 회귀 모델을 훈련했으며, 보안 추론을 위해 동형암호(FHE)의 CKKS(Cheon–Kim–Kim–Song) 방식을 적용했습니다. 모델 해석 가능성은 LIME 및 SHAP 분석으로 평가했습니다.
DP-SGD 모델은 ε ≈ 16.5, δ = 10⁻⁵의 프라이버시 예산 하에서 0.833 ± 0.035의 정확도와 0.888 ± 0.019의 ROC-AUC를 달성했습니다. 그러나 FHE 기반 추론은 다항식 근사 제약으로 인해 성능이 크게 저하되었습니다(ROC-AUC ≈ 0.53). 해석 가능성 분석 결과, 기립기 혈역학적 특징(SBP_T, DBP_T) 및 자율신경계 지표(LFHF_RRI_T, LFHF_SBP_T)가 주요 예측 인자로 일관되게 확인되었습니다.
본 연구는 프라이버시를 보호하면서 VVS를 탐지할 수 있는 AI 모델의 가능성을 제시합니다. 특히, 차등 프라이버시 기법이 효과적인 성능을 유지하면서 데이터 보안을 강화할 수 있음을 보여주었습니다. 향후 FHE 성능 개선을 통해 실제 의료 환경에서의 적용 가능성을 높일 수 있을 것입니다.
설명 가능한 인공지능(XAI)은 AI 모델의 예측 과정을 이해하기 위한 정보를 제공하도록 설계되었습니다. 의료 분야에서는 XAI가 환자부터 의료 전문가, AI 개발자에 이르기까지 다양한 이해관계자에게 모델 작동 방식에 대한 정확하고 관련성 높은 정보를 제공할 것이라는 기대가 큽니다. 그러나 이해관계자마다 '관련성 있는 정보'의 기준이 크게 다를 수 있어, 이러한 기대에 부응하는 것은 쉽지 않은 과제입니다.
많은 이해관계자에게는 인과적 설명이 중요하지만, 현재의 XAI 방법론은 이러한 인과적 정보를 제공하는 데 한계가 있습니다. 본 연구는 '묘사-예측-설명(Describe-Predict-Explain)' 프레임워크를 활용하여 XAI의 역량을 분석했습니다.
분석 결과, XAI는 모델의 작동 방식을 묘사하는 데는 효과적인 도구이지만, 근본적인 생물학적 메커니즘이나 인과 관계 측면에서 '왜' 모델이 그렇게 작동하는지를 설명하는 능력은 제한적임을 발견했습니다. 이는 XAI가 환자에게 실질적인 조언을 제공하거나 AI 모델의 타당성을 판단하는 데 적합하지 않을 수 있음을 시사합니다.
따라서 XAI의 현재 한계를 명확히 인식하고, 각 이해관계자의 요구에 맞는 정보 제공 방식을 재고해야 합니다. 향후 연구는 XAI가 인과적 설명을 제공할 수 있도록 방법론을 발전시키거나, XAI의 역할을 모델 묘사 도구로 재정의하는 방향으로 나아가야 할 것입니다.
설명 가능한 인공지능(XAI)은 의료와 같은 고위험 분야에서 사용자 신뢰를 높이는 데 필수적이라고 여겨지지만, 실제 사용자 평가보다는 자동화된 측정 방식에 의존하는 경향이 있습니다. 본 연구는 이미지 기반의 재태 연령(GA) 추정 프로토타입 XAI 모델을 적용하여, 신뢰, 의존성 및 성능에 미치는 영향을 평가하고, 적절한 의존성에 대한 새로운 측정 지표를 도입했습니다.
10명의 초음파 검사 전문가가 3단계 판독 연구를 통해 XAI 모델이 GA 추정치에 미치는 영향을 평가했습니다. 모델 예측은 임상의의 평균 절대 오차(MAE)를 23.5일에서 15.7일로 감소시켰으며, 설명이 추가되었을 때는 14.3일로 추가 감소를 보였으나 통계적으로 유의미하지는 않았습니다.
흥미롭게도, 설명의 영향은 참가자별로 상이하여 일부는 설명이 있을 때 오히려 성능이 저하되기도 했습니다. 또한, 설명이 참가자의 자신감을 높였음에도 불구하고, 모델에 대한 신뢰나 의존성에는 유의미한 영향을 미치지 못했습니다.
이러한 예상 밖의 결과는 XAI 배포 시 발생할 수 있는 잠재적 위험을 시사하며, 의료진의 다양한 반응을 포착하기 위한 인간 중심 연구의 중요성을 강조합니다.
인공지능(AI)은 임상 의사결정 지원 시스템(CDSS)을 크게 향상시킬 잠재력이 있지만, AI 모델의 불투명성은 임상 현장에서의 채택을 가로막는 주요 장벽입니다. 이는 주로 해석 가능성 및 신뢰 문제에서 기인합니다. 설명 가능한 AI(XAI)는 모델의 추론 과정을 임상의가 이해할 수 있도록 함으로써 이러한 격차를 해소하려 하지만, 기존 XAI 솔루션은 실제 임상가의 요구사항, 워크플로우 통합, 유용성 문제를 제대로 다루지 못했습니다.
본 연구는 XAI를 CDSS에 적용하는 데 있어 지속되는 과제들(예: 부적절한 설명 방법, 최적화되지 않은 인터페이스 설계, 불충분한 평가 관행)을 종합하고, 보다 효과적이고 신뢰할 수 있는 XAI-CDSS 개발을 위한 사용자 중심 프레임워크를 제안합니다. 포괄적인 문헌 검토를 바탕으로, 사용자 중심 XAI 방법 선택, 인터페이스 공동 설계, 반복적인 평가 및 개선을 포함하는 3단계 프레임워크를 상세히 설명합니다.
패혈증 치료를 위한 XAI-CDSS 사례 연구 분석을 통해 프레임워크의 적용 가능성을 입증했습니다. 연구 결과는 XAI가 임상 워크플로우와 일치하고, 적절한 신뢰를 지원하며, 임상의-AI 상호작용 패턴(예: 협상)을 포착하는 견고한 평가 방법론을 배포하는 것이 중요함을 강조합니다. 사례 분석은 프레임워크가 사용자 중심의 격차를 체계적으로 식별하고 해결하여 더 나은 워크플로우 통합, 맞춤형 설명 및 사용 가능한 인터페이스로 이어질 수 있음을 보여줍니다.
결론적으로, 신뢰할 수 있고 임상적으로 유용한 XAI-CDSS를 달성하기 위해서는 근본적으로 사용자 중심 접근 방식이 필요합니다. 본 프레임워크는 의료 분야에서 설명 가능하고 사용 가능하며 신뢰할 수 있는 AI 시스템을 구축하기 위한 실질적인 지침을 제공합니다.
