최근 인공지능(AI)은 놀라운 성공을 거두고 있지만, 그 의사결정 과정이 불투명하여 이해관계자들이 AI의 동작을 이해하고 해석하며 설명하기 어렵다는 문제가 있습니다. 이러한 한계는 머신러닝 시스템에 대한 신뢰를 저해하고, 특히 헬스케어나 자율주행과 같은 미션 크리티컬 분야에서 실제 적용을 주저하게 만듭니다.
설명 가능한 AI(XAI) 기술은 머신러닝 모델의 설명 가능성과 해석 가능성을 높여 사용자가 의사결정의 근거를 파악하고 바람직하지 않은 동작을 방지할 수 있도록 돕습니다. 본 종합 연구는 내재적으로 해석 가능한 모델부터 대규모 언어 모델(LLM)을 포함한 다양한 블랙박스 모델의 해석 가능성을 달성하기 위한 최신 접근 방식에 이르기까지, 설명 가능한 AI 방법론의 발전을 상세히 다룹니다.
또한, LLM 및 비전-언어 모델(VLM) 프레임워크를 활용하여 다른 머신러닝 모델의 설명 가능성을 자동화하거나 개선하는 XAI 기술을 검토합니다. 특히 LLM과 VLM을 해석 방법으로 활용하면 모델의 의사결정과 동작에 대한 고수준의 의미론적인 설명을 제공할 수 있습니다.
본 논문은 최첨단 방법론의 과학적 원리, 장단점을 강조하고 개선이 필요한 다양한 영역을 제시합니다. 마지막으로 XAI의 주요 과제와 향후 연구 방향을 논의합니다.
인공지능(AI)은 임상 의사결정 지원 시스템(CDSS)을 크게 향상시킬 잠재력이 있지만, AI 모델의 불투명성은 임상 현장에서의 채택을 가로막는 주요 장벽입니다. 이는 주로 해석 가능성 및 신뢰 문제에서 기인합니다. 설명 가능한 AI(XAI)는 모델의 추론 과정을 임상의가 이해할 수 있도록 함으로써 이러한 격차를 해소하려 하지만, 기존 XAI 솔루션은 실제 임상가의 요구사항, 워크플로우 통합, 유용성 문제를 제대로 다루지 못했습니다.
본 연구는 XAI를 CDSS에 적용하는 데 있어 지속되는 과제들(예: 부적절한 설명 방법, 최적화되지 않은 인터페이스 설계, 불충분한 평가 관행)을 종합하고, 보다 효과적이고 신뢰할 수 있는 XAI-CDSS 개발을 위한 사용자 중심 프레임워크를 제안합니다. 포괄적인 문헌 검토를 바탕으로, 사용자 중심 XAI 방법 선택, 인터페이스 공동 설계, 반복적인 평가 및 개선을 포함하는 3단계 프레임워크를 상세히 설명합니다.
패혈증 치료를 위한 XAI-CDSS 사례 연구 분석을 통해 프레임워크의 적용 가능성을 입증했습니다. 연구 결과는 XAI가 임상 워크플로우와 일치하고, 적절한 신뢰를 지원하며, 임상의-AI 상호작용 패턴(예: 협상)을 포착하는 견고한 평가 방법론을 배포하는 것이 중요함을 강조합니다. 사례 분석은 프레임워크가 사용자 중심의 격차를 체계적으로 식별하고 해결하여 더 나은 워크플로우 통합, 맞춤형 설명 및 사용 가능한 인터페이스로 이어질 수 있음을 보여줍니다.
결론적으로, 신뢰할 수 있고 임상적으로 유용한 XAI-CDSS를 달성하기 위해서는 근본적으로 사용자 중심 접근 방식이 필요합니다. 본 프레임워크는 의료 분야에서 설명 가능하고 사용 가능하며 신뢰할 수 있는 AI 시스템을 구축하기 위한 실질적인 지침을 제공합니다.
