2026년 44주차 · 급상승 연구 주제
컴퓨터 과학 · Explainable Artificial Intelligence (XAI)
연 2,170 → 3,950편
분야 평균 대비 +55%p
AI 모델이 복잡해지고 사회 전반에 적용되면서, 모델의 의사결정 과정을 이해하고 신뢰성을 확보하는 것이 중요해졌기 때문입니다.
출판량은 OpenAlex 전수 데이터를 최근 12개월과 직전 12개월로 나눠 비교한 값이에요. 분야 전체가 함께 커지는 착시를 빼기 위해 분야 중앙값 성장률을 차감한 초과 성장(+55%p)으로 순위를 매겼어요.
학부·석사 수준에서 실제로 착수 가능한 스케일로 좁힌 방향이에요. 마음에 드는 걸 고르면 카라멜 조교가 이어서 구체화해 줘요.
의료 진단 AI의 예측 근거를 시각화하여 의사의 의사결정 지원
아이디에이션2금융 대출 승인 모델의 거부 사유를 사용자에게 설명하는 시스템 개발
아이디에이션3이미지 분류 모델의 특정 영역이 예측에 미친 영향 분석 도구 구현
아이디에이션인용 속도와 최신성으로 고른 논문이에요. 한국어 요약을 먼저 보고, 원문은 8개 섹션 풀 분석으로 이어갈 수 있어요.
Smart and transparent grid stability prediction for efficient energy management using explainable AI
현대 전력 시스템은 재생에너지 및 스마트 그리드의 통합으로 인해 안정성 예측에 어려움을 겪고 있습니다. 기존 시스템은 동적인 전력 사용량과 재생에너지 공급의 불가피한 변동성을 실시간으로 추적하지 못하며, 예측 과정의 불투명성으로 인해 운영자가 의사결정 과정을 이해하기 어렵다는 한계가 있습니다. 이러한 불투명성은 신뢰 구축과 정보에 기반한 의사결정을 저해하는 주요 요인입니다. 본 연구에서는 이러한 문제 해결을 위해 투명하고 스마트한 설명 가능한 인공지능(XAI) 모델을 제안합니다. 특히, LIME(Local Interpretable…
Leveraging explainable AI for sustainable agriculture: a comprehensive review of recent advances
최근 인공지능(AI)은 방대한 데이터 분석과 정보 기반 의사결정 능력을 통해 전 세계 산업을 혁신하는 파괴적인 기술로 부상했습니다. 농업 분야 또한 생산성, 효율성, 지속가능성 향상을 위해 AI 기술을 도입하며 혁명적인 변화를 겪고 있습니다. 그러나 AI 모델의 투명성 부족은 특히 의학 및 농업과 같은 중요 산업에 적용될 때 신뢰성에 대한 의문을 제기합니다. 이러한 문제를 해결하기 위해 2017년 초부터 설명 가능한 인공지능(XAI) 연구가 활발해졌습니다. LIME, SHAP, Grad-CAM과 같은 도구들은 복잡한 AI 모델의 내…
A comprehensive review of explainable artificial intelligence in healthcare methods, evaluation, and clinical integration
설명 가능한 인공지능(XAI)은 의료 분야에서 신뢰 확보에 필수적임에도 불구하고, XAI 기술과 실제 임상 적용 사이에는 상당한 격차가 존재합니다. 본 연구는 이러한 격차를 해소하기 위해 임상 통합을 세 가지 상호보완적인 관점에서 접근합니다. 첫째, XAI 접근 방식을 특정 임상 작업에 매칭하는 실질적인 가이드 역할을 하는 3차원 XAI 분류 프레임워크(속성, 의존성, 범위)를 제시합니다. 둘째, 충실도와 같은 기술적 견고성과 워크플로우 정렬 및 임상의 신뢰도와 같은 임상적 유용성 측정을 균형 있게 고려하는 통합 평가 시스템을 제…
Interpretable Clustering: A Survey
최근 클러스터링 알고리즘 연구는 정확성과 효율성 향상에 집중하며 해석 가능성을 간과하는 경향이 있었습니다. 그러나 헬스케어, 금융, 자율 시스템과 같은 고위험 분야에서 클러스터링 적용이 확대됨에 따라, 투명하고 해석 가능한 결과에 대한 요구가 증대되고 있습니다. 이는 사용자 신뢰 확보뿐만 아니라 해당 분야의 윤리적, 규제적 요구사항을 충족시키기 위해 필수적입니다. 본 논문은 이러한 필요성에 부응하여 해석 가능한 클러스터링 알고리즘의 현황을 포괄적이고 체계적으로 검토합니다. 다양한 방법론을 구별하기 위한 핵심 기준을 제시하며, 연구…
Concept-based Explainable Artificial Intelligence: A Survey
설명 가능한 인공지능(XAI) 분야는 모델의 투명성과 신뢰성 요구에 부응하여 발전해 왔습니다. 그러나 최근 연구들은 원시 특징(raw features)을 활용한 설명의 한계를 지적하며, 사용자 이해도를 높이는 설명의 필요성을 강조하고 있습니다. 이러한 문제의식 아래, 개념 기반 설명 가능한 인공지능(C-XAI) 방법론에 대한 연구가 활발히 진행되고 있으나, 아직 통일된 분류 체계와 명확한 분야 정의는 부재합니다. 본 연구는 C-XAI 접근 방식에 대한 포괄적인 검토를 통해 이러한 간극을 메웁니다. 다양한 개념과 설명 유형을 식별하…
A Comprehensive Review of Neuro-symbolic AI for Robustness, Uncertainty Quantification, and Intervenability
의료, 자율 시스템, 금융 등 고위험 분야에서 인공지능(AI) 시스템의 활용이 증가함에 따라, AI의 신뢰성 확보가 매우 중요해지고 있습니다. 본 논문은 신경망의 학습 능력과 기호 AI의 추론 강점을 결합한 하이브리드 패러다임인 신경-기호 AI를 신뢰성, 불확실성 정량화(UQ), 개입 가능성이라는 세 가지 핵심 차원에서 종합적으로 탐구합니다. 순수 데이터 기반의 '블랙박스' 모델이 분포 변화, 모호한 입력, 인간 감독 처리에서 한계를 보이는 반면, 신경-기호 시스템은 향상된 해석 가능성, 검증 가능성, 제어 능력을 제공하여 실제 …
Why we do need explainable AI for healthcare
최근 의료 분야에서 인공지능(AI) 도구의 활용이 증가하면서, AI 채택에 대한 논의가 활발해지고 있습니다. 특히 AI 시스템의 투명성과 신뢰성을 높이는 것을 목표로 하는 설명 가능한 AI(XAI)에 대한 관심이 커지고 있습니다. 그러나 일부 전문가들은 XAI 기술의 신뢰성에 의문을 제기하며, 의료 가이드라인 및 표준에 XAI를 포함하는 것에 우려를 표하고 있습니다. 본 논문은 이러한 비판적 시각을 재검토하고, XAI의 유용성에 대한 균형 잡힌 관점을 제시합니다. 특히 AI의 임상 적용이 갖는 특수성을 강조하며, 이를 의료 개입의…
Explainable AI in healthcare: to explain, to predict, or to describe?
설명 가능한 인공지능(XAI)은 AI 모델의 예측 과정을 이해하기 위한 정보를 제공하도록 설계되었습니다. 의료 분야에서는 XAI가 환자부터 의료 전문가, AI 개발자에 이르기까지 다양한 이해관계자에게 모델 작동 방식에 대한 정확하고 관련성 높은 정보를 제공할 것이라는 기대가 큽니다. 그러나 이해관계자마다 '관련성 있는 정보'의 기준이 크게 다를 수 있어, 이러한 기대에 부응하는 것은 쉽지 않은 과제입니다. 많은 이해관계자에게는 인과적 설명이 중요하지만, 현재의 XAI 방법론은 이러한 인과적 정보를 제공하는 데 한계가 있습니다. 본…
Explaining Random Forest and XGBoost with Shallow Decision Trees by Co-clustering Feature Importance
기계 학습 모델의 투명성은 해석 가능한 모델과 설명 가능한 결과를 촉진하는 중요한 비기능적 요구사항입니다. 그러나 선형, 규칙 기반, 의사결정나무와 같은 해석 가능한 분류 모델은 딥러닝이나 앙상블 방법론과 같은 더 정확하지만 복잡한 학습 패러다임에 의해 성능이 저해되는 경향이 있습니다. 특히 표 형식 데이터 분류에서는 랜덤 포레스트나 XGBoost 같은 트리 앙상블 기반 모델이 딥러닝 모델과 비교하여 여전히 경쟁력이 있으며 종종 선호되지만, 학습된 모델의 복잡성으로 인해 예측 설명 가능성 문제가 발생합니다. 기존 해결책은 특성 중…
From System 1 to System 2: A Survey of Reasoning Large Language Models
인간 수준의 지능을 달성하려면 빠르고 직관적인 시스템 1 사고에서 느리고 신중한 시스템 2 추론으로의 전환을 고도화해야 한다. 기존 대규모 언어 모델(LLM)은 빠른 의사결정에 능하지만, 복잡한 추론을 위한 단계별 분석 능력인 시스템 2 사고는 부족했다. 이는 편향을 줄이고 정확한 판단을 내리는 데 필수적인 논리적 추론 역량의 한계를 드러냈다. 최근 OpenAI의 o1/o3, DeepSeek의 R1과 같은 추론형 LLM은 수학, 코딩 등 전문 분야에서 전문가 수준의 성능을 보이며 시스템 2의 신중한 추론과 유사한 인지 능력을 입증…
Towards trustworthy artificial intelligence for decision-making: A lifecycle perspective on knowledge- and data-driven artificial intelligence systems
조직의 의사결정 과정에서 데이터 기반 인공지능(AI) 시스템의 활용이 증가하고 있으나, 이러한 시스템은 종종 해석 불가능한 블랙박스로 작동하여 의사결정의 근거를 이해하기 어렵게 만듭니다. 또한, 구조화된 도메인 지식을 활용하지 못해 의사결정 맥락이나 목표와 일치하지 않는 결과를 초래하고, 이는 잘못된 결정이나 AI 시스템에 대한 신뢰 저하로 이어질 수 있습니다. 이러한 문제 해결을 위해 최근 신경-상징 AI와 같이 도메인 지식과 데이터 기반 AI를 통합하려는 연구가 활발히 진행되고 있습니다. 본 연구는 의사결정을 위한 지식-데이터…
The human factor in explainable artificial intelligence: clinician variability in trust, reliance, and performance
설명 가능한 인공지능(XAI)은 의료와 같은 고위험 분야에서 사용자 신뢰를 높이는 데 필수적이라고 여겨지지만, 실제 사용자 평가보다는 자동화된 측정 방식에 의존하는 경향이 있습니다. 본 연구는 이미지 기반의 재태 연령(GA) 추정 프로토타입 XAI 모델을 적용하여, 신뢰, 의존성 및 성능에 미치는 영향을 평가하고, 적절한 의존성에 대한 새로운 측정 지표를 도입했습니다. 10명의 초음파 검사 전문가가 3단계 판독 연구를 통해 XAI 모델이 GA 추정치에 미치는 영향을 평가했습니다. 모델 예측은 임상의의 평균 절대 오차(MAE)를 2…
From Black Box to Glass Box: A Practical Review of Explainable Artificial Intelligence (XAI)
보안, 금융, 헬스케어 등 고위험 영역에서 머신러닝 시스템의 활용이 증가함에 따라 설명 가능한 인공지능(XAI)의 중요성이 커지고 있습니다. 기존 모델은 '블랙 박스'처럼 작동하여 신뢰와 책임성을 저해하지만, 기존 연구들은 설명 가능성을 기술적 또는 철학적 문제로만 다루며 실제 보안, 프라이버시, 거버넌스 함의와 연결하지 못했습니다. 본 연구는 이러한 간극을 메우고자 이론적 기반과 실제 적용, 사회적 관점을 통합하여 XAI를 조명합니다. 연구는 투명성과 해석 가능성을 핵심 개념으로 정의하고, 공개 및 설명의 한계 효용을 강조하기 …
Software for dataset-wide XAI: From local explanations to global insights with Zennit, CoRelAy, and ViRelAy
심층 신경망(DNN)의 예측 능력은 뛰어나지만, 그 작동 원리는 여전히 불투명합니다. 설명 가능한 인공지능(XAI)은 복잡한 모델 예측의 근거를 탐색하는 새로운 방법론을 제시했으며, 그중 LRP(Layer-wise Relevance Propagation)는 개별 예측 설명에 뛰어난 성능을 보입니다. 그러나 데이터셋 전체에 대한 심층적이고 정량적인 분석을 위해서는 개별 어트리뷰션 맵을 수동으로 검토하는 방식이 비효율적이며, 통합되고 접근성 높은 XAI 분석 도구와 시각화 소프트웨어가 부족한 실정입니다. 이러한 문제 해결을 위해 본 …
What large language models know and what people think they know
인공지능 시스템, 특히 거대 언어 모델(LLM)이 의사결정 과정에 깊이 통합되면서, 그 결과물에 대한 신뢰는 매우 중요해지고 있습니다. LLM이 인간의 신뢰를 얻으려면 예측의 정확도를 정확하게 평가하고 전달하는 능력이 필수적입니다. 기존 연구는 LLM의 내부 확신도에 초점을 맞췄으나, 사용자에게 불확실성을 얼마나 효과적으로 전달하는지에 대한 이해는 부족했습니다. 본 연구는 LLM이 생성한 답변에 대한 인간의 확신도와 모델의 실제 확신도 간의 차이인 '보정 격차'와, 인간과 모델이 정답과 오답을 얼마나 잘 구별하는지를 나타내는 '판…
Recent Emerging Techniques in Explainable Artificial Intelligence to Enhance the Interpretable and Understanding of AI Models for Human
설명 가능한 인공지능(XAI)의 발전에도 불구하고, 복잡한 AI 모델의 해석과 이해에는 여전히 어려움이 있어 광범위한 채택에 제약이 있습니다. 특히 AI 모델의 투명성과 해석 가능성 부족은 사용자 신뢰를 저해하고 중요한 의사결정 과정에 통합되는 것을 방해합니다. 본 연구는 이러한 문제를 해결하기 위해 XAI의 최근 부상하는 기술들을 탐색합니다. 연구는 AI 모델의 해석 가능성을 높이고 인간이 의사결정 과정을 더 잘 이해하도록 돕는 것을 목표로 합니다. 이를 위해 사후 설명, 모델 투명성 방법, 대화형 시각화 기술 등 다양한 방법론…
Generative AI without guardrails can harm learning: Evidence from high school mathematics
생성 인공지능(AI)은 인간의 업무 방식에 혁신을 가져오며 생산성 향상에 기여하고 있습니다. 그러나 AI가 새로운 기술 습득, 즉 학습에 미치는 영향은 중요한 미해결 과제입니다. 장기적인 생산성, 특히 AI의 오류 가능성을 고려할 때 사용자의 학습은 필수적입니다. 본 연구는 고등학생을 대상으로 한 현장 실험을 통해 생성 AI 튜터가 학습에 미치는 영향을 탐구했습니다. 거의 천 명의 고등 수학 학생들에게 두 가지 유형의 생성 AI 튜터에 대한 접근 권한을 제공했습니다. 하나는 일반적인 ChatGPT 인터페이스를 모방한 'GPT Ba…
Advancing AI Interpretability in Medical Imaging: A Comparative Analysis of Pixel-Level Interpretability and Grad-CAM Models
본 연구는 의료 영상 진단 시 AI 모델의 투명성과 진단 정확도를 높이기 위해 새로운 Pixel-Level Interpretability(PLI) 모델을 제안한다. 기존 Grad-CAM 모델의 한계를 극복하고, 더욱 세밀한 해석력과 정밀한 병변 위치 파악을 목표로 한다. 연구 방법론으로 VGG19 CNN 아키텍처를 활용했으며, 1,000개 이상의 레이블링된 COVID-19 흉부 X선 공개 데이터셋 3종을 사용했다. 데이터는 크기 조정, 정규화, 증강을 거쳐 모델의 견고성과 일반화 능력을 확보했다. PLI 모델의 성능은 Grad-C…
A comprehensive review on financial explainable AI
인공지능, 특히 딥러닝 모델은 방대한 데이터 처리 및 복잡한 패턴 학습 능력으로 다양한 산업 분야에서 광범위하게 활용되고 있습니다. 그러나 이러한 모델의 설명 불가능성은 의사결정 투명성이 필수적인 금융 및 헬스케어와 같은 중요 분야에서의 활용에 심각한 우려를 낳고 있습니다. 본 논문은 금융 분야에서 딥러닝 모델의 설명 가능성을 향상시키기 위한 다양한 방법론들을 비교 분석합니다. 설명 가능한 AI(XAI) 방법론들을 특성에 따라 분류하고, 각 방법론의 장단점을 심층적으로 검토합니다. 연구 결과, XAI 도입 시 발생할 수 있는 주…
A Comprehensive Review of Explainable Artificial Intelligence (XAI) in Computer Vision
설명 가능한 인공지능(XAI)은 복잡한 모델의 출력을 인간이 이해할 수 있도록 연결하는 것을 목표로 하며, 컴퓨터 비전 분야에서 그 중요성이 커지고 있습니다. 본 연구는 귀인 기반, 활성화 기반, 섭동 기반, 트랜스포머 기반의 네 가지 주요 XAI 방법론을 선별하여 비교 분석합니다. 이는 광범위한 문헌 검토를 통해 대표적인 접근 방식들을 집중적으로 다룹니다. 각 방법론은 고유한 방식으로 모델의 의사결정을 해석합니다. Grad-CAM과 같은 귀인 기반 방식은 기울기와 특징 활성화를 활용하여 입력 이미지의 핵심 영역을 강조합니다. 활…
Long Short-Term Memory Networks: A Comprehensive Survey
순차 데이터 모델링에 혁신을 가져온 LSTM(Long Short-Term Memory) 네트워크는 기존 순환 신경망(RNN)의 한계를 극복하며 장거리 의존성을 효과적으로 포착합니다. 본 조사는 LSTM 아키텍처를 포괄적으로 다루며, 정보 유지 및 변조를 가능하게 하는 셀 상태와 게이팅 메커니즘 같은 고유 구성 요소를 상세히 설명합니다. LSTM은 자연어 처리(언어 모델링, 기계 번역, 감성 분석), 시계열 분석(예측), 음성 인식 등 다양한 분야에서 활용되며 복잡한 데이터 유형 처리의 다재다능함과 견고함을 입증했습니다. Bidir…
Explainable Artificial Intelligence: A Perspective on Drug Discovery
인공지능(AI)은 신약 개발 과정을 혁신하며 치료 표적 식별, 후보 물질 정제, 연구부터 임상 적용까지의 효율성을 가속화하고 있습니다. 그러나 딥러닝 모델을 포함한 AI 모델의 내재된 불투명성은 '블랙박스' 문제를 야기하여 제약 연구자들의 해석 가능성과 수용을 제한합니다. 이에 설명 가능한 인공지능(XAI)은 AI 예측의 의사결정 메커니즘을 명확히 하여 투명성, 신뢰성, 신뢰도를 높이는 핵심 솔루션으로 부상했습니다. 본 연구는 XAI의 원칙과 방법론을 체계적으로 탐구하며, 신약 개발에 특화된 다양한 XAI 도구, 모델, 프레임워크…
An overview of model uncertainty and variability in LLM-based sentiment analysis: challenges, mitigation strategies, and the role of explainability
대규모 언어 모델(LLM)은 감성 분석 분야에 상당한 발전을 가져왔지만, 내재된 불확실성과 변동성은 신뢰할 수 있고 일관된 결과를 얻는 데 중대한 과제를 제기합니다. 본 논문은 LLM 기반 감성 분석에서 나타나는 모델 변동성 문제(MVP)를 체계적으로 탐구합니다. 이는 확률적 추론 메커니즘, 프롬프트 민감도, 훈련 데이터 편향으로 인해 발생하는 일관성 없는 감성 분류, 양극화, 불확실성으로 특징지어집니다. 저자들은 MVP의 영향을 강조하기 위해 예시와 두 가지 사례 연구를 제시하고, 모델 변동성의 근본적인 원인인 12가지 이유를 …
Generative Artificial Intelligence in Qualitative Data Analysis: Analyzing—Or Just Chatting?
연구자와 기업가들은 질적 데이터 분석에 생성형 인공지능(GenAI) 도구를 적용하는 방안을 적극적으로 모색하고 있습니다. 자동 코딩 및 주제 분석부터 가상 연구 보조 역할에 이르기까지, 질적 연구에서 GenAI의 잠재적 응용 분야는 광범위해 보입니다. 본 논문은 GenAI가 어떤 기술적 인공물인지 근본적인 질문을 던지고, 질적 데이터 분석에 적합한지 평가합니다. 특히 대규모 언어 모델(LLM)에 초점을 맞춰 GenAI에 대한 접근 가능하고 기술적으로 정보에 입각한 분석을 제공하며, 질적 데이터 분석에서 GenAI 사용의 혁신적 잠…
AI makes you smarter but none the wiser: The disconnect between performance and metacognition
인간-AI 상호작용 최적화를 위해서는 사용자의 비판적 성찰이 필수적이나, 생성형 AI가 사용자의 메타인지 판단에 미치는 영향은 잘 알려져 있지 않습니다. 본 연구는 AI 사용이 논리적 추론 과제에서 사용자의 메타인지 모니터링 및 성과에 어떻게 연관되는지 대규모 연구를 통해 탐구했습니다. 두 가지 대규모 연구에서, 참가자들은 AI를 활용하여 논리적 추론 문제를 해결했습니다. 특히, AI를 사용하는 사람들이 자신의 수행 능력을 얼마나 정확하게 모니터링하는지 분석했습니다. 연구 1에서는 246명의 참가자가 AI를 이용해 LSAT 논리 …
A comprehensive review of explainable AI in cybersecurity: Decoding the black box
최근 인공지능(AI)은 일상생활 전반에 걸쳐 광범위하게 활용되고 있으며, 머신러닝(ML) 및 딥러닝(DL) 모델을 활용한 다양한 기술이 빠르게 발전하고 있습니다. 그러나 이러한 모델들은 본질적으로 복잡하여 의사결정 과정에 대한 해석 가능한 설명을 제공하지 못하는 '블랙박스'로 간주됩니다. 특히 사이버보안 분야에서는 설명 불가능한 시스템이 중요한 결정을 내릴 때 명백한 위험을 초래하며, 이는 사용자들의 불신을 야기하여 사이버 공격 방어 모델의 신뢰도를 저하시킵니다. 이러한 문제 해결을 위해 본 연구는 설명 가능한 인공지능(XAI)을…
Explainable AI for Clinical Decision Support Systems: Literature Review, Key Gaps, and Research Synthesis
인공지능(AI)은 임상 의사결정 지원 시스템(CDSS)을 크게 향상시킬 잠재력이 있지만, AI 모델의 불투명성은 임상 현장에서의 채택을 가로막는 주요 장벽입니다. 이는 주로 해석 가능성 및 신뢰 문제에서 기인합니다. 설명 가능한 AI(XAI)는 모델의 추론 과정을 임상의가 이해할 수 있도록 함으로써 이러한 격차를 해소하려 하지만, 기존 XAI 솔루션은 실제 임상가의 요구사항, 워크플로우 통합, 유용성 문제를 제대로 다루지 못했습니다. 본 연구는 XAI를 CDSS에 적용하는 데 있어 지속되는 과제들(예: 부적절한 설명 방법, 최적화…
Toward Autonomous LLM-Based AI Agents for Predictive Maintenance: State of the Art, Challenges, and Future Perspectives
최근 대규모 언어 모델(LLM)의 발전으로 지각, 추론, 행동을 결합한 에이전트 시스템이 기계 고장 진단을 포함한 예측 보전(PdM) 수명 주기 전반에 걸쳐 활용 가능해졌습니다. 그러나 PdM을 위한 LLM 기반 에이전트 연구는 파편화되어 있으며, Model Context Protocol과 같은 최신 프레임워크에 대한 통합된 관점이 부족합니다. 본 논문은 PdM을 위한 판별형, 생성형, LLM 기반 접근 방식을 검토하고, LLM 기반 AI 에이전트에 대한 파편화된 증거들을 통합합니다. 특히, PdM을 위한 에이전트 AI 개념을 소…
