2026년 38주차 · 급상승 연구 주제
컴퓨터 과학 · Explainable Artificial Intelligence (XAI)
연 1,611 → 5,257편
분야 평균 대비 +197%p
AI 모델의 복잡성 증가로 인해 예측 결과의 근거를 이해하고 신뢰성을 확보하는 것이 중요해졌습니다. 이는 AI 시스템의 투명성과 책임성을 높이는 데 필수적입니다.
출판량은 OpenAlex 전수 데이터를 최근 12개월과 직전 12개월로 나눠 비교한 값이에요. 분야 전체가 함께 커지는 착시를 빼기 위해 분야 중앙값 성장률을 차감한 초과 성장(+197%p)으로 순위를 매겼어요.
학부·석사 수준에서 실제로 착수 가능한 스케일로 좁힌 방향이에요. 마음에 드는 걸 고르면 카라멜 조교가 이어서 구체화해 줘요.
특정 산업(예: 의료, 금융) 도메인 데이터에 대한 XAI 기법 적용 및 효과 분석
아이디에이션2사용자 피드백을 활용하여 XAI 설명 방식의 직관성 및 유용성 개선
아이디에이션3블랙박스 모델의 특정 예측에 대한 국소적 설명(local explanation) 생성 기법 개발
아이디에이션인용 속도와 최신성으로 고른 논문이에요. 한국어 요약을 먼저 보고, 원문은 8개 섹션 풀 분석으로 이어갈 수 있어요.
Explainable AI in healthcare: to explain, to predict, or to describe?
설명 가능한 인공지능(XAI)은 AI 모델의 예측 과정을 이해하기 위한 정보를 제공하도록 설계되었습니다. 의료 분야에서는 XAI가 환자부터 의료 전문가, AI 개발자에 이르기까지 다양한 이해관계자에게 모델 작동 방식에 대한 정확하고 관련성 높은 정보를 제공할 것이라는 기대가 큽니다. 그러나 이해관계자마다 '관련성 있는 정보'의 기준이 크게 다를 수 있어, 이러한 기대에 부응하는 것은 쉽지 않은 과제입니다. 많은 이해관계자에게는 인과적 설명이 중요하지만, 현재의 XAI 방법론은 이러한 인과적 정보를 제공하는 데 한계가 있습니다. 본…
From System 1 to System 2: A Survey of Reasoning Large Language Models
인간 수준의 지능을 달성하려면 빠르고 직관적인 시스템 1 사고에서 느리고 신중한 시스템 2 추론으로의 전환을 고도화해야 한다. 기존 대규모 언어 모델(LLM)은 빠른 의사결정에 능하지만, 복잡한 추론을 위한 단계별 분석 능력인 시스템 2 사고는 부족했다. 이는 편향을 줄이고 정확한 판단을 내리는 데 필수적인 논리적 추론 역량의 한계를 드러냈다. 최근 OpenAI의 o1/o3, DeepSeek의 R1과 같은 추론형 LLM은 수학, 코딩 등 전문 분야에서 전문가 수준의 성능을 보이며 시스템 2의 신중한 추론과 유사한 인지 능력을 입증…
Explainable AI for Clinical Decision Support Systems: Literature Review, Key Gaps, and Research Synthesis
인공지능(AI)은 임상 의사결정 지원 시스템(CDSS)을 크게 향상시킬 잠재력이 있지만, AI 모델의 불투명성은 임상 현장에서의 채택을 가로막는 주요 장벽입니다. 이는 주로 해석 가능성 및 신뢰 문제에서 기인합니다. 설명 가능한 AI(XAI)는 모델의 추론 과정을 임상의가 이해할 수 있도록 함으로써 이러한 격차를 해소하려 하지만, 기존 XAI 솔루션은 실제 임상가의 요구사항, 워크플로우 통합, 유용성 문제를 제대로 다루지 못했습니다. 본 연구는 XAI를 CDSS에 적용하는 데 있어 지속되는 과제들(예: 부적절한 설명 방법, 최적화…
Towards trustworthy artificial intelligence for decision-making: A lifecycle perspective on knowledge- and data-driven artificial intelligence systems
조직의 의사결정 과정에서 데이터 기반 인공지능(AI) 시스템의 활용이 증가하고 있으나, 이러한 시스템은 종종 해석 불가능한 블랙박스로 작동하여 의사결정의 근거를 이해하기 어렵게 만듭니다. 또한, 구조화된 도메인 지식을 활용하지 못해 의사결정 맥락이나 목표와 일치하지 않는 결과를 초래하고, 이는 잘못된 결정이나 AI 시스템에 대한 신뢰 저하로 이어질 수 있습니다. 이러한 문제 해결을 위해 최근 신경-상징 AI와 같이 도메인 지식과 데이터 기반 AI를 통합하려는 연구가 활발히 진행되고 있습니다. 본 연구는 의사결정을 위한 지식-데이터…
Generative Artificial Intelligence in Qualitative Data Analysis: Analyzing—Or Just Chatting?
연구자와 기업가들은 질적 데이터 분석에 생성형 인공지능(GenAI) 도구를 적용하는 방안을 적극적으로 모색하고 있습니다. 자동 코딩 및 주제 분석부터 가상 연구 보조 역할에 이르기까지, 질적 연구에서 GenAI의 잠재적 응용 분야는 광범위해 보입니다. 본 논문은 GenAI가 어떤 기술적 인공물인지 근본적인 질문을 던지고, 질적 데이터 분석에 적합한지 평가합니다. 특히 대규모 언어 모델(LLM)에 초점을 맞춰 GenAI에 대한 접근 가능하고 기술적으로 정보에 입각한 분석을 제공하며, 질적 데이터 분석에서 GenAI 사용의 혁신적 잠…
AI makes you smarter but none the wiser: The disconnect between performance and metacognition
인간-AI 상호작용 최적화를 위해서는 사용자의 비판적 성찰이 필수적이나, 생성형 AI가 사용자의 메타인지 판단에 미치는 영향은 잘 알려져 있지 않습니다. 본 연구는 AI 사용이 논리적 추론 과제에서 사용자의 메타인지 모니터링 및 성과에 어떻게 연관되는지 대규모 연구를 통해 탐구했습니다. 두 가지 대규모 연구에서, 참가자들은 AI를 활용하여 논리적 추론 문제를 해결했습니다. 특히, AI를 사용하는 사람들이 자신의 수행 능력을 얼마나 정확하게 모니터링하는지 분석했습니다. 연구 1에서는 246명의 참가자가 AI를 이용해 LSAT 논리 …
The human factor in explainable artificial intelligence: clinician variability in trust, reliance, and performance
설명 가능한 인공지능(XAI)은 의료와 같은 고위험 분야에서 사용자 신뢰를 높이는 데 필수적이라고 여겨지지만, 실제 사용자 평가보다는 자동화된 측정 방식에 의존하는 경향이 있습니다. 본 연구는 이미지 기반의 재태 연령(GA) 추정 프로토타입 XAI 모델을 적용하여, 신뢰, 의존성 및 성능에 미치는 영향을 평가하고, 적절한 의존성에 대한 새로운 측정 지표를 도입했습니다. 10명의 초음파 검사 전문가가 3단계 판독 연구를 통해 XAI 모델이 GA 추정치에 미치는 영향을 평가했습니다. 모델 예측은 임상의의 평균 절대 오차(MAE)를 2…
From Black Box to Glass Box: A Practical Review of Explainable Artificial Intelligence (XAI)
보안, 금융, 헬스케어 등 고위험 영역에서 머신러닝 시스템의 활용이 증가함에 따라 설명 가능한 인공지능(XAI)의 중요성이 커지고 있습니다. 기존 모델은 '블랙 박스'처럼 작동하여 신뢰와 책임성을 저해하지만, 기존 연구들은 설명 가능성을 기술적 또는 철학적 문제로만 다루며 실제 보안, 프라이버시, 거버넌스 함의와 연결하지 못했습니다. 본 연구는 이러한 간극을 메우고자 이론적 기반과 실제 적용, 사회적 관점을 통합하여 XAI를 조명합니다. 연구는 투명성과 해석 가능성을 핵심 개념으로 정의하고, 공개 및 설명의 한계 효용을 강조하기 …
Toward Autonomous LLM-Based AI Agents for Predictive Maintenance: State of the Art, Challenges, and Future Perspectives
최근 대규모 언어 모델(LLM)의 발전으로 지각, 추론, 행동을 결합한 에이전트 시스템이 기계 고장 진단을 포함한 예측 보전(PdM) 수명 주기 전반에 걸쳐 활용 가능해졌습니다. 그러나 PdM을 위한 LLM 기반 에이전트 연구는 파편화되어 있으며, Model Context Protocol과 같은 최신 프레임워크에 대한 통합된 관점이 부족합니다. 본 논문은 PdM을 위한 판별형, 생성형, LLM 기반 접근 방식을 검토하고, LLM 기반 AI 에이전트에 대한 파편화된 증거들을 통합합니다. 특히, PdM을 위한 에이전트 AI 개념을 소…
A Comprehensive Review of Explainable Artificial Intelligence (XAI) in Computer Vision
설명 가능한 인공지능(XAI)은 복잡한 모델의 출력을 인간이 이해할 수 있도록 연결하는 것을 목표로 하며, 컴퓨터 비전 분야에서 그 중요성이 커지고 있습니다. 본 연구는 귀인 기반, 활성화 기반, 섭동 기반, 트랜스포머 기반의 네 가지 주요 XAI 방법론을 선별하여 비교 분석합니다. 이는 광범위한 문헌 검토를 통해 대표적인 접근 방식들을 집중적으로 다룹니다. 각 방법론은 고유한 방식으로 모델의 의사결정을 해석합니다. Grad-CAM과 같은 귀인 기반 방식은 기울기와 특징 활성화를 활용하여 입력 이미지의 핵심 영역을 강조합니다. 활…
An overview of model uncertainty and variability in LLM-based sentiment analysis: challenges, mitigation strategies, and the role of explainability
대규모 언어 모델(LLM)은 감성 분석 분야에 상당한 발전을 가져왔지만, 내재된 불확실성과 변동성은 신뢰할 수 있고 일관된 결과를 얻는 데 중대한 과제를 제기합니다. 본 논문은 LLM 기반 감성 분석에서 나타나는 모델 변동성 문제(MVP)를 체계적으로 탐구합니다. 이는 확률적 추론 메커니즘, 프롬프트 민감도, 훈련 데이터 편향으로 인해 발생하는 일관성 없는 감성 분류, 양극화, 불확실성으로 특징지어집니다. 저자들은 MVP의 영향을 강조하기 위해 예시와 두 가지 사례 연구를 제시하고, 모델 변동성의 근본적인 원인인 12가지 이유를 …
