최근 딥러닝 모델은 다양한 분야에서 뛰어난 성능을 보이지만, 그 작동 원리가 불투명하여 해석 가능성이 부족하다는 비판을 받습니다. 사후 설명 기법들은 이러한 문제를 해결하려 하지만, 블랙박스 모델을 정확히 반영하지 못해 오해를 불러일으키거나 불완전한 설명을 제공하는 한계가 있습니다.
본 연구는 이러한 문제를 극복하기 위해 본질적으로 투명한 모델 아키텍처인 신경 확률 회로(Neural Probabilistic Circuits, NPC)를 제안합니다. NPC는 속성 인식 모델과 확률 회로 기반의 태스크 예측기로 구성됩니다. 속성 인식 모델은 다양한 속성의 확률을 예측하고, 태스크 예측기는 인식된 속성에 대한 논리적 추론을 통해 클래스를 예측합니다. NPC 훈련을 위해 속성 인식, 회로 구성, 공동 최적화의 3단계 학습 알고리즘을 도입했습니다.
이론적으로 NPC의 오류는 각 모듈 오류의 선형 결합으로 상한이 정해짐을 증명했습니다. 또한, NPC의 해석 가능성을 입증하기 위해 가장 확률 높은 설명과 반사실적 설명을 모두 제공합니다. 4가지 벤치마크 데이터셋에 대한 실험 결과, NPC는 기존 종단간 블랙박스 모델과 경쟁력 있는 성능을 달성하면서도 향상된 해석 가능성을 제공하여, 해석 가능성과 성능 사이의 균형을 성공적으로 맞추는 것을 확인했습니다.
NPC는 복잡한 의사결정 과정에서 모델의 예측을 이해하고 신뢰해야 하는 STEM 분야 연구자 및 실무자에게 유용할 것입니다. 특히, 의료 진단이나 자율 주행과 같이 높은 신뢰성과 설명 가능성이 요구되는 분야에 기여할 수 있습니다.
네트워크 이상 탐지를 위한 머신러닝(ML) 기법은 위협 탐지 및 대응 시간을 크게 단축하며 효과적인 사전 예방 전략으로 부상하고 있습니다. 그러나 ML 모델 훈련 및 유지보수의 어려움과 잦은 오탐은 이러한 기술의 수용성과 신뢰도를 저해합니다. 이에 대응하여 설명 가능한 인공지능(XAI) 기술이 도입되었으나, 여전히 현장 실무자들의 수용도가 낮고 분석가 및 모델 관리자의 의사결정 요구를 충족시키지 못하는 한계가 있습니다.
본 연구에서는 대규모 언어 모델(LLM)이 이러한 문제를 해결할 독특한 접근 방식을 제공한다는 점에 주목합니다. KDD99 데이터셋으로 훈련된 랜덤 포레스트 분류기를 구현하는 특수 침입 탐지 대시보드인 HuntGPT를 개발했습니다. 이 도구는 SHAP 및 Lime과 같은 XAI 프레임워크를 통합하여 모델의 사용자 친화성과 직관성을 향상시켰습니다.
HuntGPT는 GPT-3.5 Turbo 대화형 에이전트와 결합하여 탐지된 위협을 쉽게 설명 가능한 형식으로 제공하며, 사용자 이해를 강조하고 원활한 상호작용 경험을 제공합니다. 시스템의 포괄적인 아키텍처와 다양한 구성 요소를 조사하고, CISM 실습 시험을 사용하여 프로토타입의 기술적 정확성을 평가했습니다.
그 결과, LLM 기술을 기반으로 XAI와 통합된 대화형 에이전트가 특히 침입 탐지 시스템 영역에서 설명 가능하고 실행 가능한 AI 솔루션을 생성하는 강력한 메커니즘이 될 수 있음을 확인했습니다. 이는 사이버 보안 운영팀의 신뢰도와 효율성을 크게 향상시킬 수 있습니다.
작물 질병은 농업 생산량과 경제적 손실에 큰 영향을 미치므로, 신속하고 정확한 진단이 필수적입니다. 기존 진단 방식은 시간 소모적이고 전문가 지식에 의존하여 대규모 적용에 한계가 있습니다. 본 연구는 이러한 문제를 해결하기 위해 잔여 학습과 MobileNetV2 특징 추출기를 결합한 경량 합성곱 신경망(CNN) 모델인 Mob-Res를 제안합니다.
Mob-Res는 351만 개의 적은 파라미터 수를 가지면서도 뛰어난 성능을 발휘하여 모바일 애플리케이션에 적합합니다. 이 모델은 Plant Disease Expert(58개 클래스, 199,644개 이미지) 및 PlantVillage(38개 클래스, 54,305개 이미지) 두 가지 벤치마크 데이터셋으로 평가되었습니다.
엄격한 훈련 전략을 통해 Mob-Res는 Plant Disease Expert 데이터셋에서 평균 97.73%, PlantVillage 데이터셋에서 99.47%의 높은 정확도를 달성했습니다. 또한, 교차 도메인 유효성 검사율(CDVR) 평가에서 기존 사전 훈련 모델들과 비교하여 경쟁력 있는 교차 도메인 적응성을 보였습니다. 특히, ViT-L32보다 훨씬 적은 파라미터와 빠른 추론 속도로 우수한 성능을 나타냈습니다.
Mob-Res는 Grad-CAM, Grad-CAM++, LIME 기법을 활용하여 예측에 영향을 미치는 신경망 영역을 시각적으로 제공함으로써 설명 가능성을 높였습니다. 본 연구 결과는 Mob-Res가 자동화된 식물 질병 탐지를 위한 유망한 솔루션임을 입증하며, 대규모 농업 운영과 전 세계 식량 안보 증진에 기여할 수 있음을 시사합니다.
