XAI 소프트웨어: Zennit, CoRelAy, ViRelAy
심층 신경망(DNN)의 예측 능력은 뛰어나지만, 그 작동 원리는 여전히 불투명합니다. 설명 가능한 인공지능(XAI)은 복잡한 모델 예측의 근거를 탐색하는 새로운 방법론을 제시했으며, 그중 LRP(Layer-wise Relevance Propagation)는 개별 예측 설명에 뛰어난 성능을 보입니다. 그러나 데이터셋 전체에 대한 심층적이고 정량적인 분석을 위해서는 개별 어트리뷰션 맵을 수동으로 검토하는 방식이 비효율적이며, 통합되고 접근성 높은 XAI 분석 도구와 시각화 소프트웨어가 부족한 실정입니다. 이러한 문제 해결을 위해 본 연구에서는 모델 추론을 탐색하는 세 가지 소프트웨어 패키지를 제안합니다. 첫째, PyTorch 기반의 LRP 및 관련 방법을 구현한 사용자 맞춤형 어트리뷰션 프레임워크인 Zennit. 둘째, 데이터셋 전체 설명에 대한 정량적 분석 파이프라인을 구축하는 CoRelAy. 셋째, 데이터, 어트리뷰션, 분석 결과를 탐색하는 대화형 웹 애플리케이션인 ViRelAy입니다. 이 소프트웨어들은 XAI의 표준화된 구현을 제공하여 연구 분야의 재현성을 높이고, 과학자와 실무자가 복잡한 모델 동작의 미묘한 차이를 밝혀낼 수 있도록 지원합니다. 이를 통해 모델 동작에 대한 세분화되고 총체적인 이해를 촉진하며, XAI의 적용성과 활용성을 향상시킬 수 있습니다.