3D CT 범용 파운데이션 모델 개발

의료 AI, 특히 3D 영상 분야의 발전은 포괄적인 데이터셋 부족으로 제약을 받아왔습니다. 본 연구는 3D 의료 영상과 해당 텍스트 보고서를 결합한 공개 데이터셋인 CT-RATE를 소개합니다. CT-RATE는 21,304명의 환자로부터 얻은 25,692개의 비조영 흉부 CT 스캔과 방사선 보고서로 구성됩니다. CT-RATE를 활용하여, 특정 작업 훈련 없이 광범위하게 적용 가능한 CT 중심의 대조 언어-영상 사전 학습 프레임워크인 CT-CLIP을 개발했습니다. 또한, CT-CLIP의 비전 인코더와 사전 학습된 대규모 언어 모델을 결합하여 3D 흉부 CT 볼륨을 위한 비전-언어 기반 대화 모델인 CT-CHAT을 구축했습니다. CT-CLIP은 다중 이상 감지 및 사례 검색에서 최첨단 완전 지도 학습 모델을 모든 주요 지표에서 능가하는 성능을 보였습니다. CT-CHAT은 CT-RATE 데이터셋에서 파생된 270만 개 이상의 질문-답변 쌍으로 미세 조정되었으며, 3D 의료 영상 분야의 전문화된 방법론의 필요성을 강조합니다. CT-RATE, CT-CLIP, CT-CHAT의 오픈소스 공개는 3D 의료 영상의 핵심 과제를 해결하고, 의료 AI 혁신 및 환자 치료 개선을 위한 기반을 마련할 것입니다.