병리 분석을 위한 멀티모달 파운데이션 모델

컴퓨터 병리학 분야는 자기 지도 학습을 통해 조직 병리 관심 영역(ROI)을 다재다능하고 전이 가능한 특징 표현으로 인코딩하는 파운데이션 모델의 발전으로 변화하고 있습니다. 그러나 이러한 발전이 환자 및 슬라이드 수준의 복잡한 임상 문제를 해결하는 데 적용되는 것은 질병별 코호트의 제한된 임상 데이터, 특히 희귀 질환에 대한 데이터 부족으로 인해 제약을 받습니다. 본 연구에서는 이러한 한계를 극복하기 위해 Transformer 기반의 병리 이미지 및 텍스트 정렬 네트워크(TITAN)를 제안합니다. TITAN은 335,645개의 전체 슬라이드 이미지와 해당 병리 보고서, 그리고 멀티모달 생성 AI 코파일럿이 생성한 423,122개의 합성 캡션을 활용하여 시각적 자기 지도 학습 및 시각-언어 정렬 방식으로 사전 학습된 멀티모달 전체 슬라이드 파운데이션 모델입니다. TITAN은 미세 조정이나 임상 레이블 없이도 범용 슬라이드 표현을 추출하고 병리 보고서를 생성할 수 있습니다. 이는 희귀 질환 검색 및 암 예후와 같이 자원이 제한된 임상 시나리오에서도 일반화 가능한 성능을 보여줍니다. 다양한 임상 작업에서 TITAN을 평가한 결과, 선형 프로빙, 소수 학습 및 제로샷 분류, 희귀암 검색, 교차 모달 검색, 병리 보고서 생성 등 다양한 머신러닝 설정에서 기존 ROI 및 슬라이드 파운데이션 모델을 능가하는 성능을 확인했습니다. 이 모델은 데이터가 부족한 시나리오, 예를 들어 희귀암 진단 및 생존 예측과 같은 경우에도 추가 미세 조정 없이 임상 작업을 수행하고 보고서를 생성할 수 있어, 환자 및 슬라이드 수준의 복잡한 임상 문제 해결에 크게 기여할 수 있습니다.