의료 영상 진단, 텍스트 활용 멀티모달 AI

멀티모달 파운데이션 모델은 의료 영상 해석에서 주목할 만하지만 상충되는 성능을 보여왔으며, 이미지와 텍스트 등 다양한 데이터 양식을 통합하고 우선순위를 정하는 방식은 명확히 이해되지 않았습니다. 본 연구는 이러한 모델들이 의료 영상 예측에 텍스트를 어떻게 활용하는지 탐구합니다. 저자들은 8가지 독점 및 오픈소스 멀티모달 파운데이션 모델을 1,090개의 멀티모달 의료 사례에 적용하여 평가했습니다. 이 과정에서 모델이 다양한 정보 양식을 통합하는 방식을 면밀히 분석했습니다. 연구 결과, 이미지 예측은 주로 텍스트 정보에 의해 좌우되며, 정보성 텍스트의 양이 증가할수록 정확도가 단조롭게 증가하는 경향을 보였습니다. 그러나 텍스트 활용은 양날의 검으로 작용합니다. 부정확한 진단을 암시하는 텍스트는 이미지 기반 분류 성능을 크게 저해하여, 모델이 이미지 단독으로 정확히 분류할 수 있었던 경우에도 성능이 84%에서 28%로 급락했습니다. 의사 평가에서도 텍스트 정보가 매우 풍부할 경우 이미지 추가가 성능을 개선하지 못하거나 오히려 감소시키는 경향이 나타났습니다(예: GPT-4V는 텍스트 정보가 풍부한 69개 임상병리 컨퍼런스 사례에서 이미지를 추가했을 때 정확도가 감소). 이러한 결과는 멀티모달 AI 모델이 의료 진단 추론에 유용할 수 있지만, 그 정확도가 긍정적이든 부정적이든 텍스트 정보에 크게 의존함을 시사합니다. 이는 의료 AI 모델 개발 및 활용 시 텍스트 데이터의 중요성과 잠재적 위험성을 동시에 고려해야 함을 강조합니다.