거대 언어 모델 기반 의료 AI의 전문가 수준 도달

거대 언어 모델(LLM)은 의료 질문 답변 분야에서 가능성을 보여왔으며, 특히 Med-PaLM은 미국 의사 면허 시험 스타일 질문에서 '합격' 점수를 넘어선 최초의 모델입니다. 그러나 장문 의료 질문 답변 및 실제 워크플로우 처리에는 여전히 어려움이 있었습니다. 본 연구에서는 이러한 격차를 해소하기 위해 Med-PaLM 2를 소개합니다. 이 모델은 기본 LLM 개선, 의료 도메인 미세 조정, 그리고 앙상블 정제 및 검색 체인(chain of retrieval)을 통한 추론 및 근거 개선 전략을 결합하여 개발되었습니다. Med-PaLM 2는 MedQA 데이터셋에서 86.5%의 점수를 달성하여 Med-PaLM 대비 19% 이상 향상되었으며, MedMCQA, PubMedQA, MMLU 임상 주제 데이터셋 전반에서 성능이 크게 향상되었습니다. 상세한 인간 평가 프레임워크 결과, 의사들은 9개 임상 축 중 8개에서 Med-PaLM 2의 답변을 다른 의사의 답변보다 선호했습니다. 또한, LLM의 한계를 탐색하도록 설계된 새로운 적대적 데이터셋에서도 이전 모델 대비 유의미한 개선을 보였습니다. 실제 의료 질문을 사용한 파일럿 연구에서, 전문의들은 일반의 답변보다 Med-PaLM 2의 답변을 65% 더 선호했습니다. 전반적으로는 전문의 답변이 여전히 선호되었지만, 전문의와 일반의 모두 Med-PaLM 2가 의사 답변만큼 안전하다고 평가하여 실제 의료 애플리케이션에서의 잠재력을 입증했습니다.