LLM, 재료 물성 예측의 한계와 활용 전략
좌표-범주 데이터(벡터와 범주 정보의 조합)로부터 물성을 예측하는 것은 재료 과학에서 형성 에너지나 탄성 계수를 예측하는 등 계산 과학의 근간을 이룹니다. 최근 거대 언어 모델(LLM)이 이러한 작업에 적용되고 있으나, 신뢰할 수 있는 예측을 위한 최적의 전략은 여전히 불분명합니다. 본 연구는 LLM이 좌표-범주 데이터의 좌표 정보를 학습하는 데 근본적인 한계가 있음을 밝힙니다. 좌표 및 범주 기여도를 조절할 수 있는 합성 데이터셋과 포괄적인 벤치마킹 프레임워크(MatText)를 활용한 체계적인 실험을 수행했습니다. 그 결과, LLM은 범주 패턴 학습에는 탁월했지만, 좌표 정보(기하학적 정보)는 일관되게 포착하지 못했습니다. 이러한 '기하학적 맹점'은 모델 크기(700억 매개변수), 데이터셋 규모(2백만 개 구조) 또는 텍스트 표현 전략과 무관하게 나타났습니다. 구조적 효과가 지배적인 재료 물성 예측 작업에서는 전문화된 기하학적 아키텍처가 LLM을 지속적으로 능가하며, 이는 '그래프 신경망-언어 모델(GNN-LM) 장벽'으로 명확히 확인되었습니다. 이 분석은 과학 머신러닝 분야에서 아키텍처 선택에 대한 구체적인 지침을 제공합니다. LLM의 강점과 한계를 이해함으로써, 재료 과학 분야의 예측 모델 개발에 더욱 효과적인 접근 방식을 모색할 수 있습니다.