대부분의 분자 및 재료 기계 학습 모델은 원자 간 양자 상호작용보다는 분자나 결정 전체의 상관관계를 학습합니다. 그러나 결합, 전하 재분배, 궤도 혼성화 및 전자 결합은 모두 이러한 2체 상호작용에서 비롯됩니다. 본 연구는 2체 양자 시스템을 최소 단위의 원자 간 상호작용으로 취급하는 다중 모드 벤치마크인 QuantumCanvas를 소개합니다.
QuantumCanvas는 2,850개의 원소-원소 쌍을 최적화된 단일 기하학적 구조로 다루며, 전자, 열역학, 쌍극자 및 전하 유도 특성을 포함한 17가지 벤치마크 목표량을 평가합니다. 각 쌍은 궤도 점유율과 전하 및 쌍극자 유도장의 10채널 이미지로도 표현되어, 명시적인 원자 좌표 없이 각도 및 정전기적 구조를 인코딩합니다.
그래프, 비전 및 융합 아키텍처를 원소 쌍 분리 분할에 벤치마킹한 결과, 모달리티별 귀납적 편향이 드러났습니다. 그래프 인코더는 대부분의 목표량에서 가장 낮은 MAE를 달성했으며, 후기 융합은 Mermin 자유 에너지에서 가장 낮은 MAE를 보였습니다. 이미지의 공간 레이아웃을 파괴해도 정확도가 저하되지 않으며, 생성 스칼라를 직접 입력받은 모델이 이미지 변형보다 성능이 우수함을 확인했습니다.
QuantumCanvas를 통한 사전 학습은 QM9, MD17, CrysMTM 데이터셋에서 16개 인코더-목표량 비교 중 11개에서 평균 테스트 오류를 낮추었습니다. 따라서 QuantumCanvas는 각 모달리티가 어떤 신호를 포착하고, 어떻게 결합하며, 분자, 동역학 및 결정 체제 전반에 걸쳐 어떻게 전이되는지 연구하기 위한 통제되고 물리적으로 기반을 둔 테스트베드를 제공합니다.
독성 예측 머신러닝 모델은 무작위 분할로 인해 과대평가된 성능을 보고하는 경향이 있습니다. 이는 구조적으로 유사한 화합물이 훈련 및 테스트 세트에 동시에 나타나기 때문입니다. 본 연구는 이러한 과대평가를 정량화하고, 모델의 보정(calibration), 불확실성(uncertainty), 적용 영역(applicability domain) 분석을 통합한 엄격한 벤치마크의 필요성을 제기합니다.
저자들은 누출 감사(leakage-audited) 벤치마크인 ToxBench를 제안합니다. 이는 Tox21, ClinTox, SIDER 세 가지 독성 데이터셋을 포함하며, 투명한 표준화 파이프라인을 통해 처리되었습니다. Random Forest, XGBoost, MLP, GNN 네 가지 모델 클래스를 무작위 및 Bemis-Murcko 스캐폴드 기반 분할 방식으로 평가했습니다. 분석에는 사후 확률 보정, 앙상블 기반 불확실성 정량화, 최근접 이웃 적용 영역 분석 및 스캐폴드 수준 오류 분석이 포함되었습니다.
스캐폴드 분할은 Tox21에서 AUROC를 평균 0.070점, SIDER에서 0.031–0.035점 감소시켜, 무작위 분할 시 성능이 체계적으로 과대평가됨을 입증했습니다. ClinTox는 작은 데이터셋 크기와 심한 클래스 불균형으로 인해 샘플링 노이즈가 결과에 지배적인 영향을 미쳤습니다. 사후 보정은 ClinTox에서 ECE를 67–68% 감소시켜, 간단한 보정으로 신뢰할 수 있는 확률 추정이 가능함을 확인했습니다.
본 연구는 독성 예측 모델의 신뢰성과 유효성을 높이는 데 기여하며, 실제 적용 시 모델 선택 및 해석에 중요한 지침을 제공합니다. ToxBench는 향후 독성 예측 모델 개발 및 평가의 표준으로 활용될 수 있습니다.
