테이블형 파운데이션 모델 기반 소규모 데이터 예측

생물 의학부터 경제학에 이르는 다양한 과학 분야에서 스프레드시트 형태의 테이블형 데이터는 광범위하게 활용됩니다. 이러한 데이터에서 누락된 값을 예측하는 것은 의학적 위험 모델, 신약 개발 등 여러 응용 분야에서 필수적인 과제입니다. 지난 20년간 테이블형 데이터 분석에서는 경사 부스팅 결정 트리가 주로 사용되었으나, 딥러닝의 발전은 새로운 가능성을 제시하고 있습니다. 본 연구에서는 테이블형 사전 학습 네트워크(TabPFN)를 제안합니다. 이는 최대 10,000개 샘플을 가진 데이터셋에서 기존 모든 방법론을 훨씬 능가하는 성능을 보이며, 훈련 시간 또한 대폭 단축시킵니다. TabPFN은 분류 작업에서 2.8초 만에 4시간 동안 튜닝된 강력한 기준 모델 앙상블보다 우수한 결과를 달성했습니다. TabPFN은 생성형 트랜스포머 기반 파운데이션 모델로서, 미세 조정, 데이터 생성, 밀도 추정 및 재사용 가능한 임베딩 학습이 가능합니다. 이 모델은 수백만 개의 합성 데이터셋을 통해 학습된 학습 알고리즘으로, 알고리즘 개발에 있어 이러한 접근 방식의 강력함을 입증합니다. TabPFN은 다양한 분야에서 모델링 능력을 향상시켜 과학적 발견을 가속화하고 중요한 의사결정 과정을 개선할 잠재력을 가집니다.