테이블 데이터 언어 모델링: 최신 동향

다양한 분야에서 널리 사용되는 테이블 데이터는 이질적인 특성과 복잡한 구조적 관계로 인해 분석에 어려움이 있습니다. 높은 예측 성능과 견고성을 달성하는 것은 수많은 응용 분야에서 중요합니다. 최근 자연어 처리, 특히 트랜스포머 아키텍처의 발전은 테이블 데이터 모델링을 위한 새로운 방법론을 이끌어냈습니다. 초기 기법들은 트랜스포머를 처음부터 사전 학습하는 데 집중했으나, 확장성 문제에 직면했습니다. 이후 BERT와 같은 사전 학습된 언어 모델을 활용하는 방법들이 개발되어 더 적은 데이터로도 향상된 성능을 보였습니다. GPT, LLaMA와 같은 대규모 언어 모델의 등장은 최소한의 미세 조정을 통해 더욱 발전되고 다양한 응용을 가능하게 하며 이 분야에 혁명을 가져왔습니다. 이러한 관심 증가에도 불구하고, 테이블 데이터 언어 모델링 기법에 대한 포괄적인 조사는 부족했습니다. 본 논문은 테이블 데이터 언어 모델링의 발전을 체계적으로 검토하여 이러한 공백을 메웁니다. 테이블 데이터 구조 및 유형 분류, 모델 훈련에 사용되는 주요 데이터셋 및 평가 태스크 검토, 데이터 처리 방법, 아키텍처, 훈련 목표를 포함한 모델링 기법 요약 등을 다룹니다. 또한, 전통적인 사전 학습/사전 학습된 언어 모델의 적용에서 대규모 언어 모델 활용으로의 진화를 분석하고, 지속적인 도전 과제와 미래 연구 방향을 제시합니다. 이 조사는 테이블 데이터 분석 분야의 연구자와 실무자에게 귀중한 통찰력을 제공할 것입니다.