대규모 언어 모델 연구 동향

대규모 언어 모델(LLM)의 급속한 발전은 인공지능 분야의 연구 패러다임과 실제 응용 분야에 혁신적인 변화를 가져왔습니다. 전례 없는 규모와 향상된 역량을 특징으로 하는 LLM은 그 개발, 동작 방식, 그리고 사회적 영향을 이해하기 위한 새로운 프레임워크를 요구합니다. 본 조사는 LLM 기술의 최신 발전을 네 가지 핵심 차원에서 체계적으로 검토합니다. 첫째, 대규모 자기 지도 학습, 아키텍처 혁신, 데이터 큐레이션 전략을 통해 모델의 핵심 역량을 확립하는 사전 학습 방법론을 다룹니다. 둘째, 지도 미세 조정 및 강화 학습을 포함하여 기반 모델을 다운스트림 작업에 적응시키고 정렬 및 안전성을 향상시키는 사후 학습 기법을 분석합니다. 셋째, 인컨텍스트 학습, 프롬프트 엔지니어링, 에이전트 추론과 같은 활용 전략을 통해 실제 배포를 최적화하고 외부 환경과의 효과적인 상호작용을 가능하게 합니다. 넷째, 핵심 언어 능력, 추론, 안전성과 같은 주요 능력 차원에 대한 벤치마크를 포함하여 모델 성능의 포괄적이고 신뢰할 수 있는 평가를 지원하는 평가 방법을 고찰합니다. 또한, 이론적 기반, 효율적인 확장, 정렬, 에이전트 역량과 관련된 중요한 연구 과제를 식별하고, 이들이 제시하는 미해결 난제들을 강조합니다. 본 조사는 최신 통찰력과 새로운 트렌드를 종합하여 LLM 발전의 궤적, 현재의 한계, 그리고 미래 방향을 이해하기 위한 체계적이고 포괄적인 프레임워크를 제공하고자 합니다.