LLM 시대, 소형 모델의 역할 재조명
거대 언어 모델(LLM)은 다양한 추론 작업에서 뛰어난 성능을 보이며 모델 크기 확장을 가속화하고 있습니다. 그러나 이러한 모델의 규모 증가는 막대한 계산 비용과 에너지 소비를 수반하여, 자원이 제한적인 학계 연구자나 기업에게는 실용성이 떨어지는 한계가 있습니다. 반면, 소형 모델(SM)은 실제 환경에서 자주 활용되지만 그 중요성은 종종 간과되고 있습니다. 본 연구는 LLM 시대에 소형 모델이 가지는 역할에 대한 중요한 질문을 제기하며, 기존 연구에서 충분히 다루어지지 않았던 이 주제를 심층적으로 탐구합니다. 특히, LLM과 SM의 관계를 협력(Collaboration)과 경쟁(Competition) 또는 상호 보완성(Complementarity)이라는 두 가지 핵심 관점에서 체계적으로 분석합니다. 이 조사는 실무자들에게 소형 모델의 기여에 대한 깊이 있는 이해를 제공하고, 컴퓨팅 자원의 보다 효율적인 활용을 촉진하는 귀중한 통찰력을 제공할 것으로 기대됩니다.