자원 효율적 LLM 체계적 분석

ChatGPT와 같은 대규모 언어 모델(LLM)은 인공지능 분야의 중요한 진전을 나타내지만, 컴퓨팅, 메모리, 에너지, 재정 등 막대한 자원 소비 문제를 야기합니다. 특히 자원 제약이 있는 환경에서는 이러한 도전이 더욱 심화됩니다. 본 조사는 LLM의 자원 효율성을 높이기 위한 다양한 기술들을 체계적으로 검토하여 이 문제에 접근합니다. 저자들은 최적화 초점(컴퓨팅, 메모리, 에너지, 재정, 네트워크)과 LLM 생명주기(아키텍처 설계, 사전 학습, 미세 조정, 시스템 설계)에 따른 방법론을 분류합니다. 또한, 특정 자원 유형에 따른 효율성 기술의 미묘한 분류를 제시하여 다양한 자원과 최적화 기법 간의 복잡한 관계를 밝혀냅니다. 일관되고 공정한 비교를 위해 표준화된 평가 지표와 데이터셋을 제시합니다. 본 조사는 최신 기술 현황을 포괄적으로 조망하고 미개척 연구 분야를 식별함으로써, 연구자와 실무자가 지속 가능하고 효율적인 LLM을 개발하는 데 필요한 기초 자료를 제공합니다. 이 분야에 관심 있는 입문자들을 위해 기존 연구에 대한 체계적인 검토와 자원 효율적인 LLM에 대한 고도로 구조화된 분류 체계를 제공하며, 지속적으로 업데이트되는 논문 목록 웹사이트도 함께 공개합니다.