엣지-클라우드 협업 LLM 추론 및 학습
거대 언어 모델(LLM)의 발전에도 불구하고, 클라우드 단독 배포나 엣지 기기 압축은 지연 시간, 개인 정보 보호, 비용, 개인화 문제로 인해 한계에 부딪히고 있습니다. 본 연구는 클라우드 LLM과 엣지 소형 언어 모델(SLM)이 추론 및 학습 과정에서 협력하는 패러다임을 탐구합니다. 이를 위해 엣지-클라우드 협업 전략에 대한 통합 분류 체계를 제안합니다. 추론 단계에서는 작업 할당, 작업 분할, 혼합 기반 협업 방식을 작업 및 토큰 수준으로 분류하며, 적응형 스케줄링, 자원 인식 오프로딩, 추측 디코딩, 모듈러 라우팅 등을 포함…