차세대 네트워크를 위한 상태 공간 모델 연구

딥러닝 시대에 트랜스포머 아키텍처는 사전 학습된 대규모 모델과 다양한 다운스트림 작업에서 강력한 성능을 입증했습니다. 그러나 트랜스포머의 막대한 연산 요구량은 많은 연구자에게 큰 부담으로 작용하고 있습니다. 이에 따라 어텐션 모델의 복잡성을 줄이기 위한 효율적인 방법론 설계 노력이 활발히 이루어지고 있습니다. 이러한 노력 중 자기 회귀 기반 트랜스포머 모델의 잠재적 대안으로 상태 공간 모델(SSM)이 최근 주목받고 있습니다. 본 논문은 SSM 관련 연구들을 최초로 종합적으로 검토하고, SSM의 특징과 장점을 명확히 보여주기 위한 실험적 비교 및 분석을 제공합니다. 먼저 SSM의 핵심 아이디어를 빠르게 이해할 수 있도록 원리에 대한 상세한 설명을 제시합니다. 이후 기존 SSM과 자연어 처리, 컴퓨터 비전, 그래프, 멀티모달 및 멀티미디어, 포인트 클라우드 및 이벤트 스트림 등 다양한 분야에서의 응용 사례를 검토합니다. 또한, 여러 구조가 다양한 작업에서 성능에 미치는 영향을 이해할 수 있도록 모델들의 통계적 비교 및 분석을 제공합니다. 궁극적으로 본 연구는 이론 모델의 발전을 촉진할 수 있는 잠재적 연구 방향을 제안하고, SSM의 응용을 더욱 확장하기 위한 구체적인 연구 포인트를 제시합니다.