LLM 동적 제어: 신경조절 네트워크

트랜스포머 기반 대규모 언어 모델(LLM)은 뛰어난 성능을 보이지만, 훈련 후 처리 방식이 고정되어 미묘한 맥락, 작업 요구사항, 또는 탐색/활용과 같은 운영 모드에 따라 동적으로 적응하는 데 한계가 있습니다. 이러한 정적 특성은 LLM의 유연성을 저해하는 주요 문제입니다. 본 연구는 척추동물 뇌의 신경조절 시스템(도파민, 아세틸콜린 등)에서 영감을 받은 새로운 아키텍처인 신경조절 제어 네트워크(NCN)를 제안합니다. NCN은 전역 상태, 작업 정보, 외부 제어 신호를 요약하는 작은 병렬 네트워크로, 동적인 '조절 신호'를 생성합니다. 이 신호는 주 LLM으로 전달되어 순방향 전달 과정에서 계산 속성을 변화시킵니다. NCN은 단순히 정보를 라우팅하는 것을 넘어, 신경조절 물질이 뉴런의 이득, 가소성, 네트워크 상태를 변경하는 방식과 유사하게 LLM의 핵심 구성 요소(예: 어텐션 메커니즘의 온도, 레이어 이득, 활성화 함수)를 조절하여 정보 처리 방식을 변화시키는 것을 목표로 합니다. 이 논문은 NCN 아키텍처와 그 구성 요소, 잠재적 메커니즘을 상세히 설명하며, LLM의 적응성, 제어 가능성, 효율성을 향상시키는 개념적 이점을 논의합니다. 또한, 커뮤니티의 탐색과 향후 실증적 검증을 위해 오픈 소스 PyTorch 구현을 제공합니다.