군집 지능과 강화 학습 에이전트의 등가성

지능형 에이전트나 집단에게 의사 결정은 필수적인 속성이다. 자연계는 모방을 통한 집단 의사 결정과 단일 에이전트의 시행착오라는 두 가지 메커니즘을 통해 효과적인 전략에 수렴하는 것으로 알려져 있다. 본 연구는 이 두 패러다임 간의 등가성을 확립한다. 본 논문은 개체들이 단순하고 국소적인 모방 기반 규칙을 따를 때 나타나는 분산 인지(벌집 지능)가 다중 슬롯 머신의 여러 병렬 인스턴스에서 행동-가치 샘플을 집계하는 단일 온라인 강화 학습(RL) 에이전트와 같음을 보인다. 특히 꿀벌의 맹목적 모방 가중 투표 모델(waggle dance)에서 이 거시 에이전트가 학습하는 업데이트 규칙이 '메이너드-크로스 학습'이라고 명명한 RL 알고리즘임을 입증한다. 이 분석은 단순한 모방 전략을 따르는 개체 집단이 더 복잡한 학습 개체와 동등할 수 있음을 시사한다. 이는 집단 수준의 지능이 자연에서 겉보기에 비합리적인 개별 행동이 어떻게 선택되는지를 설명할 수 있다는 아이디어를 뒷받침한다. 생물학을 넘어, 이 프레임워크는 개인이 성공적인 전략을 모방하여 효과적으로 집단 학습 과정에 참여하는 경제 및 사회 시스템을 분석하는 새로운 도구를 제공한다. 또한, 인공 영역에서 확장 가능한 RL 기반 집단 시스템 설계를 위한 통찰력을 제공할 수 있다.