LLM 다중 에이전트 커뮤니티의 조작된 지식 확산

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템은 다양한 응용 분야에서 뛰어난 역량을 보여주지만, 조작된 지식 확산과 관련된 보안 취약성은 충분히 연구되지 않았습니다. 본 연구는 LLM 기반 다중 에이전트 시스템의 보안 취약점을 이해하고, 조작된 지식이 신뢰할 수 있는 제3자 플랫폼에 침투할 가능성을 탐구하는 것을 목표로 합니다. 이를 위해 설득력 주입(Persuasiveness Injection)과 조작 지식 주입(Manipulated Knowledge Injection)으로 구성된 새로운 2단계 공격 방법론을 설계했습니다. 이 방법론은 명시적인 적대적 프롬프트 공격 없이도 조작된 지식이 확산될 수 있음을 보여줍니다. 광범위한 실험 결과, 제안된 공격 방법이 LLM 기반 에이전트가 반사실적(counterfactual) 및 유해한(toxic) 지식을 전파하도록 성공적으로 유도하며, 에이전트 통신 중 기본 역량이 저하되지 않음을 확인했습니다. 또한, 이러한 조작은 인기 있는 검색 증강 생성(RAG) 프레임워크를 통해 지속될 수 있으며, 여러 정상 에이전트가 조작된 대화 기록을 저장하고 검색하여 향후 상호작용에 활용할 수 있음을 입증했습니다. 잠재적 위험을 완화하기 위해, 에이전트가 공유하는 지식을 비판적으로 검증하도록 유도하는 시스템 프롬프트 설계와 상호작용을 감독하는 감독 에이전트 통합이라는 두 가지 방어 전략을 제안했습니다. 이 전략들은 조작된 지식의 확산 성공률을 효과적으로 감소시킬 수 있음을 보여주었습니다. 본 연구는 LLM 기반 다중 에이전트 커뮤니티에 내재된 중대한 취약점을 강조하며, 조작된 지식 확산에 대한 신속하고 표적화된 방어책 마련의 시급성을 촉구합니다.