지능형 에이전트나 집단에게 의사 결정은 필수적인 속성이다. 자연계는 모방을 통한 집단 의사 결정과 단일 에이전트의 시행착오라는 두 가지 메커니즘을 통해 효과적인 전략에 수렴하는 것으로 알려져 있다. 본 연구는 이 두 패러다임 간의 등가성을 확립한다.
본 논문은 개체들이 단순하고 국소적인 모방 기반 규칙을 따를 때 나타나는 분산 인지(벌집 지능)가 다중 슬롯 머신의 여러 병렬 인스턴스에서 행동-가치 샘플을 집계하는 단일 온라인 강화 학습(RL) 에이전트와 같음을 보인다. 특히 꿀벌의 맹목적 모방 가중 투표 모델(waggle dance)에서 이 거시 에이전트가 학습하는 업데이트 규칙이 '메이너드-크로스 학습'이라고 명명한 RL 알고리즘임을 입증한다.
이 분석은 단순한 모방 전략을 따르는 개체 집단이 더 복잡한 학습 개체와 동등할 수 있음을 시사한다. 이는 집단 수준의 지능이 자연에서 겉보기에 비합리적인 개별 행동이 어떻게 선택되는지를 설명할 수 있다는 아이디어를 뒷받침한다.
생물학을 넘어, 이 프레임워크는 개인이 성공적인 전략을 모방하여 효과적으로 집단 학습 과정에 참여하는 경제 및 사회 시스템을 분석하는 새로운 도구를 제공한다. 또한, 인공 영역에서 확장 가능한 RL 기반 집단 시스템 설계를 위한 통찰력을 제공할 수 있다.
양자 상태의 부분적 지식만을 활용하여 다중 큐비트 얽힘을 제어하는 것은 양자 상태 준비, 압축, 제어 및 복잡성 분야의 난제를 해결할 잠재력을 가진 새로운 양자 상호작용 역학 분야의 미개척 영역입니다. 본 연구는 최대 16 큐비트 상태에 대한 짧은 분리 회로를 구성하기 위해 액터-크리틱 알고리즘을 사용하는 딥 강화 학습(RL) 접근 방식을 제시합니다.
본 연구의 에이전트는 두 큐비트 축소 밀도 행렬에만 접근하여 어떤 큐비트 쌍에 두 큐비트 게이트를 적용할지 결정합니다. 이러한 국소 정보만을 요구하는 방식은 현대 NISQ 장치에 직접 적용 가능하며, 이온 트랩 양자 컴퓨터를 통해 실험적으로 시연되었습니다. 순열 불변 트랜스포머 아키텍처를 활용하여 에이전트는 상태 내 큐비트 순열을 자율적으로 식별하고, 이에 따라 분리 프로토콜을 조정합니다.
일단 훈련되면, 에이전트는 추가 최적화 없이 다양한 초기 상태로부터 회로를 제공합니다. 본 연구는 에이전트가 다중 큐비트 상태의 얽힘 구조를 식별하고 활용하는 능력을 입증했습니다. 4 및 5 큐비트 Haar-랜덤 상태에 대해 에이전트가 구성한 분리 회로를 분석한 결과, 연속적인 게이트와 관련된 큐비트들 사이에 강한 상관관계가 관찰되었습니다.
광범위한 벤치마킹을 통해 RL 접근 방식이 최소 게이트 자원으로 분리 프로토콜을 찾는 데 효과적임을 보여줍니다. 훈련된 에이전트의 노이즈에 대한 복원력을 탐구하여 실제 양자 컴퓨팅 애플리케이션에 대한 잠재력을 강조합니다. 최적의 분리 프로토콜 분석을 통해, 최대 5개의 두 큐비트 (10 CNOT) 게이트를 사용하여 임의의 4 큐비트 상태를 준비하는 일반적인 회로를 보고합니다.
소프트웨어 저장소에서 사용자 설명 기반의 실제 문제 해결은 소프트웨어 유지보수의 핵심입니다. 최근 대규모 언어 모델(LLM)의 추론 및 생성 능력 발전으로 자동화된 소프트웨어 문제 해결 분야에서 상당한 진전이 있었습니다. 그러나 실제 소프트웨어 문제 해결은 본질적으로 복잡하며, 장기적인 추론, 반복적 탐색, 피드백 기반 의사결정 등 기존의 단일 단계 접근 방식을 넘어서는 에이전트형 역량을 요구합니다.
본 연구는 LLM 기반 에이전트형 시스템이 소프트웨어 문제 해결의 유망한 방향임을 인식하고, 이 분야의 폭발적인 성장을 체계적으로 조사합니다. 242개의 최신 연구를 분석하여 작업의 일반적인 워크플로우를 설명하고, 벤치마크, 기술, 경험적 연구의 세 가지 차원에 걸친 분류 체계를 제시합니다.
주요 발견으로는 강화 학습이 소프트웨어 공학 분야 에이전트형 시스템의 중요한 훈련 패러다임으로 부상하고 있다는 점입니다. 또한, 이 조사는 주요 과제를 요약하고 향후 연구를 위한 유망한 방향을 제시합니다.
에이전트형 소프트웨어 문제 해결의 발전은 소프트웨어 유지보수 효율성과 품질을 크게 향상시킬 뿐만 아니라, 에이전트 시스템의 추론, 계획, 실행 능력을 검증하는 현실적인 환경을 제공하여 AI와 소프트웨어 공학을 연결하는 중요한 의미를 가집니다.
지능형 튜터링 시스템(ITS)은 고등 교육에서 개인 맞춤 학습 및 학업 모니터링을 지원하며 그 활용이 증가하고 있습니다. 그러나 기존 시스템은 정적 아키텍처와 경직된 규칙 기반 메커니즘에 의존하여 확장성이 제한되고, 이질적인 학습자, 변화하는 학습 행동 및 실제 교육 환경에 효과적으로 적응하기 어렵다는 한계가 있습니다.
본 논문은 실제 환경에 배포된 지능형 시스템의 자율적 의사 결정을 위해 강화 학습(RL) 기반의 자기 적응형 다중 에이전트 아키텍처를 제안합니다. 이 아키텍처는 사용자 상태, 행동, 상호작용 패턴을 고려하여 전문 에이전트 선택을 동적으로 최적화하는 RL 메타 에이전트를 통합합니다. 제안된 아키텍처는 Moodle에 구현되었으며, n8n, LLM, Django 기반 API, 실제 학업 데이터를 활용하여 오케스트레이션되었습니다.
실증적 평가를 위해 실제 및 시뮬레이션된 사례 연구가 설계되었습니다. 대학생들을 대상으로 사용성, 만족도, 유용성, 접근성 및 상호작용 측면의 설문조사를 실시하여 시스템에 대한 인식을 파악했습니다. 정량 데이터는 기술 통계 및 비모수 검정으로, 정성 데이터는 주제별 분류를 통해 분석되었습니다. 시뮬레이션 연구는 시스템의 행동 분석에 활용되었습니다.
연구 결과, RL 메타 에이전트가 시스템 효율성, 응답 관련성, 적응형 에이전트 선택을 크게 향상시키는 것으로 나타났습니다. 이는 자기 적응형 RL 기반 다중 에이전트 시스템(MAS) 아키텍처가 고등 교육과 같은 복잡한 시나리오에서 지능형 시스템을 위한 실현 가능한 솔루션임을 입증하며, 성능과 적응성에 대한 경험적 증거를 제공합니다.
