휘틀 지수 모델 기반 학습
본 연구는 색인 가능(indexable)하고 통신하며 단일 체인(unichain) 마르코프 결정 과정(MDP)의 휘틀 지수(Whittle indices)를 학습하는 새로운 모델 기반 알고리즘인 BLINQ를 제안한다. BLINQ는 MDP의 경험적 추정치를 구축한 후, 기존 최첨단 알고리즘을 확장하여 휘틀 지수를 계산하는 방식으로 작동한다. 우리는 학습하려는 휘틀 지수로의 수렴 증명과 임의의 정밀도로 학습하는 데 필요한 시간 경계를 제공하며, 계산 복잡도를 분석한다. 수치 실험 결과, BLINQ는 정확한 근사치를 얻기 위해 필요한 샘플 수 측면에서 기존 Q-러닝(Q-learning) 방식보다 훨씬 우수한 성능을 보였다. 또한, 합리적으로 높은 샘플 수에서는 Q-러닝보다 총 계산 비용이 더 낮았다. 이러한 관찰은 Q-값을 예측하기 위해 신경망을 사용하여 Q-러닝 알고리즘의 속도를 높인 경우에도 유지되었다. BLINQ는 복잡한 MDP 환경에서 효율적인 의사결정 정책을 도출하는 데 기여할 수 있다.