모듈형 RAG: 재구성 가능한 프레임워크

검색 증강 생성(RAG)은 지식 기반 작업에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켰습니다. 그러나 단순한 '검색-생성' 방식을 넘어선 정교한 검색기, 오케스트레이션 메커니즘, 최적화 전략이 도입되었음에도 불구하고, 다양한 작업에 걸쳐 RAG 시스템을 체계적으로 설계하고 최적화하기 위한 통합 패러다임은 여전히 부족합니다. 본 논문은 RAG 시스템을 모듈, 서브모듈, 연산자의 3계층 구조로 조직화하는 통합 패러다임인 Modular RAG를 제안합니다. 우리는 8개의 L1 모듈 내에서 40개 이상의 특수 연산자를 형식화하고, 선형, 조건부, 분기, 루프를 포함한 전형적인 RAG 설계 패턴을 요약하여 검색 및 생성 프로세스의 오케스트레이션을 모델링합니다. 광범위한 실험을 통해 다양한 RAG 워크플로우가 전형적인 작업에 대한 적응성을 입증했습니다. 또한 노드 수준 진단을 도입하여 성능 병목 현상을 식별하고 효율성과 효과성 간의 균형을 정량화했습니다. Modular RAG는 통합 패러다임과 경험적으로 뒷받침되는 매핑 가이드라인을 제공함으로써, 연구자와 실무자가 다양한 응용 시나리오에서 RAG 시스템을 설계, 구현 및 최적화할 수 있는 체계적인 프레임워크를 제시합니다.