대규모 언어 모델(LLM)은 정보 접근의 핵심 역할을 하지만, 대부분의 벤치마크가 서구권 고자원 언어에 집중되어 있어 LLM의 언어 이해 능력에 대한 이해는 제한적입니다. 영어는 LLM 성능이 가장 우수한 언어로 가정되며, 저자원 언어는 신뢰도가 낮다는 인식이 있지만, 최신 다국어 모델에서도 이러한 가정이 유효한지는 불분명합니다.
본 연구는 LLM의 언어 이해 능력 변화를 추적하기 위해 3가지 인기 모델을 인도유럽어족, 아프리카아시아어족, 튀르크어족, 중국티베트어족, 일본어족을 대표하는 12개 언어로 평가했습니다. 이 방법론을 통해 모델의 언어별 성능 차이를 정량적으로 분석했습니다.
연구 결과, LLM은 유형학적으로 다양한 언어에서 뛰어난 정확도를 보였으나, 인간 기준에는 미치지 못하는 경우가 있었습니다. 특히 예상과 달리 영어는 최고 성능 언어가 아니었으며, 여러 로맨스어, 심지어 저자원 언어보다도 체계적으로 낮은 성능을 보였습니다. 이는 토큰화, 스페인어 및 영어와의 언어 거리, 훈련 데이터 규모, 고자원/저자원 언어 및 WEIRD/비WEIRD 커뮤니티 데이터 출처 등 다양한 요인이 LLM 성능에 영향을 미침을 시사합니다.
이러한 발견은 LLM 개발 및 평가 시 언어 다양성을 고려해야 함을 강조하며, 특정 언어 편향 없이 모델 성능을 최적화하기 위한 중요한 통찰을 제공합니다. 향후 다국어 LLM의 공정하고 포괄적인 발전에 기여할 것입니다.
대규모 언어 모델(LLM)의 활용이 증가함에 따라, 추론 시스템의 효율성 개선이 중요해지고 있습니다. 서버(예: GPU)에서 추론 작업을 스케줄링할 때 배치(batching)는 여러 요청을 병렬로 처리하여 처리량을 극대화하는 핵심 단계입니다. 그러나 요청별 생성 길이의 편차가 커서 하드웨어 자원 활용도가 저하되는 문제가 발생합니다. 이는 배치 내 가장 긴 요청이 완료될 때까지 다음 배치를 처리할 수 없기 때문입니다.
본 연구는 이러한 문제를 큐잉 이론 관점에서 정형화하고, 정적 배치(static-batching) 프레임워크 내에서 처리량 최적의 제어 정책을 설계하는 것을 목표로 합니다. 이를 위해 유사한 (예측) 실행 시간을 가진 요청들을 미리 정해진 여러 개의 빈(bin)으로 그룹화하는 간단하면서도 효과적인 방법인 멀티-빈 배치(Multi-Bin Batching)를 제안합니다.
이 방법은 정적 배치 프레임워크에서 LLM 추론 처리량을 향상시킬 수 있음을 이론적으로 증명합니다. 실제 LLM 추론 시나리오에서 정적 및 연속 배치(continuous-batching) 기준선과의 비교 실험을 통해, 멀티-빈 배치가 정적 배치 대비 처리량을 크게 개선함을 입증했습니다.
또한, 오라클 및 예측 길이 정보 하에서 네이티브 연속 배치와의 잔여 성능 격차를 정량화했습니다. 이 연구는 LLM 추론 시스템의 효율성을 높여 자원 활용도를 극대화하고, 실제 서비스 환경에서의 LLM 성능 향상에 기여할 수 있습니다.
전력 시스템 위험 식별에 대규모 언어 모델(LLM)이 높은 정확도를 보이지만, 방대한 파라미터 수와 높은 자원 소모로 인해 전자기 감지 시스템, 웨어러블 모니터링 단말, 소형 전력 모니터링 장치 등 자원 제약적인 엣지 장치에 실시간 배포가 어렵습니다. 분산형 감지 구조 및 엣지 기반 전자기 모니터링 장치에서 전기적 위험, 장비 이상 상태, 잠재적 전력 시스템 위험을 즉각적으로 감지하려면 컴퓨팅 오버헤드를 크게 줄여 낮은 지연 시간 처리를 달성해야 합니다.
본 논문은 계층적 지도 지식 증류(hierarchical supervised knowledge distillation) 기반의 경량 압축 방법을 제안합니다. 이 방법은 대규모 LLM의 성능을 유지하면서 모델 크기를 줄여 엣지 환경에 최적화합니다.
제안된 지식 증류 방법을 적용한 결과, 추론 지연 시간은 235ms에서 최소 26ms로 단축되어 DistilBERT의 35ms보다 우수했습니다. 학생 모델의 파라미터 수는 교사 모델의 4.3%인 14.5M(교사 모델 340M)으로 감소했으며, 분류 정확도는 교사 모델의 92.7%에 근접한 89.4%를 달성했습니다. 특히 장비 고장 범주에 대한 F1 점수는 90.3%에 달했습니다.
이 연구는 전력 위험 식별, 전자기 감지, 엣지 기반 지능형 모니터링 등 자원 제약적인 시나리오에서 경량 모델의 효율성과 실용성을 검증합니다. 이는 전력 시스템의 안전성과 운영 효율성을 향상시키는 데 기여할 수 있습니다.
검색 증강 생성(RAG)은 지식 기반 작업에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켰습니다. 그러나 단순한 '검색-생성' 방식을 넘어선 정교한 검색기, 오케스트레이션 메커니즘, 최적화 전략이 도입되었음에도 불구하고, 다양한 작업에 걸쳐 RAG 시스템을 체계적으로 설계하고 최적화하기 위한 통합 패러다임은 여전히 부족합니다.
본 논문은 RAG 시스템을 모듈, 서브모듈, 연산자의 3계층 구조로 조직화하는 통합 패러다임인 Modular RAG를 제안합니다. 우리는 8개의 L1 모듈 내에서 40개 이상의 특수 연산자를 형식화하고, 선형, 조건부, 분기, 루프를 포함한 전형적인 RAG 설계 패턴을 요약하여 검색 및 생성 프로세스의 오케스트레이션을 모델링합니다.
광범위한 실험을 통해 다양한 RAG 워크플로우가 전형적인 작업에 대한 적응성을 입증했습니다. 또한 노드 수준 진단을 도입하여 성능 병목 현상을 식별하고 효율성과 효과성 간의 균형을 정량화했습니다.
Modular RAG는 통합 패러다임과 경험적으로 뒷받침되는 매핑 가이드라인을 제공함으로써, 연구자와 실무자가 다양한 응용 시나리오에서 RAG 시스템을 설계, 구현 및 최적화할 수 있는 체계적인 프레임워크를 제시합니다.
최근 인공지능(AI)은 놀라운 성공을 거두고 있지만, 그 의사결정 과정이 불투명하여 이해관계자들이 AI의 동작을 이해하고 해석하며 설명하기 어렵다는 문제가 있습니다. 이러한 한계는 머신러닝 시스템에 대한 신뢰를 저해하고, 특히 헬스케어나 자율주행과 같은 미션 크리티컬 분야에서 실제 적용을 주저하게 만듭니다.
설명 가능한 AI(XAI) 기술은 머신러닝 모델의 설명 가능성과 해석 가능성을 높여 사용자가 의사결정의 근거를 파악하고 바람직하지 않은 동작을 방지할 수 있도록 돕습니다. 본 종합 연구는 내재적으로 해석 가능한 모델부터 대규모 언어 모델(LLM)을 포함한 다양한 블랙박스 모델의 해석 가능성을 달성하기 위한 최신 접근 방식에 이르기까지, 설명 가능한 AI 방법론의 발전을 상세히 다룹니다.
또한, LLM 및 비전-언어 모델(VLM) 프레임워크를 활용하여 다른 머신러닝 모델의 설명 가능성을 자동화하거나 개선하는 XAI 기술을 검토합니다. 특히 LLM과 VLM을 해석 방법으로 활용하면 모델의 의사결정과 동작에 대한 고수준의 의미론적인 설명을 제공할 수 있습니다.
본 논문은 최첨단 방법론의 과학적 원리, 장단점을 강조하고 개선이 필요한 다양한 영역을 제시합니다. 마지막으로 XAI의 주요 과제와 향후 연구 방향을 논의합니다.
대규모 언어 모델(LLM)은 불충분한 학습 데이터와 최신 지식 부족으로 인해 추론 과정에서 사실 오류와 환각 문제를 겪습니다. 검색 증강 생성(RAG)은 외부 소스에서 관련 정보를 검색하여 더 정확한 답변을 생성함으로써 이러한 LLM의 한계를 해결할 유망한 대안으로 부상했습니다. 특히 외부 소스에 구조화된 지식이 널리 존재함에 따라, 그래프 관련 기술을 활용하여 지식 개체 간의 위상 정보를 기반으로 복잡한 추론을 달성하려는 RAG 연구가 활발히 진행되고 있습니다.
기존 연구들이 RAG 파이프라인을 요약했지만, 그래프의 역할을 주로 지식 그래프 탐색에 국한하여 검색, 프롬프팅, 파이프라인 제어 등 그래프 구조가 미치는 광범위한 영향은 충분히 탐구되지 않았습니다. 본 연구는 RAG 내에서 그래프의 기능성과 다양한 그래프 구조 데이터 전반에 걸쳐 성능을 향상시키는 영향에 대한 새로운 관점을 제시합니다.
이 설문조사는 데이터베이스 구축, 알고리즘, 파이프라인 및 작업 등 RAG에서 그래프가 수행하는 역할을 상세히 분석합니다. 또한, 현재의 도전 과제를 식별하고 미래 연구 방향을 제시함으로써 이 분야의 발전을 촉진하고자 합니다. 그래프 중심 분석을 통해 기존 방법론의 공통점과 차이점을 조명하며, 그래프 학습, 데이터베이스 시스템, 자연어 처리와 같은 분야의 미래 연구를 위한 기반을 마련합니다.
인간 수준의 지능을 달성하려면 빠르고 직관적인 시스템 1 사고에서 느리고 신중한 시스템 2 추론으로의 전환을 고도화해야 한다. 기존 대규모 언어 모델(LLM)은 빠른 의사결정에 능하지만, 복잡한 추론을 위한 단계별 분석 능력인 시스템 2 사고는 부족했다. 이는 편향을 줄이고 정확한 판단을 내리는 데 필수적인 논리적 추론 역량의 한계를 드러냈다.
최근 OpenAI의 o1/o3, DeepSeek의 R1과 같은 추론형 LLM은 수학, 코딩 등 전문 분야에서 전문가 수준의 성능을 보이며 시스템 2의 신중한 추론과 유사한 인지 능력을 입증했다. 이 연구는 기반 LLM의 발전과 초기 시스템 2 기술의 개발 과정을 개괄하고, 이들의 결합이 추론형 LLM의 발판을 마련한 과정을 탐색한다. 또한, 추론형 LLM의 구축 방법, 다양한 추론 모델의 진화, 그리고 이들을 가능하게 하는 핵심 추론 방법론을 심층적으로 논의한다.
나아가, 주요 추론 벤치마크를 소개하고 대표적인 추론형 LLM들의 성능을 비교 분석한다. 마지막으로, 추론형 LLM 발전을 위한 유망한 연구 방향을 제시하고, 최신 동향을 실시간으로 추적하는 GitHub 저장소를 제공한다.
본 연구는 급변하는 이 분야에서 혁신을 고취하고 발전을 촉진하는 귀중한 자료가 될 것으로 기대한다.
