대규모 언어 모델(LLM)은 정보 접근의 핵심 역할을 하지만, 대부분의 벤치마크가 서구권 고자원 언어에 집중되어 있어 LLM의 언어 이해 능력에 대한 이해는 제한적입니다. 영어는 LLM 성능이 가장 우수한 언어로 가정되며, 저자원 언어는 신뢰도가 낮다는 인식이 있지만, 최신 다국어 모델에서도 이러한 가정이 유효한지는 불분명합니다.
본 연구는 LLM의 언어 이해 능력 변화를 추적하기 위해 3가지 인기 모델을 인도유럽어족, 아프리카아시아어족, 튀르크어족, 중국티베트어족, 일본어족을 대표하는 12개 언어로 평가했습니다. 이 방법론을 통해 모델의 언어별 성능 차이를 정량적으로 분석했습니다.
연구 결과, LLM은 유형학적으로 다양한 언어에서 뛰어난 정확도를 보였으나, 인간 기준에는 미치지 못하는 경우가 있었습니다. 특히 예상과 달리 영어는 최고 성능 언어가 아니었으며, 여러 로맨스어, 심지어 저자원 언어보다도 체계적으로 낮은 성능을 보였습니다. 이는 토큰화, 스페인어 및 영어와의 언어 거리, 훈련 데이터 규모, 고자원/저자원 언어 및 WEIRD/비WEIRD 커뮤니티 데이터 출처 등 다양한 요인이 LLM 성능에 영향을 미침을 시사합니다.
이러한 발견은 LLM 개발 및 평가 시 언어 다양성을 고려해야 함을 강조하며, 특정 언어 편향 없이 모델 성능을 최적화하기 위한 중요한 통찰을 제공합니다. 향후 다국어 LLM의 공정하고 포괄적인 발전에 기여할 것입니다.
마스크 확산 언어 모델(MDLM)은 모든 디노이징 단계에서 양방향 어텐션을 사용하며, 이는 단계 수 T와 시퀀스 길이 n에 대해 O(Tn^2)의 높은 연산 비용을 발생시킵니다. 특히, 80억 매개변수 모델에서 n=8192, T=128일 경우 KV 캐시만 40GB를 초과하여 단일 GPU로는 긴 문서 생성이 어렵습니다. 본 연구는 이러한 한계를 극복하기 위해 사전 학습된 MDLM의 추론 래퍼인 SW-SpeedDLM을 제안합니다.
SW-SpeedDLM은 세 가지 핵심 구성 요소로 이루어져 있습니다. 첫째, 분할 슬라이딩 윈도우 디노이징(SSWD)은 각 디노이징 루프를 W 토큰의 윈도우로 제한하여 단계당 비용을 O(W^2n/S)로 줄입니다. 둘째, 교차 세그먼트 KV 압축(CSKV)은 완료된 각 윈도우를 C개의 요약 토큰으로 인코딩하여 이후 윈도우가 O(C) 비용으로 참조하도록 합니다. 셋째, 윈도우 수준 추측 수용(WLSA)은 작은 드래프트 모델이 k개의 디노이징 단계를 제안하고, 타겟 모델이 이를 단일 순방향 패스로 검증하여 윈도우당 최대 2.4배의 속도 향상을 제공합니다. WLSA는 타겟 모델의 정확한 주변 분포를 보존함을 증명했습니다.
MDLM-860M 및 LLADA-8B 모델을 PG-19, LongBench, WritingPrompts 데이터셋에 적용한 결과, SW-SpeedDLM은 n=8192에서 기존 풀 어텐션 방식(최대 n=2048) 대비 3.7배 높은 처리량을 달성했습니다. 또한, 풀 어텐션이 GPU 메모리 한계에 도달하는 n=4096 대비 피크 메모리를 2.5배 절감했습니다.
이러한 개선에도 불구하고 PG-19의 문자당 비트(bpc)는 0.18만 증가하여 품질 저하를 최소화했습니다. SW-SpeedDLM은 단일 A100 GPU(40GB)에서 최대 16,384 토큰의 시퀀스 생성을 가능하게 하여, 장문 맥락 확산 언어 모델의 실용적인 적용 가능성을 크게 확장합니다.
거대 언어 모델(LLM)은 방대한 파라미터 기반의 지식 저장 능력을 통해 다양한 분야에서 뛰어난 성능을 보였지만, 환각 현상, 지식 업데이트의 어려움, 특정 도메인 전문성 부족 등의 한계를 지닌다. 외부 지식 기반을 활용하여 LLM을 보강하는 검색 증강 생성(RAG)은 이러한 제약을 완화하는 효과적인 대안으로 부상했다.
본 연구는 자연어 처리(NLP) 분야의 RAG 기술을 체계적으로 검토하며, 특히 검색기(retriever)와 검색 융합(retrieval fusion) 방식에 초점을 맞춘다. 질의 기반, 로짓 기반, 잠재적, 파라미터 융합 등 새로운 검색 융합 분류 체계를 제시하고, 접근성, 효율성, 활용 사례를 기준으로 구조화된 비교 분석을 수행한다.
나아가 다양한 NLP 태스크에서의 RAG 적용 사례를 탐구하고, 평가 방법론 및 벤치마크의 한계를 논의한다. 지식 기반 업데이트 유무에 따른 훈련 패러다임을 분석하며, 산업 배포 시 고려사항과 보안, 효율성, 그래프 기반 검색 등 새롭게 부상하는 도전 과제 및 미래 연구 방향을 제시한다.
거대 언어 모델(LLM)은 자연어 처리 분야에 혁신을 가져왔지만, 편향에 취약하다는 중대한 문제가 있습니다. 본 종합 리뷰는 LLM 편향의 발생 원인부터 현재의 완화 전략까지 포괄적으로 탐구합니다.
편향을 내재적 및 외재적 범주로 나누고, 다양한 자연어 처리(NLP) 작업에서 나타나는 양상을 분석합니다. 또한, 데이터 수준, 모델 수준, 출력 수준 접근 방식을 포함한 다양한 편향 평가 방법을 비판적으로 검토하여 연구자들에게 견고한 편향 탐지 도구 키트를 제공합니다.
완화 전략은 모델 이전, 모델 내, 모델 이후 기술로 분류하여 효과와 한계를 조명합니다. 특히 헬스케어 및 형사 사법 시스템과 같은 실제 응용 분야에서 편향된 LLM이 야기할 수 있는 잠재적 피해를 강조하며 윤리적, 법적 함의를 논의합니다.
이 리뷰는 LLM 편향에 대한 현재 지식을 종합함으로써 공정하고 책임감 있는 인공지능(AI) 시스템 개발 노력에 기여합니다. 본 연구는 LLM 편향을 이해하고 평가하며 완화하는 데 전념하는 연구자와 실무자에게 포괄적인 자료가 되어, 더욱 공평한 AI 기술 발전을 촉진할 것입니다.
거대 언어 모델(LLM)은 정적인 정보에 국한된다는 한계를 지닌다. 검색 증강 생성(RAG)은 정보 검색(IR) 기술과 딥러닝을 결합하여 LLM이 최신 외부 정보를 동적으로 통합할 수 있도록 함으로써 이러한 한계를 극복한다. 이 방법론은 주로 텍스트 영역에 초점을 맞추며, LLM이 생성하는 그럴듯하지만 부정확할 수 있는 응답에 대한 비용 효율적인 해결책을 제공하여 실제 데이터를 통해 출력의 정확성과 신뢰성을 향상시킨다.
RAG는 성능에 영향을 미칠 수 있는 여러 개념을 통합하며 복잡성이 증가하고 있다. 본 논문은 RAG 패러다임을 사전 검색, 검색, 사후 검색, 생성의 네 가지 범주로 체계화하여 검색 관점에서 상세한 시각을 제공한다. 또한 RAG의 작동 방식을 설명하고 주요 연구 분석을 통해 이 분야의 발전을 논의한다.
이 연구는 RAG에 대한 평가 방법을 소개하고, 당면 과제를 다루며 미래 연구 방향을 제시한다. 체계적인 프레임워크와 분류를 제공함으로써 RAG에 대한 기존 연구를 통합하고, 기술적 기반을 명확히 하며, LLM의 적응성과 응용 범위를 확장할 잠재력을 강조한다.
대규모 언어 모델(LLM)은 불충분한 학습 데이터와 최신 지식 부족으로 인해 추론 과정에서 사실 오류와 환각 문제를 겪습니다. 검색 증강 생성(RAG)은 외부 소스에서 관련 정보를 검색하여 더 정확한 답변을 생성함으로써 이러한 LLM의 한계를 해결할 유망한 대안으로 부상했습니다. 특히 외부 소스에 구조화된 지식이 널리 존재함에 따라, 그래프 관련 기술을 활용하여 지식 개체 간의 위상 정보를 기반으로 복잡한 추론을 달성하려는 RAG 연구가 활발히 진행되고 있습니다.
기존 연구들이 RAG 파이프라인을 요약했지만, 그래프의 역할을 주로 지식 그래프 탐색에 국한하여 검색, 프롬프팅, 파이프라인 제어 등 그래프 구조가 미치는 광범위한 영향은 충분히 탐구되지 않았습니다. 본 연구는 RAG 내에서 그래프의 기능성과 다양한 그래프 구조 데이터 전반에 걸쳐 성능을 향상시키는 영향에 대한 새로운 관점을 제시합니다.
이 설문조사는 데이터베이스 구축, 알고리즘, 파이프라인 및 작업 등 RAG에서 그래프가 수행하는 역할을 상세히 분석합니다. 또한, 현재의 도전 과제를 식별하고 미래 연구 방향을 제시함으로써 이 분야의 발전을 촉진하고자 합니다. 그래프 중심 분석을 통해 기존 방법론의 공통점과 차이점을 조명하며, 그래프 학습, 데이터베이스 시스템, 자연어 처리와 같은 분야의 미래 연구를 위한 기반을 마련합니다.
