9편의 한국어 분석 — 최신순으로 정렬했어요
대규모 언어 모델(LLM)은 정보 접근의 핵심 역할을 하지만, 대부분의 벤치마크가 서구권 고자원 언어에 집중되어 있어 LLM의 언어 이해 능력에 대한 이해는 제한적입니다. 영어는 LLM 성능이 가장 우수한 언어로 가정되며, 저자원 언어는 신뢰도가 낮다는 인식이 있지만, 최신 다국어 모델에서도 이러한 가정이 유효한지는 불분명합니다. 본 연구는 LLM의 언어 이해 능력 변화를 추적하기 위해 3가지 인기 모델을 인도유럽어족, 아프리카아시아어족, 튀르크어족, 중국티베트어족, 일본어족을 대표하는 12개 언어로 평가했습니다. 이 방법론을 통…
마스크 확산 언어 모델(MDLM)은 모든 디노이징 단계에서 양방향 어텐션을 사용하며, 이는 단계 수 T와 시퀀스 길이 n에 대해 O(Tn^2)의 높은 연산 비용을 발생시킵니다. 특히, 80억 매개변수 모델에서 n=8192, T=128일 경우 KV 캐시만 40GB를 초과하여 단일 GPU로는 긴 문서 생성이 어렵습니다. 본 연구는 이러한 한계를 극복하기 위해 사전 학습된 MDLM의 추론 래퍼인 SW-SpeedDLM을 제안합니다. SW-SpeedDLM은 세 가지 핵심 구성 요소로 이루어져 있습니다. 첫째, 분할 슬라이딩 윈도우 디노이징…
거대 언어 모델(LLM)은 방대한 파라미터 기반의 지식 저장 능력을 통해 다양한 분야에서 뛰어난 성능을 보였지만, 환각 현상, 지식 업데이트의 어려움, 특정 도메인 전문성 부족 등의 한계를 지닌다. 외부 지식 기반을 활용하여 LLM을 보강하는 검색 증강 생성(RAG)은 이러한 제약을 완화하는 효과적인 대안으로 부상했다. 본 연구는 자연어 처리(NLP) 분야의 RAG 기술을 체계적으로 검토하며, 특히 검색기(retriever)와 검색 융합(retrieval fusion) 방식에 초점을 맞춘다. 질의 기반, 로짓 기반, 잠재적, 파라…
본 조사는 이미지 캡셔닝, 시각 질의응답, 교차 모달 검색 등 시각-언어 작업을 중심으로 다중 모달 대규모 언어 모델(MLLM)에 대한 포괄적인 가이드를 제공한다. MLLM의 아키텍처, 훈련 파이프라인, 실제 적용 사례를 분석하며, 시각 인코더, 언어 모델 백본, 연결 모듈, 대조 사전 학습, 명령어 튜닝, 선호도 정렬 등을 다룬다. 정보 병목 현상, 데이터 처리 한계, 통계적 동시 발생 편향 등 아키텍처, 견고성, 평가에 영향을 미치는 근본적인 제약 조건을 조명한다. 시각-언어 시스템에 중점을 두며, 오디오 전용 모델이나 시각 …
대규모 언어 모델(LLM)의 급속한 발전은 인공지능 분야에 혁신적인 변화를 가져왔으며, 연구 패러다임과 실제 응용 분야를 재편하고 있습니다. 전례 없는 규모와 향상된 역량을 특징으로 하는 LLM은 그 개발, 동작 및 사회적 영향을 이해하기 위한 새로운 프레임워크를 요구합니다. 본 조사는 LLM 기술의 최근 발전을 네 가지 핵심 차원에서 체계적으로 검토합니다. 첫째, 대규모 자기 지도 학습, 아키텍처 혁신, 데이터 큐레이션 전략을 통해 모델의 핵심 역량을 확립하는 사전 학습 방법론을 다룹니다. 둘째, 지도 미세 조정 및 강화 학습을…
거대 언어 모델(LLM)은 자연어 처리 분야에 혁신을 가져왔지만, 편향에 취약하다는 중대한 문제가 있습니다. 본 종합 리뷰는 LLM 편향의 발생 원인부터 현재의 완화 전략까지 포괄적으로 탐구합니다. 편향을 내재적 및 외재적 범주로 나누고, 다양한 자연어 처리(NLP) 작업에서 나타나는 양상을 분석합니다. 또한, 데이터 수준, 모델 수준, 출력 수준 접근 방식을 포함한 다양한 편향 평가 방법을 비판적으로 검토하여 연구자들에게 견고한 편향 탐지 도구 키트를 제공합니다. 완화 전략은 모델 이전, 모델 내, 모델 이후 기술로 분류하여 …
거대 언어 모델(LLM)은 정적인 정보에 국한된다는 한계를 지닌다. 검색 증강 생성(RAG)은 정보 검색(IR) 기술과 딥러닝을 결합하여 LLM이 최신 외부 정보를 동적으로 통합할 수 있도록 함으로써 이러한 한계를 극복한다. 이 방법론은 주로 텍스트 영역에 초점을 맞추며, LLM이 생성하는 그럴듯하지만 부정확할 수 있는 응답에 대한 비용 효율적인 해결책을 제공하여 실제 데이터를 통해 출력의 정확성과 신뢰성을 향상시킨다. RAG는 성능에 영향을 미칠 수 있는 여러 개념을 통합하며 복잡성이 증가하고 있다. 본 논문은 RAG 패러다임을…
대규모 언어 모델(LLM)은 불충분한 학습 데이터와 최신 지식 부족으로 인해 추론 과정에서 사실 오류와 환각 문제를 겪습니다. 검색 증강 생성(RAG)은 외부 소스에서 관련 정보를 검색하여 더 정확한 답변을 생성함으로써 이러한 LLM의 한계를 해결할 유망한 대안으로 부상했습니다. 특히 외부 소스에 구조화된 지식이 널리 존재함에 따라, 그래프 관련 기술을 활용하여 지식 개체 간의 위상 정보를 기반으로 복잡한 추론을 달성하려는 RAG 연구가 활발히 진행되고 있습니다. 기존 연구들이 RAG 파이프라인을 요약했지만, 그래프의 역할을 주로…
순차 데이터 모델링에 혁신을 가져온 LSTM(Long Short-Term Memory) 네트워크는 기존 순환 신경망(RNN)의 한계를 극복하며 장거리 의존성을 효과적으로 포착합니다. 본 조사는 LSTM 아키텍처를 포괄적으로 다루며, 정보 유지 및 변조를 가능하게 하는 셀 상태와 게이팅 메커니즘 같은 고유 구성 요소를 상세히 설명합니다. LSTM은 자연어 처리(언어 모델링, 기계 번역, 감성 분석), 시계열 분석(예측), 음성 인식 등 다양한 분야에서 활용되며 복잡한 데이터 유형 처리의 다재다능함과 견고함을 입증했습니다. Bidir…
