대규모 언어 모델(LLM)의 급속한 발전은 인공지능 분야에 혁신적인 변화를 가져왔으며, 연구 패러다임과 실제 응용 분야를 재편하고 있습니다. 전례 없는 규모와 향상된 역량을 특징으로 하는 LLM은 그 개발, 동작 및 사회적 영향을 이해하기 위한 새로운 프레임워크를 요구합니다.
본 조사는 LLM 기술의 최근 발전을 네 가지 핵심 차원에서 체계적으로 검토합니다. 첫째, 대규모 자기 지도 학습, 아키텍처 혁신, 데이터 큐레이션 전략을 통해 모델의 핵심 역량을 확립하는 사전 학습 방법론을 다룹니다. 둘째, 지도 미세 조정 및 강화 학습을 포함하여 기본 모델을 다운스트림 작업에 적응시키고 정렬 및 안전성을 향상시키는 사후 학습 기술을 분석합니다. 셋째, 인컨텍스트 학습, 프롬프트 엔지니어링, 에이전트 추론과 같은 활용 전략을 통해 실제 배포를 최적화하고 외부 환경과의 효과적인 상호 작용을 가능하게 합니다. 넷째, 핵심 언어 능력, 추론, 안전성과 같은 주요 능력 차원에 대한 벤치마크를 포함하는 평가 방법을 통해 모델 성능의 포괄적이고 신뢰할 수 있는 평가를 지원합니다.
또한, 이론적 토대, 효율적인 스케일링, 정렬, 에이전트 역량과 관련된 중요한 연구 과제를 식별하고, 이들이 제시하는 미해결 난제들을 강조합니다. 본 조사는 최신 통찰력과 새로운 트렌드를 종합하여 LLM 발전의 궤적, 현재 한계 및 미래 방향을 이해하기 위한 체계적이고 포괄적인 프레임워크를 제공하고자 합니다.
본 연구는 대규모 언어 모델(LLM) 통합 시스템의 신뢰성을 높이기 위한 새로운 이론인 인지 임피던스 매칭 이론(CIMT)을 제안한다. CIMT는 관측 가능 요소만을 활용하며, 모델 가중치 개선이 아닌 시스템 주변 환경 재설계를 통해 고정된 모델 정책의 운영 능력을 향상시키는 데 초점을 맞춘다. 이는 시스템 수준의 역량 증폭을 '세계 측 컴파일 문제'로 접근한다.
CIMT는 관측, 유형화된 액션 핸들, 검증자, 복구 경로, 롤백 모드, 권한 범위, 컨텍스트 요약, 감사 가능한 영수증 등 다양한 요소를 통해 시스템 환경을 재구성한다. 운영 주장은 명시적인 주장 객체와 증거 객체를 통해 정의되며, 관측 가능한 원장, 대상 평가 채널, 결정론적 환원자 등을 활용한다. 인간 검토자나 LLM 심사관 등은 특권적인 평가자가 아닌, 명명되고 오류 가능성이 있는 측정 채널로 모델링된다.
이 이론은 대상 채널 개선, 벡터 부채 회계, 금지 좌표 제로 인증, 대상 방화벽 규율, 범위 시뮬레이션 등 다양한 측면에서 보수적인 인증 프레임워크를 제공한다. 또한, 코드 편집 에이전트 및 검색 증강 생성 시스템에 대한 실제 적용 사례를 포함한다.
궁극적으로 본 연구는 관측 가능한 세계 측 인터페이스, 권한, 검증, 복구 및 감사 설계를 통해 고정 모델 LLM 시스템의 신뢰성을 높이는 실용적인 형식적 기반을 제공하고자 한다.
인간 수준의 인공지능(AI)을 향한 노력은 자율 에이전트와 대규모 언어 모델(LLM)의 발전을 크게 촉진했습니다. LLM은 지시 해석, 순차적 작업 관리, 피드백을 통한 적응 능력 덕분에 의사결정 에이전트로 널리 활용되고 있습니다. 본 리뷰는 자율 에이전트 및 도구 사용자로서 LLM의 최신 개발 동향을 7가지 연구 질문을 중심으로 분석합니다.
2023년부터 2025년 사이에 A* 및 A 등급 학술대회와 Q1 저널에 게재된 논문만을 사용했습니다. LLM 에이전트의 아키텍처 설계 원칙을 단일 및 다중 에이전트 시스템으로 나누어 구조적으로 분석하고, 외부 도구 통합 전략을 제시합니다. 또한, 추론, 계획, 기억을 포함한 LLM의 인지 메커니즘과 프롬프트 방식 및 미세 조정 절차가 에이전트 성능에 미치는 영향을 조사했습니다.
현재 벤치마크 및 평가 프로토콜을 평가하고, 68개의 공개 데이터셋을 분석하여 다양한 작업에서 LLM 기반 에이전트의 성능을 측정했습니다. 이 리뷰를 통해 LLM의 검증 가능한 추론, 자기 개선 능력, LLM 기반 에이전트의 개인화에 대한 중요한 발견을 확인했습니다.
본 연구는 이러한 격차를 극복하기 위한 10가지 미래 연구 방향을 제시하며, 컴퓨터 과학 분야의 STEM 학생 및 연구자들이 LLM 에이전트 기술의 현재 상태와 잠재적 발전을 이해하는 데 중요한 통찰력을 제공합니다.
인공지능(AI)은 스마트 그리드의 상황 인식을 개선하고 의사결정을 지원하여 에너지 관리를 향상할 잠재력을 오랫동안 제시해왔습니다. 기존 머신러닝은 예측 및 최적화에서 성과를 보였으나, 일반화, 상황 인식, 이기종 데이터 통합에 어려움을 겪었습니다. 트랜스포머 아키텍처, 특히 대규모 언어 모델(LLM)과 파운데이션 모델(FM)의 발전은 복잡한 시공간적 및 맥락적 관계 모델링과 다중 모드 데이터 융합 능력을 크게 향상시켜 에너지 분야 AI 애플리케이션에 유용합니다.
본 연구는 에너지 도메인에서 빠르게 확장되는 AI 애플리케이션 분야를 종합적으로 검토하며, 특히 트랜스포머 모델(TM)과 LLM에 중점을 둡니다. TM의 아키텍처 기반, 도메인별 적응 및 다양한 예측 및 그리드 관리 작업에서의 실제 구현 사례를 분석합니다. 또한, LLM의 새로운 역할, 즉 에너지 분야에 대한 적응 및 미세 조정, 적합한 작업 유형, 그리고 새로운 도전 과제를 탐구합니다.
이러한 최근 발전은 생성형 AI(GenAI)가 고수준 계획뿐만 아니라 예측, 그리드 균형 조정, 인력 교육 및 자산 온보딩과 같은 일상적인 운영에서도 의사결정을 강화하기 시작했음을 보여줍니다. FM의 잠재력에도 불구하고, 에너지 도메인에서의 구체적인 적용 사례는 아직 제한적임을 확인했습니다.
이에 본 연구는 FM을 통합하여 다중 모드 상황 인식, 자율성, 사전 대응성 및 사회적 상호작용을 디지털 트윈 기반 에너지 관리 시스템에 도입하는 차세대 모델인 에이전트형 디지털 트윈(Agentic Digital Twin) 개념을 소개합니다. 이는 에너지 관리 시스템에 혁신적인 변화를 가져올 것입니다.
대규모 언어 모델(LLM)은 AI 기반 교육에 혁신을 가져왔지만, 환각 현상 및 정적인 지식 등의 문제로 교육 환경에서의 신뢰성 한계가 있습니다. 검색 증강 생성(RAG)은 외부 지식 기반에서 관련 정보를 검색하여 LLM의 생성 과정에 통합함으로써 이러한 문제를 해결합니다. 이는 사실 정확도를 높이고 동적인 지식 업데이트를 가능하게 하여 LLM을 교육 애플리케이션에 더욱 적합하게 만듭니다.
본 연구는 교육 시나리오에 RAG를 통합한 기존 연구들을 종합적으로 검토합니다. 먼저 RAG의 정의와 워크플로우를 명확히 하고, RAG의 색인 메커니즘에 따라 다양한 유형의 검색기(retriever)와 생성 최적화 방법을 소개합니다.
주요 초점으로서, 본 연구는 교육 분야에서 RAG의 실제 적용 사례를 탐구합니다. 여기에는 대화형 학습 시스템, 교육 콘텐츠 생성 및 평가, 그리고 교육 생태계 내에서의 대규모 배포가 포함됩니다. 이러한 포괄적인 검토를 바탕으로, 기존의 도전 과제와 미래 방향을 논의합니다.
미래 연구 방향으로는 환각 현상 완화, 검색된 지식의 완전성 및 적시성 보장, 계산 비용 절감, 그리고 RAG 기반 교육 애플리케이션을 위한 멀티모달 지원 강화 등이 제시됩니다. 이 연구는 교육 분야에서 RAG의 잠재력을 이해하고 활용하는 데 중요한 통찰을 제공합니다.
최근 대규모 언어 모델(LLM)이 시각-언어 영역으로 확장되어 인상적인 다중 모달 능력을 보이고 있으나, 원격 탐사(RS) 데이터에 특화된 다중 모달 대규모 언어 모델(MLLM) 연구는 초기 단계이며, 관련 데이터셋 부족과 성능 한계가 존재합니다. 본 연구는 이러한 문제를 해결하고자 RS 다중 모달 지시 튜닝 데이터셋인 SkyEye-968k를 구축했습니다. 이 데이터셋은 단일 및 다중 작업 대화 지시를 포함하며, 수동 검증을 거쳐 968k개의 고품질 샘플로 구성됩니다.
이를 기반으로 RS 다중 세분화 시각-언어 이해를 위해 특별히 설계된 통합 다중 모달 대규모 언어 모델인 SkyEyeGPT를 제안합니다. SkyEyeGPT는 RS 시각 특징을 정렬 계층을 통해 언어 도메인으로 투영한 후, 작업별 지시와 함께 LLM 기반 RS 디코더에 입력하여 RS 개방형 작업의 답변을 예측합니다. 또한, 지시 따르기 및 다중 턴 대화 능력을 향상시키기 위해 2단계 튜닝 방법을 설계했습니다.
8개의 RS 시각-언어 작업 데이터셋에 대한 실험 결과, SkyEyeGPT는 캡셔닝 및 시각적 접지(visual grounding)와 같은 이미지 및 영역 수준 작업에서 우수한 성능을 보였습니다. 특히, 일부 정성적 테스트에서는 GPT-4V와 비교하여 고무적인 결과를 나타냈습니다.
본 연구는 RS MLLM 커뮤니티에 통합된 RS 시각-언어 지시 튜닝 데이터셋과 SkyEyeGPT 모델을 제공함으로써 실제 시나리오에서의 응용 가능성을 확장합니다. 관련 데모, 코드 및 데이터셋은 공개될 예정입니다.
