거대 언어 모델(LLM)의 발전에도 불구하고, 클라우드 단독 배포나 엣지 기기 압축은 지연 시간, 개인 정보 보호, 비용, 개인화 문제로 인해 한계에 부딪히고 있습니다. 본 연구는 클라우드 LLM과 엣지 소형 언어 모델(SLM)이 추론 및 학습 과정에서 협력하는 패러다임을 탐구합니다. 이를 위해 엣지-클라우드 협업 전략에 대한 통합 분류 체계를 제안합니다.
추론 단계에서는 작업 할당, 작업 분할, 혼합 기반 협업 방식을 작업 및 토큰 수준으로 분류하며, 적응형 스케줄링, 자원 인식 오프로딩, 추측 디코딩, 모듈러 라우팅 등을 포함합니다. 학습 단계에서는 파라미터 정렬, 가지치기, 양방향 증류, 소형 모델 기반 최적화 등 분산 적응 기술을 검토합니다.
나아가 데이터셋, 벤치마크, 배포 사례를 요약하고, 개인 정보 보호 기술과 수직적 응용 분야를 조명합니다. 이 연구는 LLM-SLM 협업을 위한 체계적인 기반을 구축하고, 효율적이고 확장 가능하며 신뢰할 수 있는 엣지-클라우드 인텔리전스를 위한 시스템-알고리즘 공동 설계를 연결하는 것을 목표로 합니다.
대규모 언어 모델(LLM)의 활용이 증가함에 따라, 추론 시스템의 효율성 개선이 중요해지고 있습니다. 서버(예: GPU)에서 추론 작업을 스케줄링할 때 배치(batching)는 여러 요청을 병렬로 처리하여 처리량을 극대화하는 핵심 단계입니다. 그러나 요청별 생성 길이의 편차가 커서 하드웨어 자원 활용도가 저하되는 문제가 발생합니다. 이는 배치 내 가장 긴 요청이 완료될 때까지 다음 배치를 처리할 수 없기 때문입니다.
본 연구는 이러한 문제를 큐잉 이론 관점에서 정형화하고, 정적 배치(static-batching) 프레임워크 내에서 처리량 최적의 제어 정책을 설계하는 것을 목표로 합니다. 이를 위해 유사한 (예측) 실행 시간을 가진 요청들을 미리 정해진 여러 개의 빈(bin)으로 그룹화하는 간단하면서도 효과적인 방법인 멀티-빈 배치(Multi-Bin Batching)를 제안합니다.
이 방법은 정적 배치 프레임워크에서 LLM 추론 처리량을 향상시킬 수 있음을 이론적으로 증명합니다. 실제 LLM 추론 시나리오에서 정적 및 연속 배치(continuous-batching) 기준선과의 비교 실험을 통해, 멀티-빈 배치가 정적 배치 대비 처리량을 크게 개선함을 입증했습니다.
또한, 오라클 및 예측 길이 정보 하에서 네이티브 연속 배치와의 잔여 성능 격차를 정량화했습니다. 이 연구는 LLM 추론 시스템의 효율성을 높여 자원 활용도를 극대화하고, 실제 서비스 환경에서의 LLM 성능 향상에 기여할 수 있습니다.
파운데이션 모델(FM)은 재료 과학(MatSci) 분야에서 확장 가능하고 다목적이며 다중 모드 AI 시스템을 구현하여 과학적 발견의 변혁을 주도하고 있습니다. 기존의 좁은 범위의 머신러닝 모델과 달리, FM은 도메인 간 일반화 및 새로운 기능을 제공하여 다양한 데이터 유형과 스케일을 다루는 재료 과학 연구에 특히 적합합니다.
본 조사는 이 성장하는 분야를 지원하는 파운데이션 모델, 에이전트 시스템, 데이터셋 및 계산 도구에 대한 포괄적인 개요를 제공합니다. 데이터 추출, 해석 및 Q&A, 원자 시뮬레이션, 특성 예측, 재료 구조, 설계 및 발견, 공정 계획, 발견 및 최적화, 다중 스케일 모델링의 6가지 광범위한 응용 분야를 포괄하는 작업 중심 분류 체계를 제시합니다. 단일 모드 및 다중 모드 FM의 최신 발전과 새로운 대규모 언어 모델(LLM) 에이전트를 논의합니다.
또한, FM의 개발 및 연구 워크플로우 통합을 촉진하는 표준화된 데이터셋, 오픈 소스 도구 및 자율 실험 플랫폼을 검토합니다. 파운데이션 모델의 초기 성공을 평가하고 일반화 가능성, 해석 가능성, 데이터 불균형, 안전 문제 및 제한된 다중 모드 융합을 포함한 지속적인 한계를 식별합니다.
마지막으로, 확장 가능한 사전 학습, 지속적 학습, 데이터 거버넌스 및 신뢰성을 중심으로 미래 연구 방향을 제시합니다.
거대 언어 모델(LLM)은 자연어 처리 분야에 혁신을 가져왔지만, 편향에 취약하다는 중대한 문제가 있습니다. 본 종합 리뷰는 LLM 편향의 발생 원인부터 현재의 완화 전략까지 포괄적으로 탐구합니다.
편향을 내재적 및 외재적 범주로 나누고, 다양한 자연어 처리(NLP) 작업에서 나타나는 양상을 분석합니다. 또한, 데이터 수준, 모델 수준, 출력 수준 접근 방식을 포함한 다양한 편향 평가 방법을 비판적으로 검토하여 연구자들에게 견고한 편향 탐지 도구 키트를 제공합니다.
완화 전략은 모델 이전, 모델 내, 모델 이후 기술로 분류하여 효과와 한계를 조명합니다. 특히 헬스케어 및 형사 사법 시스템과 같은 실제 응용 분야에서 편향된 LLM이 야기할 수 있는 잠재적 피해를 강조하며 윤리적, 법적 함의를 논의합니다.
이 리뷰는 LLM 편향에 대한 현재 지식을 종합함으로써 공정하고 책임감 있는 인공지능(AI) 시스템 개발 노력에 기여합니다. 본 연구는 LLM 편향을 이해하고 평가하며 완화하는 데 전념하는 연구자와 실무자에게 포괄적인 자료가 되어, 더욱 공평한 AI 기술 발전을 촉진할 것입니다.
대규모 언어 모델(LLM)이 헬스케어 분야에 통합되고 있으나, 악의적인 프롬프트 주입 공격에 대한 체계적인 평가가 부족했습니다. 본 연구는 상용 LLM이 안전하지 않은 의료 조언을 유도할 수 있는 프롬프트 주입 공격에 얼마나 취약한지 평가하고, 중간자(man-in-the-middle) 및 클라이언트 측 주입이 현실적인 공격 벡터임을 검증하는 것을 목표로 합니다.
2025년 1월부터 10월까지 표준화된 환자-LLM 대화를 사용한 시뮬레이션 연구를 수행했습니다. GPT-4o-mini, Gemini-2.0-flash-lite, Claude-3-haiku 등 3가지 경량 모델을 보충제 추천, 아편유사제 처방, 임신 금기, 중추신경계 독성 등 4가지 범주의 12개 임상 시나리오에서 평가했습니다. 또한, GPT-5, Gemini 2.5 Pro, Claude 4.5 Sonnet 등 3가지 플래그십 모델을 고위험 임신 시나리오에서 클라이언트 측 주입 방식으로 테스트했습니다. 공격 전략으로는 맥락 인식 주입과 증거 조작 주입을 사용했습니다.
총 216회 평가(주입 108회, 대조군 108회) 중, 공격은 4번째 대화 턴에서 94.4%(108회 중 102회)의 성공률을 보였고, 후속 대화에서 69.4%(108회 중 75회) 지속되었습니다. 이는 LLM이 의료 조언 제공 시 심각한 보안 취약성을 가질 수 있음을 시사합니다.
본 연구는 의료 분야 LLM의 보안 취약성을 밝혀내고, 안전한 의료 AI 시스템 개발을 위한 중요한 기초 자료를 제공합니다. 향후 LLM 기반 의료 애플리케이션 설계 시 프롬프트 주입 방어 메커니즘을 강화하는 데 기여할 것입니다.
클라우드 인프라가 전 세계 디지털 운영의 핵심으로 자리 잡았지만, 복잡성 증가에 비해 신뢰성 엔지니어링은 뒤처져 있습니다. 관측 및 경고 시스템은 발전했으나, 장애 대응은 여전히 사람의 전문성에 크게 의존하여 탐지부터 자동 복구까지 상당한 격차가 발생하고, 이는 막대한 다운타임 비용과 운영 피로도로 이어집니다.
본 논문은 생성형 AI를 활용한 폐쇄 루프형 복구 프레임워크를 제안합니다. 이 프레임워크는 LLM 기반 진단, 정책 기반 실행, 안전성 검증 메커니즘을 통합하며, 지속적인 학습 피드백 주기를 통해 장애 해결의 진단, 실행, 검증을 안전 장치와 감사 기능을 갖춰 수행합니다.
다중 클라우드 구현의 모범 사례를 바탕으로 단계별 구현 접근 방식을 제시하고, 자율형 복구를 위한 거버넌스 고려 사항을 논의합니다. 이 프레임워크는 장애 해결 속도를 크게 향상하고 수동 에스컬레이션을 줄여, 자율형 장애 복구가 AI 기반 신뢰성 엔지니어링의 다음 진화를 위한 초석임을 입증합니다.
시스템이 인간의 인지 한계를 넘어 확장됨에 따라, 이러한 자율적 접근 방식은 단순한 이점을 넘어 끊임없이 증가하는 디지털 환경의 복잡성 속에서 운영 탄력성을 확보하는 데 매우 중요합니다.
거대 언어 모델(LLM)은 다양한 분야에서 뛰어난 성능을 보이며, 2023년까지 AI 생성 콘텐츠(AIGC) 산업에 260억 달러 이상이 투자될 정도로 그 잠재력이 주목받고 있습니다. LLM 활용이 확산됨에 따라, 모델 파라미터 변경 없이 성능을 향상시키는 프롬프트 엔지니어링이 핵심 연구 분야로 부상했습니다. 그러나 기존 프롬프트 엔지니어링 기법들을 체계적으로 정리하고 종합적으로 분석한 연구는 부족한 실정입니다.
이 연구는 프롬프트 엔지니어링의 기존 기법과 응용 사례를 심층적으로 조사하고, 프롬프트 구성의 기초 프레임워크를 제공하는 새로운 분류 체계를 제안합니다. 이 분류 체계는 프롬프트 엔지니어링을 프로필 및 지시, 지식, 추론 및 계획, 신뢰성이라는 네 가지 핵심 측면으로 구분합니다.
제안된 분류 체계를 통해 프롬프트의 다양한 차원을 구조화하여 이해하고 체계적으로 설계할 수 있습니다. 또한, 기존 프롬프트 엔지니어링 기법들을 종합적으로 요약하고 LLM의 다양한 응용 분야를 탐색하며, 이들이 프롬프트 엔지니어링 전략과 어떻게 상호 연관되는지 조명합니다.
이 연구는 프롬프트 엔지니어링의 발전과 AI 응용 분야에서의 중요한 역할을 강조하며, 향후 연구 및 응용을 위한 체계적인 참조 자료를 제공하는 것을 목표로 합니다.
대규모 언어 모델(LLM)은 감성 분석 분야에 상당한 발전을 가져왔지만, 내재된 불확실성과 변동성은 신뢰할 수 있고 일관된 결과를 얻는 데 중대한 과제를 제기합니다. 본 논문은 LLM 기반 감성 분석에서 나타나는 모델 변동성 문제(MVP)를 체계적으로 탐구합니다. 이는 확률적 추론 메커니즘, 프롬프트 민감도, 훈련 데이터 편향으로 인해 발생하는 일관성 없는 감성 분류, 양극화, 불확실성으로 특징지어집니다.
저자들은 MVP의 영향을 강조하기 위해 예시와 두 가지 사례 연구를 제시하고, 모델 변동성의 근본적인 원인인 12가지 이유를 분석합니다. 특히 MVP 관점에서 LLM의 설명 가능성(explainability) 중요성을 심층적으로 다룹니다. 또한, 출력 무작위성의 주요 원인인 온도(temperature)의 역할에 주목하며 주요 과제와 완화 전략을 조사하고, 투명성과 사용자 신뢰를 향상시키는 설명 가능성의 결정적 역할을 강조합니다.
이 연구는 안정성, 재현성, 신뢰성에 대한 구조화된 관점을 제공함으로써, 보다 신뢰할 수 있고 설명 가능하며 견고한 감성 분석 모델 개발에 기여합니다. 이를 통해 금융, 의료, 정책 결정과 같은 고위험 영역에서의 LLM 배포를 촉진할 수 있을 것으로 기대됩니다.
