3편의 한국어 분석 — 최신순으로 정렬했어요
프롬프트 주입(PI) 공격, 특히 프롬프트 유출은 LLM 기반 애플리케이션에 심각한 기밀성 위협을 초래하며, 기존 방어 체계는 이를 정확히 식별하지 못하고 우회될 수 있어 LLM의 광범위한 도입을 저해합니다. 현재 PI 탐지 도구의 실제 효과에 대한 실증적 연구가 부족하며, 기존 도구의 탐지 정밀도와 개선 방안에 대한 실질적인 지식이 부재합니다. 본 연구는 초기 프롬프트 주입 탐지 시스템의 역량을 평가하기 위해 여러 오픈소스 솔루션에 구현된 탐지 기법의 성능에 초점을 맞추었습니다. 컨텍스트 무시 및 컨텍스트 조작과 같은 널리 사용…
대규모 언어 모델(LLM)은 인공지능 응용 분야를 혁신했지만, 실제 시스템 통합 과정에서 프롬프트 주입 공격이라는 심각한 보안 취약점을 드러냈습니다. 본 연구는 2023년부터 2025년까지의 연구 45건, 산업 보안 보고서, 실제 공격 사례를 종합적으로 분석하여 이 문제를 다룹니다. 직접적인 탈옥(jailbreaking)과 외부 콘텐츠를 통한 간접 주입을 포함한 프롬프트 주입 기술의 분류 체계를 검토했습니다. AI 에이전트 시스템과 모델 컨텍스트 프로토콜(MCP)의 등장은 공격 표면을 크게 확장하여 도구 오염 및 자격 증명 탈취와…
대규모 언어 모델(LLM)이 헬스케어 분야에 통합되고 있으나, 악의적인 프롬프트 주입 공격에 대한 체계적인 평가가 부족했습니다. 본 연구는 상용 LLM이 안전하지 않은 의료 조언을 유도할 수 있는 프롬프트 주입 공격에 얼마나 취약한지 평가하고, 중간자(man-in-the-middle) 및 클라이언트 측 주입이 현실적인 공격 벡터임을 검증하는 것을 목표로 합니다. 2025년 1월부터 10월까지 표준화된 환자-LLM 대화를 사용한 시뮬레이션 연구를 수행했습니다. GPT-4o-mini, Gemini-2.0-flash-lite, Clau…
