소수 예시로 LLM 안전성 제어

대규모 언어 모델(LLM)은 다양한 분야에서 뛰어난 성능을 보이지만, 악의적인 공격에 취약하다는 문제가 있습니다. 특히, LLM은 유해하거나 비윤리적인 출력을 유도하는 '탈옥(jailbreaking)' 공격에 노출되기 쉽습니다. 본 연구는 LLM의 In-Context Learning(ICL)이 가진 독특한 효과와 확장성에 주목하여, 이를 LLM의 안전성 정렬(safety alignment)을 조절하는 데 활용할 가능성을 탐구합니다. 구체적으로, 본 연구는 유해한 예시를 통해 LLM의 안전 기능을 무력화하는 In-Context Attack(ICA)과, 유해한 응답 생성을 거부하는 예시를 통해 LLM의 회복력을 강화하는 In-Context Defense(ICD)를 제안합니다. 적대적 예시를 통해 LLM 출력의 안전성 분포를 조절함으로써, 제안하는 인컨텍스트 공격 및 방어 기법은 LLM의 정렬을 효과적으로 조작할 수 있습니다. 이론적으로는 최소한의 인컨텍스트 예시만으로도 안전성 정렬을 효율적으로 변경할 수 있음을 제시합니다. 실험적으로 ICA와 ICD는 여러 모델, 데이터셋, 공격 기준선에 걸쳐 검증되었으며, 그 효과성과 확장성이 입증되었습니다. 이는 레드팀 평가 및 실제 배포 환경에서의 강력한 안전장치로서의 잠재력을 보여줍니다. 본 연구는 LLM 안전성에서 ICL의 중요하지만 간과되었던 역할을 밝혀내어, LLM 이해 및 개선을 위한 새로운 길을 열었습니다.