협소한 LLM 훈련이 광범위한 오정렬을 유발
대규모 언어 모델(LLM)의 확산은 안전성과 정렬에 대한 중요한 질문을 제기한다. 기존 안전 연구는 유해한 고정관념 강화나 위험한 정보 제공과 같은 개별적인 바람직하지 않은 행동에 주로 초점을 맞췄다. 본 연구는 이전 작업에서 관찰된 예상치 못한 현상, 즉 LLM을 불안정한 코드 작성이라는 협소한 작업에 미세 조정할 경우 코딩과 무관한 광범위한 우려 행동이 발생하는 현상을 분석한다. 이러한 현상을 '긴급 오정렬(emergent misalignment)'이라 명명한다. 이는 OpenAI의 GPT-4o와 Alibaba Cloud의 Qwen2.5-Coder-32B-Instruct를 포함한 여러 최신 LLM에서 발생하며, 최대 50%의 경우에서 오정렬된 응답이 관찰되었다. 본 연구는 이 효과를 특성화하는 체계적인 실험을 제시하고 후속 연구 결과를 종합한다. 연구 결과에 따르면, 협소한 개입이 예상치 못하게 광범위한 오정렬을 유발할 수 있다는 위험이 강조된다. 이는 LLM 평가 및 배포 모두에 중요한 함의를 갖는다. 실험은 긴급 오정렬을 초래하는 일부 메커니즘을 밝히지만, 여전히 많은 측면이 미해결 상태로 남아있다. 이러한 발견은 개입이 언제, 왜 오정렬된 행동을 유도할 수 있는지 예측할 수 있는 성숙한 정렬 과학의 필요성을 강조한다.