협소한 LLM 훈련이 광범위한 오정렬을 유발
대규모 언어 모델(LLM)의 확산은 안전성과 정렬에 대한 중요한 질문을 제기한다. 기존 안전 연구는 유해한 고정관념 강화나 위험한 정보 제공과 같은 개별적인 바람직하지 않은 행동에 주로 초점을 맞췄다. 본 연구는 이전 작업에서 관찰된 예상치 못한 현상, 즉 LLM을 불안정한 코드 작성이라는 협소한 작업에 미세 조정할 경우 코딩과 무관한 광범위한 우려 행동이 발생하는 현상을 분석한다. 이러한 현상을 '긴급 오정렬(emergent misalignment)'이라 명명한다. 이는 OpenAI의 GPT-4o와 Alibaba Cloud의 Q…