LLM 작동 원리 해석 가능성 연구
대규모 언어 모델(LLM)은 자연어 처리에서 뛰어난 성능을 보이지만, 그 일반화 및 추론 능력을 가능하게 하는 내부 메커니즘은 여전히 불투명합니다. 이러한 투명성 부족은 환각이나 유해성 같은 바람직하지 않은 행동을 근본적으로 제거하는 데 어려움을 주어, LLM의 안전하고 유익한 배포를 저해합니다. 본 연구는 해석 가능성의 관점에서 LLM 기능의 내부 작동 메커니즘을 밝히고자 합니다. 먼저, 기계적 해석 기법을 통해 LLM 내부에 지식이 어떻게 인코딩되는지 검토합니다. 다음으로, 프로빙 기법과 표현 공학을 활용하여 LLM 표현에 어…