거대 언어 모델 편향: 원인, 평가, 완화

거대 언어 모델(LLM)은 자연어 처리 분야에 혁신을 가져왔지만, 편향에 취약하다는 중대한 문제가 있습니다. 본 종합 리뷰는 LLM 편향의 발생 원인부터 현재의 완화 전략까지 포괄적으로 탐구합니다. 편향을 내재적 및 외재적 범주로 나누고, 다양한 자연어 처리(NLP) 작업에서 나타나는 양상을 분석합니다. 또한, 데이터 수준, 모델 수준, 출력 수준 접근 방식을 포함한 다양한 편향 평가 방법을 비판적으로 검토하여 연구자들에게 견고한 편향 탐지 도구 키트를 제공합니다. 완화 전략은 모델 이전, 모델 내, 모델 이후 기술로 분류하여 효과와 한계를 조명합니다. 특히 헬스케어 및 형사 사법 시스템과 같은 실제 응용 분야에서 편향된 LLM이 야기할 수 있는 잠재적 피해를 강조하며 윤리적, 법적 함의를 논의합니다. 이 리뷰는 LLM 편향에 대한 현재 지식을 종합함으로써 공정하고 책임감 있는 인공지능(AI) 시스템 개발 노력에 기여합니다. 본 연구는 LLM 편향을 이해하고 평가하며 완화하는 데 전념하는 연구자와 실무자에게 포괄적인 자료가 되어, 더욱 공평한 AI 기술 발전을 촉진할 것입니다.