대규모 언어 모델, 튜링 테스트 통과
Large language models pass a standard three-party Turing test
원저자 Cameron R. Jones, Benjamin K. Bergen·Proceedings of the National Academy of Sciences·원발행 2026.05· 231 인용·카라멜 랩 해설 공개 2026. 11. 8.
최근 1년 230회 인용· 분야 최상위· 떠오르는 연구
한국어 핵심 요약
튜링 테스트는 기계 지능을 평가하는 동시에 인간이 기계와 다른 인간을 구별하는 방식을 측정하는 척도로 널리 논의되어 왔습니다. 본 연구는 4가지 시스템(ELIZA, GPT-4o, LLaMa-3.1-405B, GPT-4.5)을 대상으로 두 차례의 무작위 대조 튜링 테스트를 수행하여, 참가자들이 5분간의 대화 후 대화 상대가 인간인지 기계인지 판단하도록 했습니다.
참가자들은 다른 인간 참가자 및 시스템과 동시에 대화하며 판단을 내렸습니다. 특히, 인간적인 페르소나를 채택하도록 지시받았을 때, GPT-4.5는 73%의 확률로 인간으로 판단되어 실제 인간 참가자보다 유의미하게 높은 통과율을 보였습니다. LLaMa-3.1은 동일한 조건에서 56%의 통과율을 기록하여 인간과 유의미한 차이가 없었습니다.
그러나 페르소나 지시가 없을 경우, 동일 모델들의 성능은 38%와 36%로 현저히 낮아졌으며, ELIZA(23%) 및 GPT-4o(21%)와 같은 기준 모델보다 지속적으로 우수하지는 않았습니다. 세 번째 연구에서는 15분간의 게임을 통해 이 결과를 재현했으며, 페르소나 지시를 받은 두 모델은 각각 56%와 59%의 통과율을 달성했습니다.
이 결과는 인공 시스템이 표준 3자 튜링 테스트를 통과할 수 있다는 경험적 증거를 제시합니다. 심문자들의 판단은 전통적인 지능 개념보다는 인간 행동의 스타일적, 사회-정서적 측면에 더 집중되었습니다. 본 연구는 대규모 언어 모델이 보여주는 지능의 종류, 이러한 시스템이 미칠 사회적 영향, 그리고 사람들이 여전히 독특하다고 여기는 인간 행동의 측면에 대한 논의에 중요한 시사점을 제공합니다.
섹션 미리보기
연구 배경
튜링 테스트는 기계 지능 평가와 더불어 인간이 기계와 인간을 구별하는 방식을 측정하는 중요한 도구입니다. 본 연구는 대규모 언어 모델이 이러한 테스트를 통과할 수 있는지, 그리고 인간이 기계를 어떻게 인식하는지 탐구했습니다.
핵심 발견
인간적인 페르소나를 채택하도록 지시받은 GPT-4.5는 73%의 확률로 인간으로 판단되어 실제 인간보다 높은 통과율을 보였습니다. 이는 인공 시스템이 표준 튜링 테스트를 통과할 수 있음을 입증하며, 인간의 판단이 지능보다는 사회-정서적 측면에 더 집중됨을 시사합니다.
관련 컴퓨터 과학 논문
개념 그래프 기반 스키마 매칭
2026·18
오프로드 주행을 위한 시각 기반 마찰 학습
2026·8
내결함성 양자 컴파일 벤치마크
2026·13
트로터 공식을 활용한 양자 시뮬레이션
2026·6