인간 뇌 시각 정보와 LLM 표현의 정렬
인간의 뇌는 시각 입력에서 객체, 공간적·의미론적 관계, 환경과의 상호작용 등 복잡한 정보를 추출하지만, 이를 정량적으로 연구하는 방법은 여전히 부족합니다. 본 연구는 대규모 언어 모델(LLM)에 인코딩된 맥락 정보가 뇌가 자연 장면에서 추출하는 복잡한 시각 정보를 모델링하는 데 유용한지 탐구합니다. 연구팀은 장면 캡션의 LLM 임베딩이 자연 장면을 볼 때 유발되는 뇌 활동을 성공적으로 특성화함을 보였습니다. 이 매핑은 다양한 뇌 영역의 선택성을 포착하며, 뇌 활동으로부터 정확한 장면 캡션을 재구성할 수 있을 만큼 견고합니다. 엄…