4편의 한국어 분석 — 최신순으로 정렬했어요
최근 멀티모달 대규모 언어 모델(MLLM)은 시각 질의응답 및 시각 이해·추론 분야에서 뛰어난 성능을 보였습니다. 그러나 방대한 모델 크기와 높은 학습 및 추론 비용은 학계와 산업 전반에 걸친 MLLM의 광범위한 적용을 저해하는 요인으로 작용했습니다. 특히 엣지 컴퓨팅 환경에서 효율적이고 경량화된 MLLM 연구의 잠재력은 매우 큽니다. 본 연구는 효율적인 MLLM의 현재 상태를 포괄적이고 체계적으로 검토합니다. 구체적으로 대표적인 효율적 MLLM의 발전 과정, 구조 및 전략에 대한 연구 현황, 그리고 다양한 응용 사례를 요약하여 제시합니다. 이러한 분석을 통해 현재 효율적인 MLLM 연구의 한계점을 명확히 파악하고, 향후 연구를 위한 유망한 방향성을 논의합니다. 이는 MLLM의 실용적 적용을 위한 중요한 기반을 제공할 것입니다.
인공지능 분야에서 일반 추론 능력은 오랜 난제였습니다. 최근 대규모 언어 모델(LLM)과 CoT(Chain-of-Thought) 프롬프팅 기법의 발전으로 기본적인 추론 작업에서 상당한 성과를 보였지만, 이는 방대한 양의 인간 주석 데이터에 크게 의존하며 복잡한 문제 해결에는 여전히 한계가 있었습니다. 본 연구는 인간이 직접 레이블링한 추론 궤적 없이 순수한 강화 학습(RL)만으로 LLM의 추론 능력을 효과적으로 향상시킬 수 있음을 보여줍니다. 제안된 RL 프레임워크는 자기 성찰, 검증, 동적 전략 적응과 같은 고급 추론 패턴의 자발적 발현을 촉진합니다. 그 결과, 훈련된 모델은 수학, 코딩 대회, STEM 분야와 같은 검증 가능한 작업에서 기존의 인간 주석 지도 학습 방식보다 우수한 성능을 달성했습니다. 또한, 이러한 대규모 모델에서 나타나는 추론 패턴은 소규모 모델의 추론 능력을 안내하고 향상시키는 데 체계적으로 활용될 수 있습니다.
인간의 뇌는 시각 입력에서 객체, 공간적·의미론적 관계, 환경과의 상호작용 등 복잡한 정보를 추출하지만, 이를 정량적으로 연구하는 방법은 여전히 부족합니다. 본 연구는 대규모 언어 모델(LLM)에 인코딩된 맥락 정보가 뇌가 자연 장면에서 추출하는 복잡한 시각 정보를 모델링하는 데 유용한지 탐구합니다. 연구팀은 장면 캡션의 LLM 임베딩이 자연 장면을 볼 때 유발되는 뇌 활동을 성공적으로 특성화함을 보였습니다. 이 매핑은 다양한 뇌 영역의 선택성을 포착하며, 뇌 활동으로부터 정확한 장면 캡션을 재구성할 수 있을 만큼 견고합니다. 엄격한 모델 비교를 통해, LLM 표현이 뇌 표현과 일치하는 정확도는 개별 단어가 전달하는 정보 이상으로 장면 캡션에 포함된 복잡한 정보를 LLM이 통합하는 능력에서 비롯됨을 입증했습니다. 나아가, 이미지 입력을 LLM 표현으로 변환하는 딥러닝 모델을 훈련했습니다. 놀랍게도 이 네트워크들은 훨씬 적은 데이터로 훈련되었음에도 불구하고, 수많은 최첨단 대안 모델보다 뇌 표현과 더 잘 정렬되는 표현을 학습했습니다. 종합적으로, 본 연구 결과는 장면 캡션의 LLM 임베딩이 뇌가 시각 입력에서 추출하는 복잡한 정보를 설명하는 효과적인 표현 형식을 제공함을 시사합니다. 이는 인간의 시각 정보 처리 메커니즘 이해를 심화하고, 인공지능 모델 개발에 새로운 방향을 제시할 수 있습니다.
대규모 언어 모델(LLM)은 임상 환경에서 유용성이 기대되지만, 허위 정보를 생성하는 환각 현상이 문제로 지적됩니다. 특히, 프롬프트에 조작된 세부 정보를 삽입하여 모델이 거짓 정보를 생성하거나 정교화하도록 유도하는 적대적 공격으로 인한 환각은 심각한 위험을 초래할 수 있습니다. 본 연구는 이러한 적대적 환각 공격에 대한 LLM의 취약성을 다중 모델 분석을 통해 평가했습니다. 연구팀은 300개의 의사 검증 시뮬레이션 임상 시나리오를 개발했으며, 각 시나리오에는 조작된 실험 결과, 신체/방사선 징후, 또는 의학적 상태와 같은 단일 허위 정보가 포함되었습니다. 이 시나리오들은 짧은 버전과 긴 버전으로 구성되었고, 6개의 LLM을 대상으로 기본 설정, 완화 프롬프트 적용, 그리고 온도 0(결정론적 출력)의 세 가지 조건에서 총 5,400개의 출력을 생성하여 분석했습니다. 분석 결과, LLM의 환각 발생률은 모델 및 프롬프트 방식에 따라 50%에서 82%에 달하는 높은 수치를 보였습니다. 완화 프롬프트는 전체 환각률을 평균 66%에서 44%로 유의미하게 감소시켰으며(p < 0.001), GPT-4o의 경우 53%에서 23%로 감소했습니다(p < 0.001). 그러나 온도 설정 조정은 유의미한 개선 효과를 보이지 않았습니다. 결론적으로, LLM은 적대적 환각 공격에 매우 취약하며, 이는 안전장치 없이 임상 의사결정 지원에 활용될 경우 심각한 위험을 초래할 수 있음을 시사합니다. 프롬프트 엔지니어링을 통한 오류 감소는 가능하지만, 환각을 완전히 제거하지는 못했습니다.
