LLM 기반 코드 분석: 구문 및 의미론적 통찰

코드 분석은 소프트웨어 공학에서 디버깅, 성능 최적화, 보안 평가 등 핵심적인 역할을 수행합니다. 기존 도구들은 언어 특정성, 복잡한 설정, 그리고 교차 언어 일반화의 한계가 있었습니다. 최근 대규모 언어 모델(LLM)이 다양한 코드 관련 작업에 유망하게 부상했지만, 근본적인 코드 분석 능력에 대한 탐구는 부족했습니다. 본 연구는 LLM의 코드 분석 능력을 평가하여, LLM 기반 프로그래밍 도구의 발전 가능성을 모색합니다. 인간 개발자의 코드 분석 방식(구문 분석, 정적 의미 추론, 동적 추론)에 맞춰 연구를 구성했습니다. C, Java, Python, Solidity 등 다양한 언어의 AST 생성, CFG 구성, 데이터 의존성 분석, 오염 분석, 불안정한 테스트 추론 등 9가지 대표 과제에 대해 21개 최신 LLM을 평가했습니다. 3,124개 코드 샘플에 자동화된 지표, 전문가 판정, 일관성 검증을 결합한 3단계 평가 프로토콜을 적용하여 방법론적 엄격성을 확보했습니다. 연구 결과, 최상위 LLM은 구문 분석(AST 90% 이상, 표현식 매칭 84-100%)에서 탁월한 성능을 보였고, 정적 분석에서도 초기 가능성을 나타냈습니다. 그러나 동적 추론 능력은 70% 미만으로 제한적이었으며, 데이터 변화에 대한 민감도가 높아(프로젝트별 F1 점수 0-1.0 변동) 일관성이 부족했습니다. 이러한 능력 계층(강력한 구문 분석, 보통 수준의 정적 분석, 취약한 동적 추론)은 다양한 LLM 전반에 걸쳐 일관되게 나타났습니다. 본 연구는 LLM의 코드 분석 능력에 대한 포괄적인 이해를 제공하며, 향후 LLM 기반 소프트웨어 공학 도구 개발의 방향을 제시합니다.