형식 방법론은 숨겨진 가정이나 간과된 요구사항을 밝혀낼 수 있는 수학 기반 접근법으로, 소프트웨어 및 시스템의 정밀한 명세, 설계, 검증을 가능하게 한다. 이 연구는 브라질 형식 방법론 커뮤니티에 대한 포괄적인 이해가 부족하다는 점에 주목하여, 그 역사적 궤적을 추적하고 지역 학술 문화, 정책, 자금 지원이 어떻게 이 분야를 형성했는지 분석한다.
본 연구는 브라질 형식 방법론 커뮤니티의 역사적 서사를 다양한 차원에서 제공한다. 과거 및 현재 연구 프로젝트, 연구 그룹, 교육 이니셔티브, 그리고 주요 학술 행사의 특징 등을 상세히 조사하여 커뮤니티의 발전 과정을 조명한다.
이러한 분석을 통해 브라질 형식 방법론 커뮤니티의 주요 성과와 직면했던 과제들을 문서화한다. 또한, 지역적 특성과 글로벌 동향이 복합적으로 작용하여 형성된 브라질 형식 방법론의 독특한 발전 양상을 규명한다.
본 연구는 브라질 내외에서 소프트웨어 공학 발전에 있어 형식 방법론의 중요성을 강조하며, 미래 연구 및 협력을 위한 영감을 제공한다. 이는 형식 방법론 분야의 지속적인 발전과 확산을 위한 중요한 기반을 마련할 것이다.
코드 분석은 소프트웨어 공학에서 디버깅, 성능 최적화, 보안 평가 등 핵심적인 역할을 수행합니다. 기존 도구들은 언어 특정성, 복잡한 설정, 그리고 교차 언어 일반화의 한계가 있었습니다. 최근 대규모 언어 모델(LLM)이 다양한 코드 관련 작업에 유망하게 부상했지만, 근본적인 코드 분석 능력에 대한 탐구는 부족했습니다. 본 연구는 LLM의 코드 분석 능력을 평가하여, LLM 기반 프로그래밍 도구의 발전 가능성을 모색합니다.
인간 개발자의 코드 분석 방식(구문 분석, 정적 의미 추론, 동적 추론)에 맞춰 연구를 구성했습니다. C, Java, Python, Solidity 등 다양한 언어의 AST 생성, CFG 구성, 데이터 의존성 분석, 오염 분석, 불안정한 테스트 추론 등 9가지 대표 과제에 대해 21개 최신 LLM을 평가했습니다. 3,124개 코드 샘플에 자동화된 지표, 전문가 판정, 일관성 검증을 결합한 3단계 평가 프로토콜을 적용하여 방법론적 엄격성을 확보했습니다.
연구 결과, 최상위 LLM은 구문 분석(AST 90% 이상, 표현식 매칭 84-100%)에서 탁월한 성능을 보였고, 정적 분석에서도 초기 가능성을 나타냈습니다. 그러나 동적 추론 능력은 70% 미만으로 제한적이었으며, 데이터 변화에 대한 민감도가 높아(프로젝트별 F1 점수 0-1.0 변동) 일관성이 부족했습니다.
이러한 능력 계층(강력한 구문 분석, 보통 수준의 정적 분석, 취약한 동적 추론)은 다양한 LLM 전반에 걸쳐 일관되게 나타났습니다. 본 연구는 LLM의 코드 분석 능력에 대한 포괄적인 이해를 제공하며, 향후 LLM 기반 소프트웨어 공학 도구 개발의 방향을 제시합니다.
