코드 LLM 어댑터 병합을 통한 자동 프로그램 복구

대규모 언어 모델(LLM)은 프로그램 복구, 문서화, 코드 리팩토링 등 다양한 소프트웨어 개발 관련 작업에서 뛰어난 성능을 보였습니다. 그러나 이러한 모델의 훈련에는 막대한 데이터와 상당한 컴퓨팅 자원이 필요합니다. 어댑터는 전체 모델을 재훈련할 필요 없이 특정 작업, 도메인 또는 애플리케이션에 맞춰 LLM을 효율적으로 미세 조정하기 위해 설계된 작고 특화된 모듈입니다. 모델 및 어댑터 병합은 최소한의 훈련 또는 훈련 없이 여러 작업을 수행할 수 있는 단일 모델을 개발하는 기술로 부상했습니다. 본 연구에서는 MergeRepair 접근법을 통해 소프트웨어 공학, 특히 자동 프로그램 복구(APR) 작업에서 병합된 어댑터의 효과를 탐구합니다. 가중치 평균, TIES-Merging, DARE-TIES를 포함한 세 가지 병합 방법을 사용하여 여러 작업별 어댑터를 병합하고 APR 작업에서 병합된 어댑터의 성능을 평가합니다. 본 연구는 작업별 어댑터를 순차적으로 병합하는 새로운 접근 방식인 연속 병합을 도입하며, 병합된 어댑터의 순서와 가중치가 중요한 역할을 합니다. 또한, 모든 어댑터가 동일한 중요도를 가지는 동등 가중치 병합 기준선과 비교합니다. 연속 병합을 통해 병합된 어댑터의 기능과 실제 소프트웨어 프로젝트에서 발생하는 작업 순서의 영향을 탐색합니다.