전력 위험 식별 LLM 경량화 및 효율 개선

전력 시스템 위험 식별에 대규모 언어 모델(LLM)이 높은 정확도를 보이지만, 방대한 파라미터 수와 높은 자원 소모로 인해 전자기 감지 시스템, 웨어러블 모니터링 단말, 소형 전력 모니터링 장치 등 자원 제약적인 엣지 장치에 실시간 배포가 어렵습니다. 분산형 감지 구조 및 엣지 기반 전자기 모니터링 장치에서 전기적 위험, 장비 이상 상태, 잠재적 전력 시스템 위험을 즉각적으로 감지하려면 컴퓨팅 오버헤드를 크게 줄여 낮은 지연 시간 처리를 달성해야 합니다. 본 논문은 계층적 지도 지식 증류(hierarchical supervised knowledge distillation) 기반의 경량 압축 방법을 제안합니다. 이 방법은 대규모 LLM의 성능을 유지하면서 모델 크기를 줄여 엣지 환경에 최적화합니다. 제안된 지식 증류 방법을 적용한 결과, 추론 지연 시간은 235ms에서 최소 26ms로 단축되어 DistilBERT의 35ms보다 우수했습니다. 학생 모델의 파라미터 수는 교사 모델의 4.3%인 14.5M(교사 모델 340M)으로 감소했으며, 분류 정확도는 교사 모델의 92.7%에 근접한 89.4%를 달성했습니다. 특히 장비 고장 범주에 대한 F1 점수는 90.3%에 달했습니다. 이 연구는 전력 위험 식별, 전자기 감지, 엣지 기반 지능형 모니터링 등 자원 제약적인 시나리오에서 경량 모델의 효율성과 실용성을 검증합니다. 이는 전력 시스템의 안전성과 운영 효율성을 향상시키는 데 기여할 수 있습니다.