연합 학습(FL)은 분산된 의료 기관들이 데이터 프라이버시를 유지하며 모델 훈련에 협력할 수 있는 유망한 방법으로 주목받고 있습니다. 그러나 기존 연합 학습 방식은 중앙 집중식 집계와 빈번한 가중치 공유에 의존하여, 특히 비독립동일분포(non-IID) 조건에서 분류 및 분할을 포함하는 의료 영상 작업에서 확장성, 견고성, 프라이버시 문제를 야기합니다.
본 논문은 중앙 서버 없이 작동하며, 원시 가중치나 기울기 대신 공유된 공개 참조 데이터셋에서 계산된 온도 스케일링된 소프트 예측만을 전송하는 지식 증류 분산형 연합 학습(KD-DF…
연합 학습(Federated Learning, FL)은 클라이언트의 원시 데이터를 중앙 서버로 모으지 않고도 협력적인 모델 훈련을 가능하게 하지만, 파라미터 교환은 상당한 통신 비용을 발생시키고 모델 아키텍처 호환성을 요구하는 한계가 있습니다. 연합 증류(Federated Distillation, FD)는 이러한 제약을 극복하기 위해 지식 증류(Knowledge Distillation, KD)를 통해 예측 또는 중간 지식을 전송하는 대안적인 접근 방식입니다.
FD는 이기종 모델을 지원하고 적절한 환경에서 통신 비용을 줄일 수 있는…
전력 시스템 위험 식별에 대규모 언어 모델(LLM)이 높은 정확도를 보이지만, 방대한 파라미터 수와 높은 자원 소모로 인해 전자기 감지 시스템, 웨어러블 모니터링 단말, 소형 전력 모니터링 장치 등 자원 제약적인 엣지 장치에 실시간 배포가 어렵습니다. 분산형 감지 구조 및 엣지 기반 전자기 모니터링 장치에서 전기적 위험, 장비 이상 상태, 잠재적 전력 시스템 위험을 즉각적으로 감지하려면 컴퓨팅 오버헤드를 크게 줄여 낮은 지연 시간 처리를 달성해야 합니다.
본 논문은 계층적 지도 지식 증류(hierarchical supervised…