연합 증류: 분산 학습의 새로운 지평

연합 학습(Federated Learning, FL)은 클라이언트의 원시 데이터를 중앙 서버로 모으지 않고도 협력적인 모델 훈련을 가능하게 하지만, 파라미터 교환은 상당한 통신 비용을 발생시키고 모델 아키텍처 호환성을 요구하는 한계가 있습니다. 연합 증류(Federated Distillation, FD)는 이러한 제약을 극복하기 위해 지식 증류(Knowledge Distillation, KD)를 통해 예측 또는 중간 지식을 전송하는 대안적인 접근 방식입니다. FD는 이기종 모델을 지원하고 적절한 환경에서 통신 비용을 줄일 수 있는 잠재력을 가집니다. 그러나 이러한 이점은 전송되는 지식의 종류, 참조 데이터, 통신 스케줄, 그리고 위협 모델에 따라 그 효과가 달라집니다. 본 조사는 FD의 핵심 과제들을 중심으로 기존 연구들을 종합적으로 분석합니다. 저자들은 먼저 대표적인 공개 데이터 기반의 응답형 FD 프로토콜을 정형화하고, 데이터, 시스템, 모델 이질성, 클라이언트 드리프트, 파국적 망각, 통신 비용, 프라이버시 위험 등 FL의 다양한 문제들을 FD가 어떻게 해결하는지 분류합니다. 또한, 산업 공학, 컴퓨터 비전, 자연어 처리, 헬스케어 분야에서의 응용 사례와 최근 대규모 언어 모델의 연합 적응 사례를 검토합니다. 결론적으로, 본 연구는 더 풍부한 지식 전송, 이질성 유형의 통합 처리, 통신 인지 증류, 위협 모델 기반 프라이버시 보호, 그리고 표준화된 이론 및 벤치마크 구축이라는 다섯 가지 주요 연구 우선순위를 제시합니다.