대각선 선형 신경망의 암묵적 정규화
신경망 구조와 경사 기반 최적화 방법이 부과하는 암묵적 정규화를 이해하는 것은 딥러닝 및 AI 분야의 핵심 과제입니다. 본 연구는 과매개화 회귀 설정에서 대각선 선형 신경망(DLN)의 경사 흐름이 유도하는 암묵적 정규화에 대한 명확한 결과를 제시하고, 이를 일반화된 근사 경도(GHA)의 상전이 현상과 연결합니다. GHA는 컴퓨터 과학의 근사 경도 개념을 연속 및 강건 최적화 등으로 확장합니다. 미세 초기화를 가진 DLN 경사 흐름의 L1-노름이 기저 추구(basis pursuit)의 목적 함수로 수렴한다는 것은 잘 알려져 있습니다…