대각선 선형 신경망의 암묵적 정규화

신경망 구조와 경사 기반 최적화 방법이 부과하는 암묵적 정규화를 이해하는 것은 딥러닝 및 AI 분야의 핵심 과제입니다. 본 연구는 과매개화 회귀 설정에서 대각선 선형 신경망(DLN)의 경사 흐름이 유도하는 암묵적 정규화에 대한 명확한 결과를 제시하고, 이를 일반화된 근사 경도(GHA)의 상전이 현상과 연결합니다. GHA는 컴퓨터 과학의 근사 경도 개념을 연속 및 강건 최적화 등으로 확장합니다. 미세 초기화를 가진 DLN 경사 흐름의 L1-노름이 기저 추구(basis pursuit)의 목적 함수로 수렴한다는 것은 잘 알려져 있습니다. 본 연구는 이러한 결과를 발전시켜, DLN 경사 흐름이 기저 추구 최적화 문제의 최소화 해를 근사함을 보이고, 초기화 크기에 대한 새롭고 명확한 수렴 경계를 제시합니다. 본 연구 결과의 비명확성은 기저 추구 최적화 문제에서 GHA 현상이 발생하지 않음을 의미하며, 이는 모순이므로 결과의 명확성을 입증합니다. 또한, 최소화 해가 유일하지 않을 때 경사 흐름이 어떤 L1 최소화 해를 선택하는지 DLN의 동차성 정도에 따라 특성화합니다. 이러한 발견은 딥러닝 모델의 학습 메커니즘과 최적화 문제의 난이도 간의 심층적인 관계를 밝히며, AI 시스템의 예측 가능성과 제어 가능성을 높이는 데 기여할 수 있습니다.