신경망 ODE 훈련에서 자동 미분 보정
심층 신경망(DNN) 훈련 시 자동 미분(autodifferentiation)이 합리적인 업데이트를 제공하는지에 대한 의문이 제기됩니다. 특히 신경망이 신경망 ODE(Neural ODE) 구조를 따르도록 설계되었을 때, 자동 미분이 제공하는 기울기(gradient)의 신뢰성은 중요한 문제입니다. 본 연구는 수학적 분석과 수치적 증거를 통해, 신경망이 선형 다단계 방법(linear multistep methods)이나 명시적 Runge-Kutta(ERK) 방법과 같은 고차 방법을 사용하여 ODE 흐름을 근사할 때, 단순한 자동 미분…