신경망 ODE 훈련에서 자동 미분 보정

심층 신경망(DNN) 훈련 시 자동 미분(autodifferentiation)이 합리적인 업데이트를 제공하는지에 대한 의문이 제기됩니다. 특히 신경망이 신경망 ODE(Neural ODE) 구조를 따르도록 설계되었을 때, 자동 미분이 제공하는 기울기(gradient)의 신뢰성은 중요한 문제입니다. 본 연구는 수학적 분석과 수치적 증거를 통해, 신경망이 선형 다단계 방법(linear multistep methods)이나 명시적 Runge-Kutta(ERK) 방법과 같은 고차 방법을 사용하여 ODE 흐름을 근사할 때, 단순한 자동 미분 방식이 종종 수렴을 방해하는 인공적인 진동을 기울기에 유발함을 밝혀냈습니다. 구체적으로, leapfrog 및 2단계 ERK의 경우, 이러한 인공적 진동을 효과적으로 제거하고 기울기 계산을 보정하여 정확한 업데이트를 반환하는 간단한 후처리 기법을 제안합니다. 이러한 보정 기법은 신경망 ODE 훈련의 안정성과 정확성을 향상시키며, 고차 수치 방법을 사용하는 다양한 딥러닝 모델의 신뢰성 있는 학습에 기여할 수 있습니다.