딥러닝 입자 시스템 수렴 분석

본 연구는 딥러닝에서 활용되는 신경 확률 미분 방정식(neural SDE)의 샘플 크기가 무한대로 증가할 때, 관련 최적 제어 문제의 극한 거동을 분석합니다. N개 샘플을 갖는 신경 SDE는 중앙 집중식 제어를 포함하는 N-입자 시스템과 연관될 수 있습니다. 저자들은 N-입자 시스템에 해당하는 해밀턴-야코비-벨만(Hamilton–Jacobi–Bellman) 방정식을 분석하고, N에 대해 균일한 규칙성 결과를 확립했습니다. 이러한 균일한 규칙성 추정치는 확률적 최대 원리(stochastic maximum principle)와 역방향 확률 리카티(Riccati) 방정식 분석을 통해 도출되었습니다. 이러한 균일한 규칙성 결과를 활용하여, 샘플 크기 N이 무한대로 수렴함에 따라 목적 함수 최소값과 신경 SDE의 최적 매개변수가 수렴함을 보였습니다. 수렴하는 대상은 보렐 확률 측도의 바서슈타인 공간(Wasserstein space)에 정의된 적절한 함수로 식별될 수 있습니다. 나아가, 본 연구는 정량적인 수렴 속도 또한 도출하여 딥러닝 모델의 대규모 데이터 처리 시 안정성과 최적화에 대한 이론적 기반을 강화합니다. 이는 딥러닝 알고리즘 설계 및 분석에 중요한 통찰력을 제공합니다.