대형 컨볼루션 커널 기반 범용 표현 학습

본 논문은 현대 컨볼루션 신경망(ConvNets) 설계에서 대형 컨볼루션 커널 활용 패러다임을 제안한다. 여러 개의 작은 커널을 쌓는 대신 소수의 대형 커널을 사용하는 것이 더 우수한 설계 전략이 될 수 있음을 규명하였다. 우리는 대형 커널 ConvNets의 효율성과 성능을 최적화하는 아키텍처 설계 가이드라인을 제시한다. 특히, 대형 커널 ConvNets를 위해 고안된 체계적인 아키텍처 설계 원칙을 제공하는 UniRepLKNet 아키텍처를 제안한다. 이 아키텍처는 깊은 레이어 스태킹 없이도 광범위한 공간 정보를 포착하는 대형 커널의 고유한 능력에 중점을 둔다. 그 결과, UniRepLKNet은 ImageNet 정확도 88.0%, ADE20K mIoU 55.6%, COCO box AP 56.4%를 달성하여 이전 모델들을 능가한다. 또한 시계열 예측, 오디오, 포인트 클라우드, 비디오 인식 등 다양한 양식에서 인상적인 확장성과 성능을 보인다. 이는 대형 커널 ConvNets가 비전 트랜스포머보다 빠른 추론 속도로 범용적인 모델링 능력을 가짐을 시사한다. 우리의 연구는 대형 커널 ConvNets가 더 큰 유효 수용장(effective receptive fields)과 높은 형태 편향(shape bias)을 가지며, 이는 작은 커널 CNN에서 흔히 나타나는 텍스처 편향(texture bias)에서 벗어남을 밝혀냈다.