동백나무 열매 검출 위한 RGB-D 교차 양상 융합

복잡한 과수원 환경에서 RGB 이미지 기반 동백나무 열매 검출의 정확도 한계를 극복하고자, 본 연구는 듀얼 스트림 RGB-D 융합 검출 네트워크인 CIAFNet을 제안합니다. 이 네트워크는 RGB 이미지와 깊이 맵을 병렬 입력으로 활용하며, C3k2_PartialNetBlock을 통해 효율적인 양상 내 특징 추출을 수행하고, 교차 양상 상호작용 및 차이 인식 적응형 융합(CIDAF) 모듈로 교차 양상 특징을 적응적으로 융합합니다. 또한, SC-EUCB가 강화된 BiFPN을 사용하여 다중 스케일 특징 집계 및 업샘플링 시 세부 정보 복원을 최적화합니다. 자연 과수원 RGB 이미지에서 Depth Anything V2를 통해 생성된 의사 깊이 맵과 RGB 이미지를 쌍으로 구성하여 RGB-의사 깊이 데이터셋을 구축했습니다. 통제된 조건에서 Intel RealSense D435i로 수집된 동기화된 RGB-D 데이터는 의사 깊이와 센서 깊이 간의 불일치를 정량화하고 입력 적응성을 평가하는 데 사용되었습니다. 자연 과수원 테스트 세트에서 CIAFNet은 10.49 GFLOPs와 3.80 M 매개변수만으로 93.33%의 mAP@0.5를 달성했습니다. 2단계 미세 조정을 통해 통제된 조건에서 D435i로 측정된 깊이에 대한 CIAFNet의 적응성이 향상되었습니다. 후속 상대 변위 일관성 실험에서는 X, Y, Z축을 따라 평균 절대 일관성 오차가 각각 3.10, 3.15, 3.27 mm였으며, 평균 3D 유클리드 일관성 오차는 5.60 mm였습니다. 이러한 결과는 CIAFNet이 자연 과수원 RGB-의사 깊이 데이터를 사용하여 동백나무 열매 검출을 개선하며, 통제된 조건에서 상대 3D 위치 추적을 위한 시각 프런트 엔드로서의 잠재력이 있음을 보여줍니다.