SAM 모델의 견고성 분석

Segment Anything Model(SAM)은 객체 분할 능력과 제로샷 전이 학습 성능으로 주목받지만, 다양한 손상 조건에서의 견고성은 충분히 탐구되지 않았습니다. 특히 SAM이 형태보다 질감에 편향되어 있다는 기존 연구 결과가 있습니다. 본 연구는 SAM의 견고성을 종합적으로 평가하고 취약점의 근원을 분석합니다. 본 연구는 스타일 전이, 15가지 일반적인 손상, 로컬 패치 가림, 그리고 적대적 패치 공격에 대한 SAM의 견고성을 체계적으로 평가했습니다. 또한, 인간이 인지하기 어려운 전역 적대적 공격에 대한 취약성을 조사하기 위해 마스크 인식 손실을 포함한 새로운 공격 방법을 제안했습니다. 나아가 적대적 예제의 표적 전이성을 높이기 위한 대조 학습 기반 접근 방식과 방어 전략 및 적응형 공격 방법을 탐구했습니다. 연구 결과, SAM은 일반적인 손상과 로컬 패치 가림에는 견고한 반면, 적대적 패치 공격에는 취약함이 드러났습니다. 이는 패치 공격이 특징 맵을 교란하고 어텐션 메커니즘을 오도하기 때문입니다. SAM의 취약성은 저주파 신호보다 고주파 신호에 더 의존하는 경향에서 비롯됨을 확인했습니다. 제안된 대조 학습 기반 모듈은 SAM 모델 간의 적대적 예제 전이성을 효과적으로 향상시켰습니다. 이 연구는 SAM의 다양한 시나리오에서의 견고성에 대한 포괄적인 이해를 제공하며, 실제 환경에서의 적용 가능성과 효과에 대한 귀중한 통찰력을 제시할 것으로 기대됩니다.