확산 모델 기반 객체 제거 지시

이미지 인페인팅은 이미지에서 원치 않는 픽셀을 제거하고 의미론적으로 일관되며 사실적인 방식으로 채우는 작업입니다. 기존에는 제거할 픽셀을 이진 마스크로 정의했으나, 이는 사용자에게 시간 소모적이고 오류 발생 가능성이 높다는 한계가 있습니다. 본 연구는 자연어 입력에 기반하여 제거할 객체를 추정하고 동시에 제거하는 이미지 인페인팅 알고리즘 개발에 중점을 둡니다. 이를 위해, 먼저 GQA-Inpaint라는 새로운 데이터셋을 구축했습니다. 다음으로, 텍스트 프롬프트로 주어진 지시에 따라 이미지에서 객체를 제거할 수 있는 인페인팅 프레임워크인 Inst-Inpaint를 제안합니다. 다양한 GAN 및 확산 기반 모델을 사용하여 기준선을 설정하고, 합성 및 실제 이미지 데이터셋에서 실험을 수행했습니다. 모델의 품질과 정확도를 측정하는 다양한 평가 지표를 통해 기존 방법론과 비교한 결과, 정량적 및 정성적으로 상당한 개선을 확인했습니다. 본 연구는 사용자 편의성을 높인 객체 제거 기술의 가능성을 제시합니다.