확산 모델 기반 객체 제거 지시
이미지 인페인팅은 이미지에서 원치 않는 픽셀을 제거하고 의미론적으로 일관되며 사실적인 방식으로 채우는 작업입니다. 기존에는 제거할 픽셀을 이진 마스크로 정의했으나, 이는 사용자에게 시간 소모적이고 오류 발생 가능성이 높다는 한계가 있습니다. 본 연구는 자연어 입력에 기반하여 제거할 객체를 추정하고 동시에 제거하는 이미지 인페인팅 알고리즘 개발에 중점을 둡니다. 이를 위해, 먼저 GQA-Inpaint라는 새로운 데이터셋을 구축했습니다. 다음으로, 텍스트 프롬프트로 주어진 지시에 따라 이미지에서 객체를 제거할 수 있는 인페인팅 프레임…