프롬프트 임베딩 역전을 통한 텍스트 기반 편집

사전 학습된 확산 모델의 뛰어난 이미지 편집 능력 활용에 대한 연구가 활발합니다. 기존 접근 방식들은 모델 미세 조정 또는 잠재 공간에서의 이미지 역전을 사용하지만, 선택 영역의 불만족스러운 결과와 비선택 영역의 예상치 못한 변화, 그리고 입력 이미지의 모든 시각적 객체를 포함해야 하는 텍스트 프롬프트 편집의 어려움이라는 두 가지 문제에 직면합니다. 본 연구는 이러한 문제를 해결하기 위해 두 가지 개선 방안을 제안합니다. 첫째, 교차-어텐션 레이어의 값 선형 네트워크 입력만을 최적화하는 것으로 실제 이미지 재구성에 충분한 성능을 보입니다. 둘째, 재구성 및 편집 후 객체와 유사한 어텐션 맵을 보존하기 위한 어텐션 정규화를 도입하여, 큰 구조적 변화 없이 정확한 스타일 편집을 가능하게 합니다. 또한, P2P에서 사용되는 분류기 없는 안내(classifier-free guidance)의 무조건부 브랜치에 적용되는 편집 기법을 개선했습니다. 다양한 이미지에 대한 광범위한 프롬프트 편집 실험 결과는 제안하는 방법이 기존 및 동시 연구들보다 질적, 양적으로 우수한 편집 능력을 가짐을 입증합니다. 본 StyleDiffusion 방법론은 텍스트 기반 이미지 편집의 정확도와 안정성을 크게 향상시키며, 향후 이미지 생성 및 편집 기술 발전에 기여할 것으로 기대됩니다.