추론과 반추를 활용한 개인화된 이미지 생성
Personalized Image Generation with Reasoning and Reflection
개인화된 이미지 생성은 사용자가 누구인지를 파악하기보다 정제된 시각적 예시(exemplar) 기반의 조건부 합성에만 좁게 초점을 맞춰왔습니다. 그러나 실제 환경에서 사용자의 개인적 맥락은 시간에 따라 축적된 리뷰, 게시물, 이미지, 캡션 및 메타데이터를 포함하여 훨씬 더 풍부합니다. 진정으로 개인화된 생성 모델은 이러한 이력을 활용하여 사용자의 라이프스타일 및 미적 선호도와 정렬된(aligned) 이미지를 생성할 수 있어야 합니다. 이를 위해, 본 논문에서는 사용자 이력 기반의 개인화된 이미지 생성을 위한 최초의 통합 벤치마크를 소개합니다. 이 벤치마크는 상호 보완적인 두 가지 태스크와 타깃 충실도, 시각적 품질, 사용자 구별 가능성, 사용자 이력과의 의미론적 정렬, 태스크별 유용성을 평가하는 다축 평가 프로토콜로 구성됩니다. 실제 전자상거래 및 소셜 미디어 환경에 기반을 둔 이 벤치마크는 다음을 포함합니다: (1) 개인화된 제품 제시에서 착안하여, 주어진 객체를 사용자의 선호도와 라이프스타일을 반영하는 장면에 배치하는 개인화 장면 생성(Personalized Scene Generation); 그리고 (2) 소셜 미디어 콘텐츠 제작에서 착안하여, 사용자의 미적 감각과 시각적 정체성에 충실하면서 지정된 주제에 대한 새로운 이미지를 생성하는 개인화 창작 생성(Personalized Creative Generation). 나아가 우리는 차분 데이터 보상(differential data reward)으로 최적화된 인터리브 방식의 추론-반추(reason-reflect) 루프 내에서 멀티모달 추론기와 동결된(frozen) 이미지 생성기를 결합한 PEARL을 제안합니다. 두 태스크 전반에서 PEARL은 강력한 베이스라인들을 능가하며 개인화 지표 전반에서 평균 15%의 향상을 달성했습니다.