PrismGPT: 자체 합성 추론을 활용한 영역 인식 사진 편집을 위한 대리 유도 학습
PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning
전문적인 사진 보정은 의미론적 마스크(semantic mask)에 의해 유도되는 영역별 국소 편집과 전역적 조절 모두에 의존하지만, 현재의 자동화된 방식들은 이러한 워크플로를 부분적으로만 처리합니다. 본 논문에서는 상용 블랙박스 도구에 의존하지 않고 단일 입력 이미지로부터 구조화된 영역 인식 편집 계획을 생성하는 비전-언어 모델(VLM) 프레임워크인 PrismGPT를 제시합니다. 전역 및 국소 수준 모두에서 미적 결함을 동시에 진단하는 동시에 정밀한 편집 파라미터를 예측하도록 VLM을 학습시키는 것은 방대한 조합적 결정 공간으로 인해 어렵습니다. 우리는 대리 유도 학습(proxy-guided learning)을 통해 이를 해결합니다. 연산 분해 및 영역 인식 미적 순위 지정이라는 두 가지 더 단순한 대리 태스크가 모델에 필요한 기초 기술을 가르치며, 역량 기반 동적 스케줄러가 멀티태스크 학습 비율의 균형을 자동으로 재조정하여 각 기술을 습득함에 따라 대리 태스크에서 주 편집 태스크로 점진적으로 비중을 전환합니다. 결정적으로, 지도 미세조정에 사용되는 모든 추론 궤적은 동일한 기본 모델에 의해 자체 합성되어 더 강력한 외부 교사 모델의 필요성을 배제합니다. MIT-Adobe FiveK와 우리가 새로 도입한 전문적으로 리터칭된 벤치마크인 SPIRE에 대한 실험은 PrismGPT가 이전 최고 방식 대비 약 6%의 학습 데이터만을 사용하면서도 최고 수준(state-of-the-art)의 결과를 달성함을 보여줍니다.