PrismGPT: 자체 합성 추론을 활용한 영역 인식 사진 편집을 위한 대리 유도 학습
PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning
한국어 초록
전문적인 사진 보정은 의미론적 마스크(semantic mask)에 의해 유도되는 영역별 국소 편집과 전역적 조절 모두에 의존하지만, 현재의 자동화된 방식들은 이러한 워크플로를 부분적으로만 처리합니다. 본 논문에서는 상용 블랙박스 도구에 의존하지 않고 단일 입력 이미지로부터 구조화된 영역 인식 편집 계획을 생성하는 비전-언어 모델(VLM) 프레임워크인 PrismGPT를 제시합니다. 전역 및 국소 수준 모두에서 미적 결함을 동시에 진단하는 동시에 정밀한 편집 파라미터를 예측하도록 VLM을 학습시키는 것은 방대한 조합적 결정 공간으로 인해 어렵습니다. 우리는 대리 유도 학습(proxy-guided learning)을 통해 이를 해결합니다. 연산 분해 및 영역 인식 미적 순위 지정이라는 두 가지 더 단순한 대리 태스크가 모델에 필요한 기초 기술을 가르치며, 역량 기반 동적 스케줄러가 멀티태스크 학습 비율의 균형을 자동으로 재조정하여 각 기술을 습득함에 따라 대리 태스크에서 주 편집 태스크로 점진적으로 비중을 전환합니다. 결정적으로, 지도 미세조정에 사용되는 모든 추론 궤적은 동일한 기본 모델에 의해 자체 합성되어 더 강력한 외부 교사 모델의 필요성을 배제합니다. MIT-Adobe FiveK와 우리가 새로 도입한 전문적으로 리터칭된 벤치마크인 SPIRE에 대한 실험은 PrismGPT가 이전 최고 방식 대비 약 6%의 학습 데이터만을 사용하면서도 최고 수준(state-of-the-art)의 결과를 달성함을 보여줍니다.
원문 초록
Professional photo finishing relies on both global adjustments and region-specific local edits guided by semantic masks, yet current automated methods handle this workflow only partially. We present PrismGPT, a Vision-Language Model (VLM) framework that produces structured, region-aware editing plans from a single input image without relying on commercial black-box tools. Training a VLM to simultaneously diagnose aesthetic deficiencies at both global and local levels while predicting precise editing parameters is challenging due to the vast combinatorial decision space. We address this through proxy-guided learning: two simpler proxy tasks -- operation decomposition and region-aware aesthetic ranking -- teach the foundational skills the model needs, while a competence-based dynamic scheduler automatically rebalances the multi-task training ratio, progressively shifting emphasis from the proxy tasks to the primary editing task as each skill is mastered. Crucially, all reasoning traces used for supervised fine-tuning are self-synthesized by the same base model, eliminating the need for a stronger external teacher. Experiments on MIT-Adobe FiveK and SPIRE, a new professionally retouched benchmark we introduce, show that PrismGPT achieves state-of-the-art results while using only ~6% of the training data compared to the previous best method.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24768v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가
VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations
기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.
VoxelSynth3D: 쌍을 이룬 합성 CLINIC-Metal 벤치마크를 활용한 해석 가능한 3차원 영상 도메인 금속 아티팩트 저감 기법
VoxelSynth3D: Interpretable Volumetric Image-Domain Metal Artifact Reduction with a Paired Synthetic CLINIC-Metal Benchmark
수술 후 근골격계 CT에서 발생하는 금속 아티팩트는 뼈-임플란트 및 인접한 연조직 경계면을 가립니다. 많은 금속 아티팩트 저감(MAR) 방식은 획득하기 어려운 원시 투영 데이터(raw projection)를 필요로 하거나, 스캐너 및 임플란트 종류에 따라 성능 변화(shift)가 발생할 수 있는 학습(training) 기반 모델을 사용합니다. 본 논문에서는 재구성된 CT를 위한 학습 불필요(training-free) 3차원 영상 도메인 프레임워크인 VoxelSynth3D를 제시합니다. 이 프레임워크는 지지 마스킹(support masking), 정규화된 조직 합성, 편차 게이팅(deviation gating), 제한적 에지 정제를 결합합니다. 탐지된 임플란트 복셀(voxel)은 출력에서 그대로 보존되는 반면, 보정은 주변 조직의 금속 유발 아티팩트를 대상으로 수행됩니다. 또한 우리는 깨끗한 타깃, 금속/아티팩트 마스크, 고정된 시드, 환자 수준의 분할을 갖춘 금속 없는 CTPelvic1K 볼륨으로부터 통제된 쌍을 이룬 합성 평가 리소스인 Synthetic CLINIC-Metal을 구축하였으며, 75개의 쌍을 이루지 않은 실제 금속 케이스는 정성적/무참조(no-reference) 평가만 거칩니다. 동작 지점은 거의 평탄한 검증(validation) 영역 내에서 고정되었습니다. 정확한 마스크 오라클 위치 지정을 통해 모든 방법은 금속이 제외된 조직 ROI를 공유합니다. 40개의 홀드아웃(held-out) 케이스에서 VoxelSynth3D는 RMSE를 801.48 HU에서 786.18 HU로 감소시켰으며(쌍체 이득 15.30 HU, 95% CI 11.68-19.23), 모든 케이스에서 성능을 개선하여 평가된 3D 가우시안 평활기보다 13.58 HU 더 뛰어난 성능을 보였습니다. 깨끗한 에지 일치도는 금속 바로 인접부에서는 감소했으나 5 mm를 벗어난 영역에서는 입력을 상회했습니다. 따라서 VoxelSynth3D는 국소적 구조적 트레이드오프를 수반하면서도 케이스 전반에 걸쳐 일관된 분포 내 조직 오차 감소를 제공합니다. 간격 인지 민감도 분석은 종합적인 광역 개선을 유지하면서 금속 근접 캘리브레이션을 개선 목표로 식별했습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
PickMoment: 디블러링 및 블러-투-비디오 학습을 통한 연속 시간 단일 이미지 기반 비디오 생성
PickMoment: Continuous-Time Single-Image-to-Video via Learning Deblurring and Blur-to-Video
모션 블러(motion blur)는 유한한 노출 구간 동안 연속적인 선명한 신호가 시간적으로 적분되어 발생하지만, 기존의 학습 기반 방법들은 이러한 물리적 모델을 우회하여 선명한 신호 자체만을 예측합니다. 대부분의 단일 이미지 디블러링(deblurring) 방법은 노출 중심에서의 단일 프레임을 복원하는 반면, 블러-투-비디오(blur-to-video) 방법은 고정된 프레임 세트를 예측합니다. 본 논문에서는 단일 결정론적 모델을 통해 노출 시간의 임의의 하위 구간에 대한 구간 평균 블러를 직접 학습하는 연속 시간 재정식화인 PickMoment를 소개합니다. MeanFlow의 평균 속도 정식화와 유사하게, 블러 적분에서 파생된 세 가지 감독(supervision)을 사용하여 모델을 학습합니다. 이는 사용 가능한 하위 프레임으로부터의 경험적 재구성 손실, 겹치는 하위 구간 전반에서 자기 일관성을 강화하는 가산성 손실, 그리고 0 구간 극한에 고정된 선명 프레임 손실입니다. 단 한 번 학습된 모델로 각 태스크에 대한 별도의 학습 없이 동일한 네트워크에 대한 서로 다른 쿼리로서 단일 이미지 디블러링, 블러-투-비디오 생성, 연속 시간 특정 순간 선택(pick-a-moment) 복원을 통합합니다. PickMoment는 반복적 샘플링 없이 단 한 번의 순전파만으로 GoPro 및 HIDE 데이터셋에서 생성 기반 디블러링 방법 중 최고 수준(SOTA)의 성능을 달성하는 동시에 RealBlur에서는 복원 기반 방법과 대등한 경쟁력을 보였으며, GoPro-7 블러-투-비디오에서는 프레임당 최고 충실도를 기록했습니다.
ODDR: 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델
ODDR: One-Step Deshadow Diffusion via Reward Guidance
그림자 제거를 위한 심층 학습(deep learning)의 최근 발전은 이미지 품질과 사실성을 크게 향상시켰습니다. 그러나 대부분의 접근 방식은 수집 비용이 많이 들고 장면 다양성이 제한적인 경우가 많은 실제 쌍(paired) 데이터셋에 의존하므로 일반화 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 실제 쌍으로 구성된 지도학습(supervision)에 의존하지 않고도 효율적이고 충실도 높은 그림자 제거를 달성하는 새로운 프레임워크인 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델(One-step Deshadow Diffusion via Reward guidance, ODDR)을 제안합니다. 본 연구의 방법은 효율적인 단일 단계 무그림자 재구성을 위해 합성 그림자 데이터로 학습된 기준선(baseline) 모델인 One-step Deshadow Diffusion(ODD)에서 시작합니다. 나아가 우리는 ShadowReward를 사용하여 ODD를 ODDR로 발전시킵니다. 주석(annotation) 작업이 많이 필요한 기존 방식과 달리, ShadowReward는 인간의 주석 없이 전적으로 학습된 그림자 제거용 최초의 보상 모델(reward model)입니다. 이는 질감 왜곡 및 경계 아티팩트와 같이 통제된 품질 저하가 적용된 합성 생성 이미지를 순위화하여 인간의 지각적 판단을 모방하도록 학습합니다. 이러한 보상 기반 미세조정(fine-tuning)을 통해 ODDR은 합성-실제 간 도메인 간극을 좁힐 수 있습니다. 광범위한 실험을 통해 ODD는 실제 쌍 지도학습에 의존하지 않고도 강력한 성능을 달성하며, ODDR은 결과를 더욱 향상시켜 단일 단계 모델로서 더 높은 연산 효율성을 유지하면서도 실제 쌍 데이터로 학습된 완전 지도학습 방식과의 격차를 좁힘을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.