arXiv:2610.00582v1 cs.CV

이산적 주석, 연속적 선호: 정확하고 일반화 가능한 미적 이미지 크롭을 위한 지도 방식의 재고

Discrete Annotation, Continuous Preference: Rethinking Supervision for Accurate and Generalizable Aesthetic Image Cropping

Ziqing Zhang, Xiao Liu, Kai Liu, Jianze Li, Weihang Zhang, Linghe Kong, Yulun Zhang

제출 2026-09-30

저자 비고

arXiv Comments

Code, model, and data are available at https://github.com/zzqingz/CPIC

한국어 초록

미적 이미지 크롭(Aesthetic image cropping)은 미학과 구도 측면에서 이미지의 최적 크롭 영역을 식별하는 것을 목표로 합니다. 주석이 달린 데이터 기반의 지도(supervision) 방식이 기본적이지만, 기존 데이터셋이 (1) 인간의 주관성과 (2) 고정된 샘플링 그리드에 국한된 엄격한 이산성(rigidity discreteness)을 겪는다는 오랜 문제로 인해 해당 분야의 발전이 저해되어 왔습니다. 이러한 결함이 있는 주석은 학습된 모델의 정확도와 일반화 성능을 제한할 뿐만 아니라 공정한 평가를 심각하게 왜곡합니다. 이를 극복하기 위해, 본 연구에서는 크롭 공간 전반에 걸쳐 인간의 크롭 선호를 다중 피크를 가지며 연속적이고 뚜렷한(sharp) 필드로 모델링할 것을 제안합니다. 우리는 (1) 피크 클러스터링, (2) 오프-래티스(off-lattice) 정밀화, (3) 네거티브 셰이핑, (4) 필드 조립을 통해 이산적 주석으로부터 조밀한 선호 지형을 복원하는 연속 선호 필드(CPF, Continuous Preference Field)를 도입합니다. 이를 기반으로, CPF 보상을 활용하여 GRPO로 최적화된 VLM 기반 크롭 모델인 CPIC를 학습시켰으며, 이는 템플릿 붕괴를 극복하고 최고 수준의 성능과 뛰어난 도메인 외(out-of-domain) 일반화를 달성합니다. 마지막으로, 오랜 벤치마크 평가 위기를 해결하기 위해 기존 정답(ground-truth) 박스를 포괄적으로 재보정하는 CPICD를 도입합니다. 주류 벤치마크 전반에서 그리드에 종속된 아티팩트를 보정하기 위해 CPF를 활용함으로써, CPICD는 향후 크롭 연구를 위한 엄격하고 신뢰할 수 있는 기반을 구축합니다. 광범위한 실험과 사용자 연구는 우리가 제안한 CPF, CPIC, CPICD의 우수성을 입증합니다. 코드, 모델, 데이터는 https://github.com/zzqingz/CPIC 에서 확인할 수 있습니다.

원문 초록

Aesthetic image cropping aims to identify the optimal crop of an image in terms of aesthetics and composition. While supervision based on annotated data is fundamental, the field has been hindered by a long-standing problem: existing datasets suffer from (1) human subjectivity and (2) rigid discreteness confined to fixed sampling grids. These flawed annotations not only limit the accuracy and generalization of trained models but also severely distort fair evaluation. To overcome this, we propose to model human cropping preference as a multi-peaked, continuous, and sharp field over the crop space. We introduce the Continuous Preference Field (CPF), which recovers a dense preference landscape from discrete annotations through (1) peak clustering, (2) off-lattice refinement, (3) negative shaping, and (4) field assembly. Based on this, we train CPIC, a VLM-based cropping model optimized via GRPO with the CPF reward, which overcomes template collapse, achieving state-of-the-art performance and exceptional out-of-domain generalization. Finally, to resolve the long-standing benchmark evaluation crisis, we introduce CPICD, a comprehensive recalibration of existing ground-truth boxes. By leveraging the CPF to correct grid-bound artifacts across mainstream benchmarks, CPICD establishes a rigorous and reliable foundation for future cropping research. Extensive experiments and user studies demonstrate the superiority of our CPF, CPIC, and CPICD. Code, model, and data are available at https://github.com/zzqingz/CPIC.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00582v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.14868v3cs.LG공통 태그 reinforcement learning rl, grpo

골디락스 RL: 추론을 위한 희소 보상 탈출을 위한 작업 난이도 조율

Goldilocks RL: Tuning Task Difficulty to Escape Sparse Rewards for Reasoning

강화학습(RL)은 언어 모델에서 추론 능력을 이끌어내기 위한 강력한 패러다임으로 부상했습니다. 그러나 희소 보상(sparse reward)에 의존하는 방식은 모델이 최소한의 피드백만으로 방대한 탐색 공간을 탐색해야 하므로 표본 효율성(sample efficiency)을 크게 떨어뜨립니다. 고전적인 커리큘럼 학습(curriculum learning)은 복잡도를 기준으로 데이터를 정렬하여 이를 완화하고자 하지만, 기존 연구들은 주로 소규모 데이터셋을 대상으로 하여 현대 언어 모델 학습에 일반적인 대규모 설정으로 직접 전이되지 않습니다. 또한, 특정 모델에 적합한 데이터 순서를 파악하기 어려운 경우가 많습니다. 이를 해결하기 위해, 각 후보 문제에 대한 모델의 롤아웃 전반에 걸친 보상의 표준편차를 예측하는 선택기(Selector) 네트워크를 활용하는 적응형 데이터 선택 전략인 골디락스(Goldilocks)를 제안합니다. 이 선택기는 GRPO로 모델을 학습시키는 동안 모델의 현재 능력에 비해 너무 쉽지도 너무 어렵지도 않은 문제(골디락스 원리)에 해당하는, 예측된 보상 변동성이 높은 문제를 우선시합니다. 이미 본 샘플에 대한 모델의 성능을 활용함으로써 선택기는 모델의 진화하는 능력에 지속적으로 적응합니다. OpenMathReasoning 및 Polaris 데이터셋 전반에서 골디락스는 표준 GRPO 대비 일관된 성능 향상을 보였으며, 해당 GRPO 성능에 도달하는 데 최대 78% 적은 최적화 단계를 필요로 했습니다.

arXiv:2607.01763v2cs.LG공통 태그 reinforcement learning rl, grpo

더 조밀하다고 더 나은 것은 아니다: 지속적 사후 학습을 위한 온-정책 자기 증류의 한계

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

지속적 사후 학습(continual post-training)은 파운데이션 모델이 기존 능력을 보존하면서 새로운 지식을 습득할 수 있도록 합니다. 최근 연구에서는 온-정책(on-policy) 학습이 망각을 완화할 수 있음을 시사하며, 특히 자기 증류(self-distillation)를 매력적인 접근 방식으로 제시합니다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적인 주장을 재검토합니다. 실험 결과에 따르면 SDPO는 교사(teacher) 신호가 안정적이고 잘 정렬되어 있을 때 도메인 내 특화(in-domain specialization)를 가속하지만, 분포 외(out-of-distribution) 일반화에는 어려움을 겪습니다. 지속적 사후 학습에서 SDPO는 더 심한 망각을 보이며 심지어 붕괴(collapse)에 이를 수도 있는 반면, 더 확립된 온-정책 강화학습(RL) 방법인 GRPO는 더 보수적으로 적응하며 이전 능력을 더 잘 보존합니다. 추가 분석을 통해 이러한 실패 원인이 매개변수(parameter) 및 응답 공간에서의 드리프트 증가와, 자기 강화 교사-학생 루프를 통한 고주파 아티팩트(high-frequency artifacts)의 증폭과 연관되어 있음을 밝힙니다. 따라서 온-정책 데이터만으로는 지속적 학습(continual learning)에 불충분합니다. 자기 증류는 교사 타깃이 안정적이고 토큰(token) 수준의 감독이 신뢰할 수 있을 때는 효과적이지만, 지속적 사후 학습을 위한 기본적인 안정화 장치로 간주되어서는 안 됩니다. 코드는 https://github.com/Moenupa/SDPO-CL 에서 확인할 수 있습니다.

arXiv:2610.01548v2cs.LG공통 태그 reinforcement learning rl, grpo

Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화

Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.

arXiv:2610.01458v2cs.AI공통 태그 reinforcement learning rl, grpo

사후 집중 관점에서 본 확률 기반 강화학습의 재고

Rethinking Probability-Based Reinforcement Learning From Posterior Concentration

확률 기반 보상을 활용한 검증기 없는(verifier-free) 강화학습(RL)은 외부 검증기를 사용할 수 없는 일반 추론 태스크에서 대규모 언어 모델(LLM)을 학습(training)하기 위한 유망한 방식을 제공합니다. 그러나 특히 긴 호흡의 추론(long-horizon reasoning)에서 이러한 보상의 신뢰성은 아직 충분히 연구되지 않았습니다. 본 연구는 확률 보상에서 길이에 의존하여 발생하는 실패 모드를 규명하고, 이를 사후 집중 현상(Posterior Concentration Phenomenon, PCP)이라 명명합니다. 우리는 추론 과정(reasoning trace)이 길어짐에 따라 추론 과정을 조건부로 하는 참조 답변의 확률이 분산이 낮은 구간으로 축소되는 경우가 빈번함을 보입니다. 이 현상은 거의 구별할 수 없는 보상으로 이어져, GRPO 기반 설정에서 확률 기반 정책 최적화(policy optimization)를 불안정하고 비효율적으로 만듭니다. 이에 착안하여, 우리는 더 나은 최적화 안정성과 토큰(token) 효율성을 위해 PCP를 명시적으로 고려하는 검증기 없는 강화학습 프레임워크인 집중 인식 사후 보상 기반 강화학습(Reinforcement Learning with Concentration-aware Posterior Rewards, RLCPR)을 제안합니다. 이 프레임워크는 두 가지 구성 요소를 가집니다. 첫째는 생성 전에 집중이 발생하기 쉬운 롤아웃을 줄이는 불확실성 인식 데이터 샘플링이며, 둘째는 사후 보상이 붕괴될 때 불필요하게 긴 추론 과정에 페널티를 부여하는 집중 인식 정규화(regularization)입니다. 광범위한 실험 결과, RLCPR은 더 높은 토큰 효율성과 더불어 일반 영역 및 수학적 추론 과제를 포함한 7개 벤치마크(benchmark) 중 6개에서 기존 최고 수준의 검증기 없는 강화학습 기준선(baseline) 대비 최대 4.0% 우수한 성능을 보였습니다.

arXiv:2610.02824v1cs.AI공통 태그 reinforcement learning rl, grpo

MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습

MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning

루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.

arXiv:2601.23135v2cs.LG공통 태그 reinforcement learning rl, grpo

GRPO에 정규화가 필요한 이유: 적응형 그래디언트에 대한 국소 곡률 관점

Why GRPO Needs Normalization: A Local-Curvature Perspective on Adaptive Gradients

강화학습(RL)은 언어 모델 추론의 핵심 동력이 되었습니다. 여러 RL 알고리즘 중 그룹 상대 정책 최적화(GRPO)는 프롬프트별 베이스라인과 분산 정규화를 사용하여 크리틱(critic)의 필요성을 없앰으로써 사실상의 표준으로 자리 잡았습니다. 그러나 이러한 정규화가 왜, 그리고 언제 도움이 되는지는 여전히 불분명합니다. 본 연구에서는 시퀀스 수준 정책 그래디언트의 국소 곡률(local curvature) 관점을 통해 두 질문에 모두 답하며, 표준편차 정규화가 적응형 그래디언트(adaptive gradient)를 구현함을 보입니다. 이론적으로, 완만한 조건 하에서 GRPO가 정규화되지 않은 REINFORCE 대비 향상된 수렴 속도를 달성함을 증명하며, 이때의 이득은 프롬프트 및 반복 전반에 걸친 평균 프롬프트 내 보상 표준편차로 특징지어집니다. 나아가 기대 업데이트가 전체 그래디언트와 일치하도록 유지되는 GRPO의 중요도 샘플링(importance sampling) 변형인 IS-GRPO를 도입하고, REINFORCE와 동일한 형태의 수렴 보장을 증명합니다. 이는 실제 학습 과정에서 측정 가능한 배수만큼 실제로 더 긴밀(tight)합니다. 실증적으로는 GSM8K 및 MATH에서 곡률과 분산 간의 연결고리를 검증하고, 실제 학습 과정에서 이론적 한계를 결정짓는 값들을 측정합니다. 1.5B 규모에서는 프롬프트별 정규화가 정규화되지 않은 베이스라인과 전역적으로 정규화된 베이스라인 모두를 능가하며, 이러한 이득은 프롬프트별 분산이 이질적으로 변하는 학습 중간 단계에서 나타납니다. 7B 규모에서는 정규화 방식 간의 통계적 차이가 사라지지만 IS-GRPO가 소폭의 우위를 유지하며, 이는 이득을 얻기 위해 이질성이 필요하다는 이론적 예측과 일치합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.