OuroReward: 텍스트-to-3D 생성을 위한 강화학습에서의 순차적 보상 스케줄링
OuroReward: Sequential Reward Scheduling for Reinforcement Learning in Text-to-3D Generation
텍스트-to-3D(T23D) 생성을 위한 강화학습(RL)은 의미론적 정렬(semantic alignment) 및 텍스처 선명도와 같은 여러 품질 차원에 걸친 최적화(optimization)를 필요로 합니다. 기존 방식들은 차원 간 의존성을 명시적으로 모델링하지 않은 채, 다중 보상 집계를 통해 이러한 차원들을 동시에 최적화하는 것이 일반적입니다. 이는 불균형한 최적화와 상충하는 차원 간의 지속적인 간섭을 초래할 수 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 T23D RL을 위한 간섭 인식 순차적 보상 스케줄링 전략인 OuroReward를 제안합니다. OuroReward는 먼저 차원 간의 쌍별(pairwise) 의존성을 추정한 뒤, 누적 간섭을 최소화하는 순환 최적화 경로를 구축합니다. 꼬리에서 머리로 이어지는(tail-to-head) 의존성을 통합함으로써, 이 순환 경로는 전체 스케줄에 걸친 전역적 호환성을 포착합니다. 그런 다음 OuroReward는 해당 순환 경로를 1회 통과(one-pass) 시퀀스로 변환하고, 총 간섭이 가장 낮은 차원부터 최적화를 시작합니다. 각 차원별 보상에 고정된 최적화 예산을 할당하는 대신, 현재 보상의 남은 최적화 여력에 따라 다음 보상으로 진행할 시점을 적응적으로 결정하며 학습(training)을 진행합니다. 나아가 모델의 현재 역량에 부합하는 신뢰할 수 있고 유익한 프롬프트를 식별하는 적응형 프롬프트 선택 전략인 AdaSelect를 도입합니다. 정책(policy) 업데이트를 이러한 프롬프트에 집중시킴으로써, AdaSelect는 학습 안정성을 효과적으로 향상시킵니다. 다양한 T23D 모델과 RL 알고리즘에 걸친 광범위한 실험을 통해 제안한 프레임워크가 여러 차원에 걸쳐 생성 품질을 일관되게 향상시킴을 입증합니다.