PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.12893v2cs.CV

텍스트-이미지 모델의 강화학습 사후 학습을 위한 유한 차분 플로우 최적화

Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models

강화학습(RL)은 디퓨전 기반 이미지 합성 모델의 사후 학습을 위한 표준 기법으로 자리잡았으며, 보상 신호로부터 학습하여 이미지 품질 및 프롬프트 정렬과 같은 바람직한 속성을 명시적으로 개선할 수 있다. 본 논문에서는 쌍을 이루는 궤적을 샘플링하고 더 우수한 이미지 방향으로 플로우 속도를 당김으로써 모델 업데이트의 분산을 줄이는 온라인 강화학습 변형을 제안한다. 각 샘플링 단계를 별도의 정책 행동으로 취급하는 기존 방법과 달리, 우리는 전체 샘플링 과정을 단일 행동으로 간주한다. 보상으로 고품질 비전-언어 모델과 기성 품질 메트릭 모두를 활용하여 실험하고, 다양한 메트릭 집합을 사용하여 출력을 평가한다. 우리의 방법은 이전 접근법보다 더 빠르게 수렴하며 더 높은 출력 품질과 프롬프트 정렬을 달성한다.

arXiv:2606.30414v1cs.LG

보상 모멘트 매칭 증류를 활용한 확산 모델 미세조정

Diffusion Fine-tuning with Rewarded Moment Matching Distillation

확산 모델의 지식 증류와 강화학습 기반 보상 최적화를 동시에 수행하는 새로운 프레임워크인 RMMD(Rewarded Moment Matching Distillation)를 제안하며, 온-정책 샘플링 루프 적용과 증류 손실을 KL 정규화 프록시로 재활용해 고품질 생성을 유지한다. ImageNet FID-보상 파레토 프론트에서 DI++, DRaFT, HyperNoise 대비 우수한 성능을 보이며, 기상 예측 모델 GenCast에 적용 시 7.5배 속도 향상과 함께 대상 기상 변수의 93%에서 교사 모델을 능가하는 결과를 달성했다.

arXiv:2606.26947v1cs.CV

동적 보상 최적화를 통한 다중 참조 이미지 생성 스케일링

Scaling Multi-Reference Image Generation with Dynamic Reward Optimization

복잡한 다중 참조 이미지 생성(MRIG) 평가를 위해 다양한 참조 유형 조합과 다수 참조를 포함하는 벤치마크 OmniRef-Bench를 제안하고, 혼합 유형 참조가 늘수록 오픈소스 모델 성능이 급격히 저하됨을 확인한다. 이를 해결하기 위해 지도 미세조정 후 난이도 인식 이점 재가중(DAR)과 판별적 보상 스케일링(DRS)을 적용한 2단계 학습 프레임워크 DyRef를 도입했으며, OmniRef-Bench와 단일 이미지 편집 벤치마크에서 오픈소스 모델 성능을 크게 향상시켰다.

arXiv:2606.18961v1cs.LG

너 자신이 스승이 되라: 비지도 보상 최적화를 통한 단백질 언어 모델 제어

Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization

실측 레이블 없이 단백질 언어 모델(PLM)의 제어 가능한 생성을 위해, 내재적 모델 불확실성과 단백질 표현 모델 기반 외재적 의미 일관성을 결합한 작업 무관 보상과 이를 최대화하는 Soft Reward Optimization(SRO)·Binarized Reward Optimization(BRO) 오프라인 알고리즘을 제안한다. 구성적 분포 외(OOD) 프롬프트 실험에서 DPO·KTO를 크게 능가하며 오라클 성능에 근접하고, pass@k 평가에서도 기본 모델 대비 더 높은 커버리지를 달성한다.