PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21498v1cs.AI

GRPO 자기회귀 텍스트-이미지 사후 학습에서 성능과 다양성의 균형

Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training

자기회귀(autoregressive) 텍스트-이미지(T2I) 생성은 최근 빠르게 발전했지만, 생성된 이미지를 인간 선호에 정렬(alignment)하는 것은 여전히 어려운 과제로 남아 있다. GRPO 스타일의 온라인 강화학습은 효과적인 프레임워크를 제공하지만, 기존 방법들은 정책 최적화에 직접적인 영향을 미침에도 불구하고 일반적으로 참조 정책(reference policy) 발산(divergence)을 고정값으로 취급한다. 우리는 GRPO 스타일 자기회귀 T2I 정렬을 위해 순방향 KL, 역방향 KL, JS 발산(divergence)을 포괄하는 통합 f-발산(f-divergence) 프레임워크 내에서 이 간과된 요인을 연구한다. 체계적인 이론 분석을 통해 서로 다른 발산이 토큰 수준 업데이트를 각기 다른 방식으로 재형성함을 밝혔다. 특히 사용된 샘플링 토큰 셰이핑(sampled-token shaping) 형태 하에서, JS 정규화는 큰 이탈을 억제하면서도 참조 정책 대비 균일(uniform) 바이어스를 완화함으로써 유리한 절충을 이룬다. LlamaGen과 Janus-7B에 대한 광범위한 실험 결과, JS 발산은 유리한 생성 다양성을 유지하면서 대부분의 평가 지표에서 최고 또는 매우 경쟁력 있는 최적화 성능을 달성함을 보여준다. 코드는 https://github.com/tuoyou-hao/BPD-GRPO 에서 이용할 수 있다.

arXiv:2606.13626v1cs.SD

바흐 스타일 기호 음악의 생성 모델링: 자기회귀, 잠재 변수 및 적대적 접근법에 대한 비교 연구

Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches

바흐 스타일의 기호 음악 생성을 위해 자기회귀 LSTM, 잠재 변수 모델, 적대적 생성 네트워크(GAN)를 비교한 결과, 어텐션이 포함된 자기회귀 LSTM이 가장 음악적으로 일관된 샘플을 생성했다. 벡터 양자화는 순환 VAE의 후붕괴를 완화하여 구조화된 출력을 생성하는 데 도움을 준 반면, GAN은 학습이 어렵고 바흐 스타일로의 일반화가 덜 안정적인 것으로 나타났다.