PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.40030v2cs.LG

펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정

Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models

사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.

arXiv:2607.21606v1cs.AI

TILT: 모델 내재 보상으로 확산 모델의 구성적 생성 개선

TILT: Improving Compositional Generation in Diffusion Models with a Model-Intrinsic Reward

강력한 텍스트-이미지 생성 모델의 최근 발전으로, 복잡한 구성적 프롬프트에 더 충실한 이미지를 생성하기 위해 샘플링 궤적을 수정하는 테스트 타임(test-time) 방법을 개발하는 것이 점점 더 중요해졌다. 우리는 테스트 타임 보상 정렬(reward alignment)을 통해 구성적 텍스트-이미지 생성을 수행하는 학습 없는(training-free) 프레임워크인 TILT를 제안한다. 우리는 구성적 실패를 결합 분포와 단일 개념 분포 간의 겹치는 모드로 해석하고, 모든 개념이 공동으로 존재하는 샘플을 선호하는 보상을 정의한다. 이 보상은 기본 모델에 내재되어 있으며 외부 감독이나 보상 모델을 필요로 하지 않는다. 이는 확산 샘플링을 위한 원칙적인 가이딩 단계와 닫힌 형태(closed-form)의 기울어진(tilted) 목표 분포를 갖는 KL 제약 목적함수를 산출한다. 개념 분포의 상호작용과 위 보상은 자연스럽게 두 가지 서로 다른 가이딩 전략으로 이어지며, 각각의 이점을 균형 있게 조절하는 하이브리드 접근법이 더 강한 성능을 낸다. T2ICompBench 프롬프트에 대한 실험에서, 우리 방법은 이전 베이스라인과 비교하여 이미지 품질을 유지하면서 구성적 정렬(alignment)을 개선함을 보여준다.

arXiv:2506.12529v2cs.LG

유사도 기반 보상 정렬: 견고하고 다용도인 선호도 기반 강화학습

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

선호도 기반 강화학습(PbRL)은 보상 설계의 부담을 줄이기 위해 모델을 인간 의도에 정렬하는 다양한 접근법을 포괄한다. 그러나 기존 PbRL 연구 대부분은 비전문가이거나 시간 제약 하에 작업하는 라벨러에게서 불가피하게 발생하는 라벨러 오류에 대한 견고성을 다루지 않았다. 본 논문은 노이즈가 있는 라벨에 강인하면서도 다양한 피드백 형식에 적응 가능한 단순한 대조(contrastive) 프레임워크인 Similarity as Reward Alignment(SARA)를 제안한다. SARA는 선호되는 샘플의 잠재(latent) 표현을 학습하고, 학습된 잠재 표현과의 유사도를 보상으로 계산한다. 다양한 현실적인 노이즈 비율을 갖는 선호도 데이터에서, 연속 제어 오프라인 RL 벤치마크에서 경쟁력 있고 더 안정적인 성능을 보이며, 기준선(baseline) 대비 통계적으로 유의미한 개선(Wilcoxon signed-rank, p < 0.01)을 입증한다. 또한 근본적인 선호 기준에 대한 정렬을 측정하기 위한 대리 지표로 환경 보상과의 상관관계를 계산한다. SARA가 계산한 보상이 노이즈 비율 전반에 걸쳐 기준선 대비 더 높은 상관관계를 보임을 보인다.

arXiv:2607.02915v1cs.LG

Bootstrap Flow-Map-Tree 샘플링을 통한 온라인 피드백 기반 탐색

Bootstrap Flow-Map Tree Sampling Enables Online Feedback Driven Search

많은 과학 및 공학 분야에서 제한된 샘플링 예산 내에서 발견을 극대화하려면 관찰에 기반한 전략적 탐험이 필요하다. 생성 모델이 학습 없는 보상 정렬을 가능하게 했지만, 현재 방법들은 주로 기반 분포의 좁은 영역 내에서의 지역 탐색에 특화되어 있다. 이러한 접근 방식은 선호도가 사전에 알려지지 않고 순차적 피드백을 통해서만 드러나는 경우—즉, 고유용 영역을 발굴하기 위해 광범위한 탐험이 요구되는 시나리오—에서는 어려움을 겪는다. 이를 해결하기 위해 우리는 샘플링 예산 제약 하에서 이력 인식 전역 탐색과 정렬을 위해 설계된 새로운 계산 효율적 샘플링 프레임워크인 Bootstrap Flow-Map-Tree(이하 BFMT)를 제안한다. BFMT는 단일 함수 평가만으로 임의의 트리 깊이에서 전체 트리 경로를 구성할 수 있어 계산 오버헤드를 대폭 줄이면서 순차적 샘플링에 필요한 핵심 예측 능력을 제공한다. 동적 전이 시간 단계 스케줄링을 통해 BFMT는 샘플링 예산을 효율적으로 배분하며, 광범위한 전역 탐험에서 탐험을 통해 발견된 고유용 모드의 세밀한 지역적 정제로 원활하게 전환한다. 다양한 탐색 및 정렬 태스크에 걸친 광범위한 실험과 어블레이션을 통해 BFMT가 기준선 방법들을 크게 능가함을 입증한다.

arXiv:2607.01144v1cs.LG

Sequentially-Controlled Interactive Multi-Particle Flow-Maps for Online Feedback-Driven Search

생성 모델의 훈련 없는 보상 정렬(reward alignment)에서 사전에 알 수 없는 선호도를 순차적 피드백으로만 파악해야 하는 광역 탐색 문제를 해결하기 위해, 본 연구는 플로우 맵(flow map) 기반의 집단 사후 샘플 공유 메커니즘과 인력·척력 이중 탐색 동역학을 결합한 IMPFM(Sequentially-Controlled Interactive Multi-Particle Flow-Maps) 프레임워크를 제안한다. IMPFM은 다중 파티클 상호작용 기반의 Feynman-Kac 보정기를 통해 가중치 퇴화(weight degeneracy)와 모드 붕괴(mode collapse)를 억제하면서 KL-tilted 목표 분포로 파티클 시스템을 유도함을 이론적으로 증명하고, 다양한 탐색 및 정렬 태스크에서 기존 베이스라인 대비 우수한 성능을 실증적으로 확인하였다.

arXiv:2606.30376v1cs.LG

FlowAWR: 어드밴티지 가중 보정을 통한 온라인 적응형 플로우 강화학습

FlowAWR: Online Adaptive Flow Reinforcement via Advantage-Weighted Rectification

KL 제약 보상 최대화의 최적 정책에서 출발해 이론적으로 최적인 속도 필드를 유도하는 FlowAWR은, SDE 샘플러와 CFG 없이 연속 생성 플로우 모델의 온라인 강화학습 정렬을 어드밴티지 가중 보정(advantage-weighted rectification) 형태의 지도 회귀로 재정의한다. SD3.5-Medium 평가에서 FlowAWR은 1,200스텝에 PickScore 24.12를 달성하며 DiffusionNFT(2,000스텝, 23.82) 및 FlowGRPO(4,000스텝 이상, 23.50) 대비 2~5배 빠른 수렴과 향상된 정렬 성능을 보였다.

arXiv:2601.14430v2stat.ML

Meta Flow Maps는 확장 가능한 보상 정렬을 가능하게 합니다

Meta Flow Maps enable scalable reward alignment

생성 모델의 제어는 계산 비용이 매우 큽니다. 이는 보상 함수와의 최적 정렬이—추론 시간 스티어링이든 미세조정이든 상관없이—가치 함수 추정을 요구하기 때문입니다. 이 작업은 중간 상태 $x_t$와 일관된 깨끗한 데이터 $x_1$의 분포인 조건부 사후 확률 $p_{1|t}(x_1|x_t)$에 대한 접근을 필요로 하며, 이는 일반적으로 기존 방법들이 비용이 많이 드는 궤적 시뮬레이션에 의존하게 만드는 요구 사항입니다. 이러한 병목 현상을 해결하기 위해, 본 연구에서는 일관성 모델과 플로우 맵을 확률적 체제로 확장한 프레임워크인 Meta Flow Maps(MFMs)를 제안합니다. MFMs는 확률적 1단계 사후 샘플링을 수행하도록 학습되며, 이를 통해 임의의 중간 상태에서 깨끗한 데이터 $x_1$의 임의의 개수만큼 독립 동일 분포(i.i.d.) 샘플을 생성할 수 있습니다. 중요하게도, 이러한 샘플들은 효율적인 가치 함수 추정을 가능하게 하는 미분 가능한 재매개변화를 제공합니다. 우리는 이러한 기능을 활용하여 두 가지 패러다임의 병목 현상을 해결합니다. 즉, 내부 롤아웃 없이 추론 시간 스티어링을 가능하게 하고, 일반적인 보상에 대한 무편향한 오프-정책 미세조정을 용이하게 합니다. 실험 결과, 우리의 단일 입자 스티어링-MFM 샘플러는 ImageNet에서 다양한 보상에 대해 Best-of-1000 기준선보다 적은 연산량으로 더 우수한 성능을 보였습니다.

arXiv:2606.18066v1cs.LG

NoiseTilt: 확산 보상 정렬을 위한 노이즈 틸트 역커널

NoiseTilt: Noise-Tilted Reverse Kernels for Diffusion Reward Alignment

우리는 Noise-Tilted Reverse Kernel(NTRK)을 제안한다. 이는 보상 그래디언트를 노이즈 항을 통해 주입하는 보상 유도 확산 샘플러로, 사전학습된 역커널은 그대로 두고 각 스텝마다 단일 샘플만 필요로 한다. 추론 시점의 보상 유도 샘플링은 사전학습된 확산 모델의 활용 범위를 크게 넓혔다. 그러나 기존 방법들은 트레이드오프에 직면한다. 그래디언트 기반 가이던스는 역방향 평균을 이동시켜 생성을 유도하지만, 중간 상태를 모델이 학습한 영역 밖으로 밀어내 품질을 저하시킨다. 검색 기반 방법은 품질을 유지하지만 그래디언트 신호를 얻지 못한다. 이전까지 어떤 방법도 둘 다 달성하지 못했다. NTRK는 역방향 평균을 고정한 채 노이즈 항을 높은 보상 방향으로 치우치게 함으로써 이를 해결한다. 우리는 NTRK의 핵심 메커니즘인 화이트닝 연산자(whitening operator)를 도입한다. 이는 보상 그래디언트를 노이즈로 안전하게 주입하면서도 유도 신호를 잃지 않게 한다. 다양한 보상 정렬 작업에서 NTRK는 샘플 품질을 잃지 않으면서 최근 최신 기준선들을 능가한다. 주목할 점은, 미적 생성에서 NTRK가 500 NFE에서 최고 기준선의 보상을 능가하는 것을 25 NFE만으로 달성한다는 것이다. 이는 연산량을 20$\times$ 줄인 결과다.