Sequentially-Controlled Interactive Multi-Particle Flow-Maps for Online Feedback-Driven Search
원문 초록
While generative models have enabled training-free reward alignment, current methods typically excel in local exploration within narrow regions of the underlying distribution. These approaches struggle when preferences are unknown a priori and only revealed through sequential feedback-a scenario demanding broad exploration to uncover high-utility regions. To address this, we propose Sequentially-Controlled Interactive Multi-Particle Flow-Maps (IMPFM), a framework for sample-efficient online feedback-driven search. IMPFM progressively transports a group of interactive particles toward the target distribution, maintaining the broad coverage essential for heterogeneous preference alignment. IMPFM introduces a principled and efficient posterior sample sharing mechanism across particles powered by flow maps. By correcting individual particle drift with the collective posterior samples of the entire ensemble at each resampling step, the framework maximizes sample utility to enable global exploration while actively mitigating reward over-optimization, typical of standard control frameworks. Paired with a principled exploration-exploitation reweighting mechanism involving multi-particle interaction, this sequentially corrected multi-particle dynamics explicitly preserves structural diversity and overcomes the weight degeneracy inherent to standard SMC samplers. Crucially, we prove that the resulting sampling framework yields a multi-particle interaction-aware Feynman-Kac corrector that progressively steers the multi-particle system toward a KL-tilted target distribution, facilitating global exploration and preventing mode collapse. Extensive empirical evaluations and rigorous ablations across diverse search and alignment tasks confirm the efficacy of IMPFM over existing baselines.
요약
생성 모델의 훈련 없는 보상 정렬(reward alignment)에서 사전에 알 수 없는 선호도를 순차적 피드백으로만 파악해야 하는 광역 탐색 문제를 해결하기 위해, 본 연구는 플로우 맵(flow map) 기반의 집단 사후 샘플 공유 메커니즘과 인력·척력 이중 탐색 동역학을 결합한 IMPFM(Sequentially-Controlled Interactive Multi-Particle Flow-Maps) 프레임워크를 제안한다. IMPFM은 다중 파티클 상호작용 기반의 Feynman-Kac 보정기를 통해 가중치 퇴화(weight degeneracy)와 모드 붕괴(mode collapse)를 억제하면서 KL-tilted 목표 분포로 파티클 시스템을 유도함을 이론적으로 증명하고, 다양한 탐색 및 정렬 태스크에서 기존 베이스라인 대비 우수한 성능을 실증적으로 확인하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01144v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.
에너지 전환에서의 가치 창출을 위한 전략적 투자 의사결정: 강화학습 기반 접근법
Strategic Investment Decision Making for Value Creation in Energy Transition: A Reinforcement Learning Approach
기후 변화라는 전 지구적 과제는 2015년 파리 협정과 같은 국제적 합의에 따라 CO2 배출량을 감축하기 위한 중대한 조치들을 이끌어냈습니다. 너무 느리게 대응하면 향후 손실과 평판 훼손을 초래할 수 있는 반면, 너무 빠르게 움직이면 기술적 미성숙으로 인한 많은 재생에너지 프로젝트의 한계 수익성이나 잠재적 손실로 인해 주주 가치를 위협할 수 있습니다. 이러한 복잡한 전환 과정을 헤쳐나가기 위해 에너지 기업은 불확실성 속에서 의사결정의 유연성을 통해 가치 창출을 극대화하는 순차적 의사결정(SDM) 전략을 도입해야 합니다. 이를 지원하기 위해 본 연구에서는 2050년까지의 동적인 에너지 환경을 모델링하는 맞춤형 시뮬레이션 환경을 개발했습니다. 이를 기반으로 석유 및 가스, 재생에너지, CO2 감축의 세 가지 부문에 자금을 배분하기 위한 다양한 포트폴리오 관련 의사결정 전략을 탐색하는 다기준 SDM 프레임워크를 설계했습니다. 이는 생산량, 에너지 가격 및 비용의 불확실성을 고려하면서 전환 과정에서 가치를 극대화하는 것을 목표로 합니다. 이 프레임워크는 이익 극대화, CO2 사회적 비용 최소화, 재생에너지 부문에서의 경쟁 우위 확보라는 세 가지 목표를 가집니다. 본 연구는 정의된 SDM 프레임워크 내에서 최적의 투자 정책을 도출하기 위해 강화학습(RL)의 활용 가능성을 평가합니다. 에이전트의 순차적 의사결정은 석유 및 가스 생산량, 재생에너지 발전량, CO2 배출량, 수익과 같은 핵심 변수에 영향을 미침으로써 가상의 동적 환경을 형성합니다. 반복적인 상호작용을 통해 강화학습 알고리즘은 상태 공간을 탐색하고 불확실성 하에서 최적의 정책을 학습합니다. 본 연구는 강화학습 전략을 수동으로 정의된 일련의 기준선 정책들과 비교 평가하였으며, 적응성과 장기적 가치 창출 측면에서 일관되게 우수한 성능을 보임을 확인했습니다.
정규화의 입증 가능한 이점: 적대적 모방 학습을 위한 빠른 수렴률
Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning
우리는 적대적 모방 학습(adversarial imitation learning, AIL)을 연구한다. AIL에서 에이전트(agent)는 전문가(expert) 행동과 학습자(learner) 행동을 구별하는 적대적 보상(reward)에 대해 정책(policy)을 최적화함으로써 전문가의 시연(demonstration)을 모방하는 법을 학습한다. 역사적으로 보상 정규화(regularization)와 엔트로피 기반 정책 정규화는 GAIL, LS-IQ와 같이 경험적으로 성공을 거둔 방법들의 핵심 구성 요소였지만, 유한 샘플(finite-sample) 환경에서의 이점은 아직 충분히 탐구되지 않았다. 우리는 일반적인 함수 근사(function approximation)를 사용하는 유한 구간(finite-horizon) 마르코프 결정 과정(Markov decision process)에서 공동으로 정규화된 AIL에 대한 빠른 수렴률을 도출한다. 우리의 모델 프리(model-free) 알고리즘인 Dually Regularized AIL은 KL 정책 정규화와 전문가 및 학습자의 점유율(occupancy)로 가중된 2차(quadratic) 보상 페널티를 결합한다. K개의 온라인 에피소드와 N개의 전문가 경로(trajectory)가 주어졌을 때, 고정된 정규화 파라미터에 대해 정규화된 모방 격차(imitation gap)에 대한 $\widetilde{O}\left(\frac{1}{K}+\frac{1}{N}\right)$ 경계(bound)를 증명한다. 우리의 분석은 유한한 전문가 데이터와 확률적(stochastic) 학습자 피드백으로 인한 추정 오차를 제어하기 위해 일반적인 컨벡스(convex) 보상 클래스에 대한 온라인 미러 디센트(mirror descent) 구성과, 낙관적(optimistic) KL 정규화 정책 학습에 대한 정교한(sharp) 분석을 결합한다. 우리가 아는 한, Dually Regularized AIL은 확률적 전문가(stochastic expert)가 존재하는 경우에도 이러한 정규화된 AIL 목적함수에 대해 전문가 시연과 온라인 상호작용(interaction) 양쪽 모두에서 $\widetilde{O}\left(\frac{1}ε\right)$ 샘플 복잡도(sample complexity)를 동시에 달성한 최초의 알고리즘이다. 이러한 결과는 AIL에서 보상 정규화와 정책 정규화가 갖는 상호 보완적인 통계적 이점을 엄밀하게 규명한다.
행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정
Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents
대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.
다음에 무엇을 탐구할지 학습하기: 장기 연구 에이전트를 위한 메타 추론
Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents
장기(long-horizon) 연구 에이전트(agent)는 증거가 축적됨에 따라 어떻게 탐구할지뿐만 아니라 다음에 무엇을 탐구할지도 결정해야 합니다. 이러한 결정은 긴 실행 궤적(execution trace) 내에서 드물게 발생하며, 그 결과가 여러 차례의 탐구 이후에 나타날 수 있기 때문에 학습하기 어렵습니다. 본 논문에서는 연구 자원 배분과 실행을 분리하는 계층적 아키텍처인 반복 연구 에이전트를 위한 메타 추론(Meta-reasoning for Iterative Research Agents, MIRA)을 소개합니다. 외부 루프(outer-loop) 메타 추론기는 영구 연구 기록에서 컨텍스트를 큐레이션한 다음, 다음 탐구를 위한 작업 지시서를 작성하거나 에피소드를 종료합니다. 새로운 내부 루프(inner-loop) 실행기는 각 작업 지시서를 수행하여 실행을 메타 추론 행동 간의 전이 과정 일부로 만듭니다. 정책 학습(policy training) 없이도 MIRA는 장기 추론(inference)을 개선하고 정리 증명 및 개방형 신경망 아키텍처 연구에서 추가 연산량을 더 효과적으로 배분합니다. 또한 MIRA의 결정 경계는 신용 할당(credit assignment)을 위한 자연스러운 단위를 제공합니다. 각 경계에서 부분 상태(partial state)로부터 예상 잔여 보상을 예측하도록 생성형 크리틱(generative critic)을 학습시켜 토큰(token) 수준의 대안들보다 우수한 성능을 보였습니다. 교차 환경 사전학습은 예측과 적응을 개선하여 부분적 진행 상황의 가치를 평가하기 위한 전이 가능한 사전 분포(prior)를 산출합니다. 이 사전 분포를 활용하여 별도의 크리틱 모델 없이 잔여 보상을 예측하고 다음 탐구를 선택하도록 공동 학습되는 생성형 액터-크리틱(actor-critic)인 MIRA-AC를 초기화합니다. MIRA-AC는 정책 최적화를 메타 추론 결정에 집중시켜, 이들이 시작하는 더 긴 실행 궤적을 직접 최적화하지 않고도 효율적인 장기 강화학습(reinforcement learning)을 가능하게 합니다. 모델 자체의 프록시 힐클라이밍(hill-climbing) 신호로 MIRA-AC를 학습시키면 4개의 자동 연구(autoresearch) 환경 전반에서 골드 성능이 향상되며, 액터는 교차 환경 가치 초기화(initialization)를 통해 전이됩니다. 종합적으로, 이러한 결과들은 장기 자율 연구를 지휘하기 위한 명시적 정책으로서 메타 추론을 학습할 수 있음을 보여줍니다.
펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정
Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models
사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.