arXiv:2609.26866v1 cs.LG

한계적으로 올바른 도구 캐시가 그룹 정규화된 정책 업데이트를 반전시킬 수 있다

Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates

Shivam Gupta

제출 2026-09-24

한국어 초록

도구 결과 캐싱은 에이전트 학습(training)에서 반복 실행을 줄이지만, 롤아웃(rollout)의 무작위성을 결합하기도 합니다. 본 연구에서는 독립적 실행과 공유 실행이 모든 롤아웃의 조건부 보상(reward) 분포를 보존하는 2개 행동 모델(model)을 연구합니다. 이러한 한계적 일치에도 불구하고, 그룹당 하나의 확률적 결과를 공유하면 기대되는 그룹 정규화 정책 업데이트의 방향이 반전될 수 있습니다. 본 논문에서는 정확한 유한 그룹 표현식을 도출합니다. 즉, 상수 대안에 대해 공유된 업데이트는 기대 보상의 차이가 아니라 승리 확률에서 패배 확률을 뺀 값을 따릅니다. 베르누이 특수화는 그룹 크기가 커짐에 따라 잘못된 방향의 영역과 사라지지 않는 업데이트 분산 하한을 산출합니다. 그룹 표준편차 스케일링 없이 중심화(centering)만 수행하면 기존 추정량 제어를 사용하여 이 모델에서 기대 수익 방향을 보존합니다. 철저한 유한 합을 통해 별도의 순서화된 시퀀스 검사기와 함께 540개의 구성 및 3,240개의 추정량 평가를 검증합니다. 구현 감사를 통해 256개의 스크립트 기반 롤아웃을 사용하여 고정되고 수정되지 않은 TVCache 스택에서 공유 경로를 재현합니다. 이러한 결과는 언어 모델의 학습 성능을 측정하거나 TVCache의 결정론적 출력 계약을 반박하는 것은 아닙니다. 이는 한계 출력 유효성만으로는 확률적 캐시가 학습과 동등하다고 보증할 수 없음을 규명합니다.

원문 초록

Tool-result caching reduces repeated execution in agent training, but also couples rollout randomness. We study a two-action model in which independent and shared execution preserve every rollout's conditional reward distribution. Despite this marginal agreement, sharing one stochastic result per group can reverse the expected group-normalized policy update. We derive an exact finite-group expression: against a constant alternative, the shared update follows the probability of winning minus the probability of losing, rather than the difference in expected reward. A Bernoulli specialization yields a wrong-direction region and a non-vanishing update-variance floor as group size grows. Centering without group standard-deviation scaling preserves the expected-return direction in this model, using an existing estimator control. Exhaustive finite sums verify 540 configurations and 3,240 estimator evaluations, with a separate ordered-sequence checker. An implementation audit reproduces the sharing path in a pinned, unmodified TVCache stack using 256 scripted rollouts. These results do not measure language-model training performance or refute TVCache's deterministic-output contract. They establish that marginal output validity alone cannot certify a stochastic cache as training-equivalent.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26866v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22864v2cs.CV공통 태그 Reinforcement Learning

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

arXiv:2609.24997v4cs.CV공통 태그 Reinforcement Learning

VideoGen-Agent: 비디오 생성 에이전트 강화

VideoGen-Agent: Reinforcing Video Generation Agents

최근 비디오 생성 모델의 발전으로 고충실도이며 시간적으로 일관된 비디오 생성이 가능해졌다. 그러나 이러한 모델은 전문 지식, 특정 정체성, 물리적 일관성 또는 순서가 있는 사건을 요구하는 프롬프트를 충족하는 데 자주 어려움을 겪는다. 본 논문에서는 다중 과제 에이전트 강화학습을 통해 비디오 생성을 위한 외부 도구를 사용하도록 학습된 멀티모달 에이전트 VideoGen-Agent를 제시한다. 이 에이전트는 프롬프트와 중간 관측을 활용해 의사 결정을 이끌며, 다중 턴 상호작용을 통해 증강, 생성, 검증 도구를 조율한다. 우리는 여섯 가지 과제에 걸친 범주 균형 데이터셋으로 공유 정책을 학습한다. 교사 모델이 생성한 궤적에 대한 지도 미세 조정으로 도구 사용 행동을 확립한 뒤, 강화학습으로 이를 정제한다. 범주 인식 하이브리드 보상은 도구 호출의 유효성, 과제에 적합한 도구 사용, 생성된 비디오의 품질을 평가한다. 또한 절차적 지식, 단일 및 다중 개체 정체성 보존, 물리적 일관성, 장면 구성, 다중 샷 시간 구조를 포괄하는 600개 프롬프트의 홀드아웃 벤치마크 VABench를 도입한다. VABench에서 VideoGen-Agent는 기반 텍스트-비디오 생성기보다 19.1점 향상된 75.6점(56.5점에서 상승)을 기록한다. 생성 도구를 업그레이드하면 추가적인 에이전트 학습 없이도 점수가 86.1까지 더 오른다. 인간 평가자들은 비교의 84.3%에서 업그레이드된 구성을 가장 강력한 단독 기준선보다 선호하였다. 이러한 결과는 비디오 생성 과제 전반에 걸친 도구 사용 학습을 뒷받침하며, 학습된 에이전트가 이후 생성 도구의 발전으로부터 이익을 얻을 수 있음을 보여준다. 프로젝트 페이지: https://andyca111.github.io/VideoGen_Agent/

arXiv:2607.14962v3cs.LG공통 태그 Reinforcement Learning

텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

텍스트-이미지(T2I) 모델은 사실적이고 프롬프트에 부합하는 이미지를 생성하지만, 동일한 프롬프트에 대한 샘플은 시각적으로 구별되는 소수의 모드만을 포괄하는 경우가 많다. 인물 중심 프롬프트에서는 이러한 다양성 부족이 인구통계학적 편향을 반영하거나 증폭할 수 있다. 본 논문은 대표적 다양성을 목표 모드 포괄도, 즉 샘플 집합이 색상이나 인지된 인종 범주와 같은 사전 정의된 모드를 얼마나 잘 포괄하는가로 정식화한다. 이어서 다축 max@K 목적함수를 최적화하여 확산 T2I 모델의 포괄도를 개선하는 강화학습 후학습 방법인 MultiMaxPO를 제안한다. 각 샘플에 모드별 점수가 하나씩 주어졌을 때, 다축 max@K는 각 모드에 대해 샘플 전체의 최댓값을 취한 뒤 이 최댓값들을 합산한다. 따라서 샘플은 해당 모드의 최댓값을 높일 때만 그 모드에 대한 보상을 받으므로, 서로 다른 샘플이 서로 다른 모드에 대해 보상받는다. 이러한 보상 할당을 합성 가우시안 혼합과, 픽셀 기반 색상 보상을 사용한 Stable Diffusion 3.5 Medium에서 검증한 뒤, 인지된 외형 공정성에 적용한다. 보류된 프롬프트와 세 가지 자동 평가기에서 MultiMaxPO는 기본 모델 대비 공정성 점수를 Stable Diffusion 3.5 Medium에서 0.22–0.36, FLUX.1-dev에서 0.07–0.19만큼 향상시키고, 동일 조건의 강화학습 기준선을 능가하며, 이미지 품질과 텍스트 정렬을 유지한다. 코드는 https://github.com/KuOnoda/multi-axis-maxk 에서 확인할 수 있다.

arXiv:2607.20345v2cs.RO공통 태그 Reinforcement Learning

실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.

arXiv:2610.00715v2cs.AI공통 태그 Reinforcement Learning

선호도 불확실성 하에서의 강건한 내시 정렬

Robust Nash Alignment under Preference Uncertainty

선호 기반 정렬 방법은 일반적으로 단일 선호 모델에 대해 최적화하므로, 쌍별 선호가 잡음이 있거나 이질적이거나 배포 후 변화하는 등 불확실한 경우 취약할 수 있다. 이러한 문제를 해결하기 위해 불확실한 쌍별 선호에 대한 정렬을 위한 게임 이론적 프레임워크인 Robust Nash Alignment를 제안한다. 우리의 정식화에서는 주 학습자가 적대적 경쟁자와, 명목 선호 주변의 모호성 집합에 속하는 임의의 선호 커널 모두에 대해 최악의 경우 승률이 높은 정책을 찾는다. 모호성 집합이 선호의 불확실성을 포착하면, 그 결과로 얻는 게임의 강건 목적함수는 최악의 경우 성능에 대한 인증된 하한을 직접 제공한다. 그러나 이 문제는 최적화가 계산적으로 어렵다는 점에 주목하여, 이를 해결하기 위해 리더 정책, 팔로워 정책, 적대적 커널, 쌍대 변수를 포함하는 4인 주-쌍대 대리 게임을 도입하고, 이에 대한 단일 루프 낙관적 미러 하강-상승 알고리즘을 개발한다. 대리 목적함수가 항상 절단된 경성 제약 목적함수의 하한이 됨을 보이고, 대리와 경성 제약 간의 격차를 정량화하며, 대리가 강건 목적함수를 복원하는 정확성 조건을 규명한다. 이어서 대리 게임의 쌍대성 격차에 대해 평균 반복 기준 $\mathcal{O}(1/\sqrt{T})$ 수렴을 증명하며, 이는 원래의 강건 목적함수에 대해 거의 최적인 강건 정책을 의미한다. 통제된 표 형태 게임과 불확실한 선호를 가진 LLM 정렬에 대한 실험은 이 방법을 보여 주며, 명목 기준선 대비 선호 교란에 대한 강건성이 향상됨을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.