arXiv:2012.02757

Playing Text-Based Games with Common Sense

Sahith Dambekodi, Spencer Frazier, Prithviraj Ammanabrolu, Mark O. Riedl

제출 2020-12-04

원문 초록

Text based games are simulations in which an agent interacts with the world purely through natural language. They typically consist of a number of puzzles interspersed with interactions with common everyday objects and locations. Deep reinforcement learning agents can learn to solve these puzzles. However, the everyday interactions with the environment, while trivial for human players, present as additional puzzles to agents. We explore two techniques for incorporating commonsense knowledge into agents. Inferring possibly hidden aspects of the world state with either a commonsense inference model COMET, or a language model BERT. Biasing an agents exploration according to common patterns recognized by a language model. We test our technique in the 9to05 game, which is an extreme version of a text based game that requires numerous interactions with common, everyday objects in common, everyday scenarios. We conclude that agents that augment their beliefs about the world state with commonsense inferences are more robust to observational errors and omissions of common elements from text descriptions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28145v1cs.LG공통 태그 Language Modeling, Deep Reinforcement Learning

RL은 RL 이전에 시작된다: 더 나은 강화학습을 위한 온-정책 증류

RL Starts before RL: On Policy Distillation for Better Reinforcement Learning

강화learning(RL)은 추론을 향상시키지만, 성능은 학습이 시작되는 정책에 달려 있다. 우리는 온-정책 증류(OPD)를 RL을 위한 준비 단계로 두고 연구하며, 그 이점이 증류된 모델의 초기 정확도 개선을 넘어서는지 묻는다. 동일한 RL 설정에서 OPD로 초기화한 학생 모델은 직접 RL로 학습한 모델, 또는 지도 미세조정 뒤 RL을 적용한 모델보다 더 높은 최종 성능에 도달한다. 이 이점은 OPD가 즉각적인 정확도 향상을 거의 주지 않을 때에도 나타날 수 있다. RL 이전 Pass@k만으로는 이 이점을 완전히 설명하지 못한다: 비슷하거나 더 높은 값이 RL 이후 더 나은 성능으로 이어지지는 않을 수 있다. 행동 분석은 top-1 일치를 넘어 교사 분포와의 정렬이 가능한 설명임을 가리킨다. 이러한 정렬은 더 높은 품질의 추론 경로를 선호하면서, RL이 결과 피드백으로 더 다듬을 수 있는 대안들을 남겨 둘 수 있다. 또한 궤적 출처와 발산 목표가 이후 RL을 위한 증류의 가치에 어떻게 영향을 미치는지 살핀다. 표준 역방향 KL OPD는 RL 이전에 더 낫지만, 순방향 KL OPD는 그 이후에 앞서게 된다. 교사가 생성한 증류 궤적을 쓰면 역방향 KL은 두 단계 모두에서 앞선다. 이는 선호되는 증류 목표가 궤적 출처와 뒤이어지는 학습 모두에 달려 있음을 시사한다. 우리 결과는 OPD를 RL 준비 단계로 평가하고, 이후 학습 뒤 달성한 성능을 기준으로 증류 방식을 고르는 접근을 뒷받침한다.

arXiv:2609.24174v1cs.AI공통 태그 Language Modeling, Deep Reinforcement Learning

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

arXiv:2607.21626v1cs.AI공통 태그 Language Modeling, Deep Reinforcement Learning

소형 모델 연속 제어에서 GRPO 수렴의 전제조건으로서의 이산 행동 공간

Discrete Action Space as a Prerequisite for GRPO Convergence in Small-Model Continuous Control

우리는 Group Relative Policy Optimization(GRPO)이 시뮬레이션된 쿼드로터 연속 제어 과업에 대해 소형 언어 모델을 미세조정할 수 있는지 연구한다. 우리 벤치마크에서, 25 Hz 쿼드로터 속도 제어를 위한 Qwen-0.5B에 대한 vanilla GRPO 미세조정은 사소한 영(zero) 행동으로 붕괴한다: 성공률 0%, 60 스텝 이내에 엔트로피가 0.35에서 0.03으로 감소한다. jerk-penalty 항을 제거하는 ablation과 사전학습 prior에 대한 KL anchor를 제거하는 ablation 두 가지는 각각 엔트로피 붕괴를 방지하지만, 어느 것도 학습을 가능하게 하지는 못한다. 행동 인터페이스를 PID preset에 대한 5-way categorical choice로 대체하면 학습이 수렴한다. 결과 컨트롤러는 학습 기간에 따라 smoothness-reliability 파레토 프론티어를 형성한다; 두 끝점이 보고된다: 64 스텝에서 성공률 98.6%와 jerk 0.656 m/s³, 256 스텝에서 성공률 100%와 jerk 1.103 m/s³(또는 matched velocity cap 하에서 0.796). 이 방법은 세 가지 사전학습 언어 모델에 걸쳐 평가된다. 맥락상, Ki = 0.30, vmax = 2.5로 재조정한 고전적 기준선 PID는 jerk 0.736 m/s³에서 동일한 100% 성공률에 도달한다. Crazyflie 2.1 dynamics를 사용하는 고정밀 시뮬레이션은 hover-region 학습-분포 gap을 드러낸다.

arXiv:2607.22083v1cs.AI공통 태그 Language Modeling, Deep Reinforcement Learning

Nanbeige4.2-3B: 소형 모델에서 에이전트 역량 실현

Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Mode

본 논문은 임베딩을 제외한 30억(non-embedding) 파라미터를 갖춘 소형 범용 에이전트 모델 Nanbeige4.2-3B를 소개한다. 이 모델은 코드 에이전트, 오피스 에이전트, 복잡한 도구 사용 과제 전반에서 강력한 성능을 제공하면서도 수학, 코딩, 과학 분야의 추론 능력을 매우 경쟁력 있는 수준으로 유지한다. Nanbeige4.2-3B는 28T 토큰으로 처음부터 사전학습(pre-training)되었으며, Looped 트랜스포머가 층(layer) 스택을 재사용하여 파라미터를 추가하지 않고 용량(capacity)을 확장한다. SFT 데이터 및 궤적(trajectory) 구성을 위해, 실제 배포와 대규모 합성(synthesis)을 통해 실행 가능한 환경, 과제 자산, 에이전트 스캐폴드(agentic scaffolds)의 다양성을 확대했다. RL 파이프라인은 Think 및 Non-Think 응답에 대한 혼합 모드 RLHF(인간 피드백 강화학습)로 전체 모델 품질을 개선하고 실패 사례를 줄이며, 길이 제어 추론 RL로 정확도와 추론 효율의 균형을 맞추고, 결과 및 과정 보상을 활용한 에이전트 RL로 장기간(long-horizon) 학습을 안정화한다. 광범위한 평가(evaluation) 결과, Nanbeige4.2-3B는 Qwen3.5-9B, Gemma4-12B 등 더 큰 모델들을 다양한 에이전트 벤치마크에서 능가하며, 추론 및 정렬(alignment) 과제에서도 경쟁력 있는 성능을 유지한다. OpenClaw와의 성능은 소형 로컬 개인 비서로서의 활용 가능성을 더욱 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.