비전-언어-행동(Vision-Language-Action, VLA) 모델은 일반적으로 자연어로 된 작업 설명에 조건화된 종단간(end-to-end) 행동 정책으로 취급된다. 그러나 실제로는 이러한 모델의 동작이 지시문이 표현되는 방식에 따라 크게 달라지는 경우가 많으며, 이는 언어가 단순한 작업 레이블이 아니라 최적화 가능한 조건화 입력임을 시사한다. 본 연구에서는 고정된(frozen) VLA 정책을 행동 가중치를 업데이트하지 않고 언어 공간을 최적화함으로써 개선할 수 있는지를 연구한다. 제안하는 방법은 사람의 지시문을 객체의 외형, 공간적 관계, 타겟 그라운딩(target-grounding) 신호를 활용하여 짧은 VLA 그라운딩(VLA-grounded) 명령으로 변환하는 언어 조건화 공간 정책(language-conditioning space policy)을 도입한다. 이 언어 조건화 공간 정책은 희소한(sparse) 작업 완료 보상으로부터의 강화학습을 통해 최적화되며, 다운스트림 VLA는 완전히 고정된 상태로 유지된다. RL4VLA와 VL-Think에 대한 실험 결과, 언어 조건화 공간 최적화가 지시문에 민감한(instruction-sensitive) 작업, 기호적(symbolic) 작업, 다중 객체 조작(multi-object manipulation) 작업에서의 성공률을 향상시킴을 보여주며, 이는 언어가 로봇 파운데이션 모델(foundation model)의 최적화 가능한 변수로 활용될 수 있음을 입증한다. 웹사이트: https://cognitiveaisystems.github.io/VLA-Grounder/
부분 관측 가능한 강화학습(RL)에서는 이후의 관측으로 인해 기저장된 정보가 쓸모없어지거나 다음 의사결정에 미치는 의미가 바뀔 수 있습니다. 기존 강화학습용 메모리 구조와 벤치마크는 주로 정보가 필요할 때까지 변경 없이 유지하는 능력인 보존(retention)을 평가합니다. 본 연구에서는 두 가지 추가적인 요구사항을 정형화합니다. 재작성(rewriting)은 의사결정에 중요한 콘텐츠를 이전 값과 독립적인 값으로 설정하며, 경험 융합(experience fusion)은 이후의 관측이 지정하는 규칙에 따라 이전 콘텐츠를 변환합니다. 이러한 업데이트로 구성된 태스크에 대해 솔루션이 필요로 하는 메모리 상태 수를 계산한 결과, 여러 베이스라인은 더 많은 상태를 필요로 하는 구성에서 가장 낮은 성공률을 보였습니다. 이에 따라 LSTM과 슬롯 메모리(slot memory)를 결합한 에이전트인 ALER(Adaptive Learnable Experience Rewriting)를 제안합니다. 한 슬롯에 가중치를 집중시키는 독립 주소 지정 방식의 검벨-소프트맥스(Gumbel-Softmax) 쓰기 연산이 해당 슬롯을 덮어쓰고, 학습된 게이트는 정책 및 가치 헤드에 앞서 검색된 콘텐츠를 순환 상태와 융합합니다. 또한 벡터 및 픽셀 관측 하에서 룬(rune) 관측이 숨겨진 단서의 업데이트를 반전, 취소, 초기화 또는 반복하는 세 가지 환경인 Rune-Mazes를 소개합니다. 7개의 베이스라인과 비교했을 때, ALER는 16개의 모든 Endless T-Maze 설정에서 최소 0.82, 5개의 모든 Rune T-Maze 구성에서 최소 0.99의 성공률을 달성했으며, Invert 룬이 있는 4분기 Rune Multi-Corridor에서 가장 높은 평균 성공률을 기록했습니다. 픽셀 기반 Rune MiniGrid Memory에서는 10개 설정 중 8개에서 PPO-LSTM보다 높은 평균 성공률을 달성했습니다. 프로젝트 페이지: https://quartz-admirer.github.io/ALER-Adaptive-Learnable-Experience-Rewriting/.
대규모 언어 모델(LLM)은 코드 생성에 탁월하지만, 경쟁 프로그래밍에서는 지속적인 실패 모드가 드러납니다. 기존의 다중 에이전트 파이프라인은 일반적인 기획자(planner), 코더(coder), 디버거(debugger) 역할에 작업을 분배하고 알고리즘 기법의 선택을 백본 모델에만 위임합니다. 본 논문에서는 각 에이전트가 동적 계획법, 그래프, 문자열, 기하학 등과 같은 주제별 전문가로 구성되고 알고리즘 이론 말뭉치 기반의 검색-증강 생성(RAG)을 통해 그라운딩되는 프롬프트 전용 프레임워크인 MARS(Multi-Agent Relay of Specialized LLMs)를 제시합니다. 문제가 주어지면 검색을 통해 관련 전문가들로 구성된 소규모 팀을 선발합니다. 스타터(starter)가 초기 C++17 솔루션을 작성하고, 이후 각 턴마다 샌드박스에서 공개 예제를 대상으로 후보 코드를 실행하며, 활성 상태의 전문가가 초안을 유지, 수정 또는 인계할 수 있도록 한 뒤 구조화된 패킷을 다음 전문가에게 전달합니다. 마지막에는 단일 인프라 수정자(infrastructure-fixer) 패스를 통해 보일러플레이트 코드를 정규화합니다. Gemma 4를 사용한 CodeContests 테스트 분할에서 MARS는 과제당 $2.3$개의 기록된 파이프라인 단계에서 $0.624 \pm 0.006$의 통과율(직접 프롬프트 대비 $+14.4$ 퍼센트포인트 상승)을 달성하여, $3.3{\times}$ 더 낮은 총 소요 시간(wall-clock) 비용과 과제당 토큰 소비량의 대폭 감소된 분산으로 CodeSIM($0.731$)과의 격차를 대부분 좁혔습니다. 소스 코드는 GitHub(https://github.com/fckand/mars)에서 확인할 수 있습니다.
본 연구는 강화학습에서 에이전트가 누적 성능을 최대화하는 동시에 안전 제약을 만족해야 하는 안전 탐험 문제를 조사한다. 이 과제는 장기(horizon) 작업에서 더욱 두드러지며, 기존 안전 방법들은 누적 추정 오류와 제한적인 탐험 능력으로 인해 근본적인 한계에 직면한다. 이 문제를 해결하기 위해, 본 논문은 학습 가능한 세계 모델(world model)과 두 개의 상호 보완적 정책—고수준 정책과 저수준 정책—을 결합하여 계층적 수준 모두에서 안전성을 높이는 방법을 제안한다. 고수준 정책은 탐험을 안전한 영역으로 바이어스하기 위한 중간 부분 목표(subgoal)를 생성하고, 저수준 정책은 학습된 세계 모델에서 상상된 롤아웃(imagined rollout)을 사용하여 이러한 부분 목표에 도달할 때 불안전한 행동을 줄인다. 제안 방법은 고차원 행동 공간을 가진 도전적인 장기 내비게이션 및 조작 작업에서 평가되었으며, 성공률과 강한 경험적 제약 만족 모두에서 기존 안전 강화학습(Safe RL) 베이스라인을 크게 뛰어넘었다. 시드 전반에서 지정된 안전 예산을 일관되게 충족한 반면, 기존 접근법은 이러한 복잡한 장기 시나리오를 효과적으로 해결하지 못했다.