결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.
몬테카를로 트리 탐색(MCTS)은 순차적 의사결정 영역의 온라인 계획에 널리 사용되는 표본 기반 탐색 알고리즘 계열이며, 최근 인공지능의 많은 발전의 핵심에 있다. 수많은 가능한 미래의 시뮬레이션, 그 평가, 그리고 이들 간의 관계로 인해 크고 복잡한 탐색 트리가 자주 생성되므로, 개발자와 사용자가 MCTS 에이전트의 행동을 이해하기 어렵다. 본 논문은 MCTS의 의사결정과 행동에 대한 잠재적 설명을 찾기 위해 진행 중인 연구를 제시한다. MCTS의 약점은 매우 선택적인 트리를 구성하기 때문에 결정적인 수를 놓치고 전술적 함정에 빠질 수 있다는 점이다. 전폭 미니맥스 탐색이 그 해결책이 된다. 우리는 다중 에이전트 MCTS의 롤아웃 단계에 얕은 미니맥스 탐색을 통합하고, 프로세스 마이닝 기법을 사용하여 3v3 체커에서 에이전트의 전략을 설명한다.
많은 온라인 의사결정 문제는 라운드별 실행 가능한 행동과 변화하는 보상 모델을 모두 수반한다. 적격 광고 노출, 실행 가능한 가격, 이용 가능한 치료법은 시간에 따라 바뀔 수 있고, 사용자 선호, 수요 곡선, 환자 반응은 진화할 수 있다. 이러한 응용에 동기를 받아 본 논문은 라운드별 실행 가능 의사결정 집합을 갖는 비정상 선형 밴딧을 연구한다. 핵심 기여는 비정상 선형 밴딧의 파라미터 드리프트를 맥락적 선형 밴딧의 모델 오지정과 연결하면서 라운드별 의사결정 기준을 보존하는 블록 단위 환원이다. 이 연결을 통해 오지정 적응형 학습을 활용하여 일반적인 시간 가변 의사결정 집합에 대한 동적 후회 보장을 얻을 수 있다. 경로 길이 예산 $P_T$가 알려진 경우, 비적응적 파라미터 경로 하에서 일반 컴팩트하고 적응적이며 비예측적인 의사결정 집합에 대해, 그리고 비적응적 환경 하에서 $K$-암 맥락적 선형 밴딧에 대해 이러한 보장을 확립한다. 일반 시간 가변 의사결정 집합에서 본 논문의 경계는 $T$와 $P_T$에 대한 의존성을 기존 LinUCB 기반 접근법에서 가능한 $\widetilde O(T^{3/4}P_T^{1/4})$ 보장에서 $\widetilde O(T^{2/3}P_T^{1/3})$로 개선하며, 이는 로그 인자를 제외하고 비정상 하한의 의존성과 일치한다.
본 논문은 지속적인 환경을 공유하는 로봇들이 보류된(held-out) 시퀀스로부터 한 번에 하나씩 과업을 할당받는 과업 계획 시나리오를 다룬다. 표준 과업 계획기는 미래 과업에 대한 예측이 없고 다른 로봇의 제약을 고려하지 않으므로 각 과업을 독립적으로 해결하여, 모든 로봇의 미래 비용을 증가시키는 종료 상태를 남기며, 이러한 부작용은 긴 과업 시퀀스에서 누적된다. 시퀀스 전체의 비용을 줄이려면 로봇은 현재의 행동이 환경을 공유하는 모든 로봇의 미래 과업 수행에 어떤 영향을 미칠지 예측해야 한다. 이에 본 논문은 모델 기반 계획기가 후보 계획을 제안하고, 로봇별로 독립적으로 학습된 추정기를 통해 추정한 즉각적 비용과 모든 로봇에 대한 집계된 기대 미래 비용을 함께 최소화하는 계획을 선택하는 배려형 예측 계획(courteous anticipatory planning)을 제시한다. 이러한 분해된 정식화는 조합적인 공동 롤아웃을 피하고 모듈식 배치를 지원하며, 로봇을 추가하려면 해당 로봇의 추정기만 훈련하면 된다. 비슷한 능력을 갖지만 책임이 다른 로봇들이 있는 가정 환경과, 로봇들의 서로 다른 능력으로 인해 다른 로봇이 해결할 수 없는 상태가 만들어지는 레스토랑 환경이라는 두 가지 지속적 PDDL 도메인에서 평가한다. 긴 과업 시퀀스에서 본 계획기는 2대 로봇 가정 환경에서 근시안적 계획 대비 총비용을 10.4%, 이기적 예측 계획 대비 4.5% 줄였으며, 3대 로봇 레스토랑 환경에서는 각각 20.5%와 6.7% 줄였다.
물은 따뜻해져도 변하지 않는 듯 보이다가 임계점에서 끓는다. 우리는 장기 지평 언어 에이전트가 변화하는 세계 상태의 정확한 표상을 유지하는 능력에서 이와 유사한 전이를 보이는지 묻는다. 일부 매개변수 설정에서는 과제 매개변수의 작은 변화나 과제에 단계 하나를 추가하는 것이 행동을 거의 바꾸지 않지만, 임계 경계 근처에서는 같은 작은 변화가 갑작스러운 붕괴를 일으킨다. 우리는 매 단계에서 참 세계 상태가 알려진 결정론적 과제군에서 이 효과를 연구한다. 상태 크기, 상태 의존성, 지평, 가능한 행동 수, 관측 방식, 상태 변화 빈도에 대한 대규모 격자 탐색은 위상 도표를 드러낸다. 에이전트가 일관되게 성공하는 저스트레스 영역, 성공이 급격히 떨어지는 좁은 영역, 에이전트가 일관되게 실패하는 고스트레스 영역이 그것이다. 단계별 추적은 그 메커니즘을 보여 준다. 에이전트는 행동이 유효하지 않게 되기 전에 참 세계를 놓치므로, 에이전트는 단지 나쁜 행동을 선택하는 것이 아니라 오염된 세계에 근거해 행동한다. 더 강력한 모델은 임계 경계에 더 늦게 도달하지만 급격한 전이를 없애지는 못한다. 이러한 결과는 세계 모델 붕괴를 장기 지평 에이전트의 측정 가능한 병목으로 만든다. 코드는 곧 공개될 예정이다.
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
미지 환경에서 대상 객체를 효율적으로 찾기 위해 EffiNav는 깊이(depth) 기반 후보 영역 생성과 오픈소스 VLM의 ego-centric·top-down 이중 검증, 탐험 이력 기반 중복 탐색 억제를 결합한 비학습 ObjNav 프레임워크를 제안한다. HM3D·OVON·GOAT-BENCH 및 실제 로봇 평가에서 성공률(SR)과 경로 길이 가중 성공(SPL) 기준으로 최근 베이스라인과 대등하거나 이를 능가해 효율성과 일반화 가능성을 입증했다.
계획을 수립하고 도구를 호출하며 환경과 상호작용하는 다중 턴(multi-turn) 에이전트(agent)는 복잡한 작업을 해결하기 위한 유망한 패러다임을 제공하지만, 이들의 역량은 일반적으로 실제 사용 시 추론(inference) 비용 부담이 매우 큰 대규모 모델에 의존합니다. 온-정책 증류(On-Policy Distillation, OPD)는 이러한 역량을 더 작은 학생 모델로 이전하기 위한 자연스러운 방법이지만, 본 연구에서는 이 설정에서 전형적인 실패 모드가 발생함을 발견했습니다. 즉, 작은 학생 모델의 오류가 여러 턴에 걸쳐 누적되면서 궤적(trajectory)이 교사 모델에 익숙한 상태 분포를 벗어나게 되고, 그 결과 학생 모델이 가장 필요로 하는 바로 그 지점에서 교사 모델의 지도(supervision)가 가장 신뢰할 수 없게 됩니다. 우리는 각 롤아웃(rollout) 내에서 교사 모델과 학생 모델이 생성한 턴을 혼합하고 교사 모델의 개입 확률을 0으로 감소하는 커리큘럼에 따라 조절하는 단순하면서도 효과적인 알고리즘인 지도형 온-정책 증류(Guided On-Policy Distillation, Guided-OPD)를 제안합니다. 초기에는 강력한 지도를 통해 궤적을 교사 모델의 분포에 가깝게 유지한 다음, 점진적으로 지도를 거두어 추론 시 사용되는 순수 온-정책 환경을 회복합니다. ALFWorld, ScienceWorld, WebShop에서 Qwen3-30B-A3B 교사 모델로부터 Qwen3 학생 모델들을 증류한 결과, Guided-OPD는 바닐라 OPD 대비 점수(Score)에서 평균 21.1%, 성공률(Success Rate)에서 25.5%의 상대적 향상을 달성했으며, 더 작은 학생 모델일수록 더 큰 향상을 보였습니다.
지연된 피드백을 갖는 온라인 학습은 일반적으로 학습자가 피드백이 도착할 때까지 보류 중인 모든 라운드를 추적할 수 있다고 가정한다. 실제로는 추적 자원이 유한하며, 추적할 수 없는 라운드의 피드백은 영구적으로 손실된다. 본 논문에서는 어느 시점에서든 최대 $C$개의 보류 라운드만 추적할 수 있는 엄격한 용량 제약 아래의 지연 온라인 볼록 최적화(OCO)를 연구한다. 지연 정보를 모형화하기 위해 선행 연구의 선견(clairvoyant) 가정을 정교화한 준선견(semi-clairvoyant) 모델을 도입한다. 이는 예측 시점에 지연을 알아야 한다고 요구하는 대신, 제약 없는 고전적 지연 설정과 마찬가지로 학습자가 지연 만료를 온라인으로 관측하도록 한다. 우리의 접근은 어느 라운드를 추적할지 무작위로 정하고 그 결과 관측값에 중요도 가중치를 부여하는 스케줄러를 사용하여, 새로운 ``지연 및 가중'' OCO 문제로 환원하는 방식으로 진행된다. 기본 문제에 대해 Delayed-Weighted FTRL과 그 밴딧 유사 알고리즘을 제안하고 분석하며, 두 설정 모두에서 가중치가 지연된 피드백과 어떻게 상호작용하는지 특성화하는 후회 한계를 얻는다. 이 한계를 스케줄러와 결합하면 볼록 및 강볼록 손실, 1차 및 밴딧 피드백 모두에 대해 용량 제약 OCO의 후회 보장을 얻는다. 1차 피드백에서는 용량 $C = \Omega(\log T)$이면 로그 인자를 제외하고 표준 지연 OCO 비율을 회복하기에 충분하다. 밴딧 피드백에서는 표준 지연 BCO 비율이 $(1 + \sigma_{\text{max}}/C)$ 인자로 조절되며, 여기서 $\sigma_{\text{max}}$는 미해결 관측의 최대 개수이다. 이로써 $C < \sigma_{\text{max}}$일 때에도 후회 한계가 점진적으로 나빠진다. 분석을 수치 실험으로 보완한다.
멀티턴 에이전트를 위한 강화학습에서 희소한 결과 보상은 중간 도구 호출 전반에 걸친 기여도 할당을 어렵게 만든다. 온폴리시 자기 증류는 모델이 밀집 지도 신호를 통해 스스로를 가르치게 함으로써 기여도 할당을 완화한다. 즉, 특권 정보를 가진 모델(교사)이 해당 정보가 없는 모델(학생)이 생성한 각 토큰에 점수를 부여한다. 그러나 멀티턴 에이전트 환경에서 어떤 형태의 피드백이 가장 효과적인지는 여전히 불분명하다. 우리는 자연스러운 멀티턴 변형이 실패함을 발견했다. 교사에게 매 턴마다 성공적인 시연 전체를 제공하면, 학습 결과 에이전트가 학습하지 않은 모델보다 오히려 나빠진다. 교사는 복사된 행동이 학생의 맥락에서 올바르지 않은 경우에도 시연을 복사한 학생에게 보상을 주게 된다. 우리는 HINT를 제안한다. HINT에서는 기본적으로 정책 자신인 리플렉터가 완료된 궤적을 읽고 턴 단위의 짧은 피드백을 작성한다. 그러면 교사는 이후에 이어진 행동이 아니라 각 턴에서 무엇이 잘못되었는지를 보게 된다. Tau-Bench와 WebShop에서 HINT는 롤아웃 수를 8분의 1만 사용하고도 GRPO와 대등한 성능을 보인다.
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
적대적 경로 탐색, 목표 탐색, 그래프 상의 도달 가능성 게임과 같이 비대칭 정보가 존재하는 적대적 팀 게임(ATG)은 숨겨진 목표 깃발과 같은 은닉된 상대 유형과 기만에 강건한 전략을 요구한다. 비대칭 정보 하에서 기만은 전지적 상대가 자연(Nature)과 공모하여 관찰된 유형에 따라 행동을 조정할 수 있도록 유형 분포를 전략적으로 이동시키는 것으로 간주된다. 베이지안 내시 균형(BNE)과 같은 기존의 위험 중립 해 개념은 분포 이동에 민감하며, 분포적으로 강건한 접근법은 미리 정해진 모호성 집합 내에서만 보장을 제공한다. 이러한 한계를 해결하기 위해 본 연구는 미니맥스 후회 추론의 분포 비의존적 강건성과 명목 유형 분포의 확률적 정보를 결합한 새로운 균형 개념인 확률적 강건 미니맥스 후회 균형(PR-MRE)을 도입한다. PR-MRE는 유형 공간의 고신뢰도 부분집합에 대해 최악의 경우 후회를 최소화하여, 확률 질량의 전략적 재분배에 대한 보호를 제공하면서 완전히 분포 비의존적인 접근법의 보수성을 피한다. 유한 정규형 베이지안 게임에서 근사 PR-MRE 계산을 강건 쌍선형 계획법으로 정식화할 수 있음을 보이고, 계산 가능한 반정부호 완화를 유도한다. 이어서 이 완화를 강건 이중 오라클 프레임워크 내의 새로운 메타 솔버인 PRMRE-PSRO로 적응시켜, 심층 강화학습 최선 응답을 통해 근사 PR-MRE 전략을 집단 기반으로 학습할 수 있게 한다. 그래프 구조의 적대적 팀 게임에서의 실험은 PR-MRE가 위험 중립 베이지안 내시 균형 해에 비해 숨겨진 유형 전반에서 최악의 경우 성능이 크게 향상된 전략을 발견하며, 그 결과 전략적 분포 이동 하에서 더 강건한 행동을 보임을 입증한다.
LLM 에이전트는 검색, 브라우징 인터페이스, 도구를 사용하여 여러 턴에 걸쳐 행동하며 사용자의 목표를 완수할 것으로 기대된다. 그러나 모든 목표가 명확하게 정의되어 있거나 주어진 환경에서 달성 가능한 것은 아니다. 이러한 경우 신뢰할 수 있는 에이전트는 추가적인 상호작용이 도움이 될 가능성이 낮다는 점을 인식하고 추가 도구 호출을 중단(기권)해야 한다. 본 논문은 불확실성 하에서 에이전트가 언제 행동을 멈춰야 하는지를 결정하는 문제인 에이전트 기권(Agentic Abstention)을 정의한다. 일반적으로 단일 턴의 응답 또는 기권 결정으로 평가되는 표준 LLM 기권과 달리, 에이전트 기권은 순차적 의사결정 문제이다. 에이전트는 매 턴마다 응답하거나, 기권하거나, 더 많은 정보를 수집할 수 있으며, 기권의 필요성은 환경과 상호작용한 이후에야 비로소 분명해질 수 있다. 우리는 웹 쇼핑, 터미널 환경, 질의응답에 걸쳐 이 문제를 연구하며, 28,000개가 넘는 과업 지시문에 대해 13개의 LLM 에이전트 시스템과 2개의 에이전트 스캐폴드를 평가한다. 결과는 핵심 과제가 에이전트가 기권할 수 있는지 여부만이 아니라 언제 기권하는지에도 있음을 보여준다. 일부 에이전트는 기권해야 할 때 전혀 기권하지 않으며, 다른 에이전트는 불필요한 상호작용을 많이 거친 후에야 기권한다. 이러한 격차는 환경이 달리 드러내기 전까지는 지시문이 실행 가능해 보이는 과업(예: 지시문과 일치하는 유효한 결과가 없는 경우)에서 특히 크다. 또한 모델 규모, 추론, 에이전트 스캐폴딩이 기권에 서로 다른 방식으로 영향을 미치며, 더 크거나 더 유능한 모델이 시의적절한 기권에서는 오히려 성능이 떨어지는 경우도 있음을 발견하였다. 마지막으로, 상호작용 궤적을 재사용 가능한 중단 규칙으로 증류하여 에이전트 기권을 개선하는 컨텍스트 엔지니어링 방법인 CONVOLVE를 제안한다. 보류된 WebShop 과업에서 CONVOLVE는 모델 매개변수를 갱신하지 않고도 시의적절한 기권을 크게 개선하여, Llama-3.3-70B의 시의적절 재현율을 26.7에서 57.4로 높였다. 데이터셋과 코드는 https://agentic-abstention.github.io 에서 확인할 수 있다.
다중 구역 HVAC 제어는 실내 열 변화와 제어 결정이 외부 조건과 내부 발열뿐 아니라 구역 배치, 물리적 인접성, 건물 전반에 걸친 지연된 열 상호작용에도 좌우되는 공간적 의사결정 문제이다. 최근 LLM 기반 HVAC 제어기는 프롬프트 기반 제어가 가능함을 보였다. 그러나 이러한 방법은 일관성 없는 결과를 내고, 일반화가 어렵고, 제어 지연 문제를 겪는다. 또한 성능이 수치적 보상 값, 텍스트 피드백 또는 비정형 검색에 크게 의존하여, 구역 동역학과 열역학을 고려한 제어 결정을 내리는 능력이 제한된다. 기존 어떤 LLM 기반 방법도 건물 의미론과 동역학을 순환 이력과 함께 LLM 컨텍스트의 중심에 두고, 기존 LLM 기반 HVAC 접근법과 HVAC 제어 성능을 시험·비교하지 않았다. 본 논문은 다중 구역 건물 환경에서 시험된 LLM 기반 HVAC 제어 프레임워크인 ThermoLLM을 제시한다. 시공간 컨텍스트 그라운딩은 ThermoLLM의 핵심 구성 요소로, Brick 방식의 건물 의미론에서 도출되고 순환 이력의 최근 관측값과 연결된 공간 지식 그래프를 사용한다. 우리는 여섯 가지 기후-계절 시나리오의 5개 구역 건물 환경에서 ThermoLLM을 표준 제어 방법 및 최신 최첨단 기준선과 비교 평가한다. ThermoLLM은 일관되게 가장 우수한 에너지-쾌적성 절충을 달성하며, 여섯 시나리오 전반의 이상해 유사도 순위 선호 기법(TOPSIS) 순위에서 평가된 모든 기준선을 능가한다.
본 논문은 맥락적 조합 세미밴딧(CCSB) 문제를 연구한다. 이 문제에서 학습자는 매 라운드마다 맥락을 관측하고, 기본 팔들의 부분집합으로 이루어진 조합 행동을 선택하며, 선택된 각 팔의 보상을 받는다. 목표는 시간에 따른 누적 보상을 최대화하는 것이다. 기존의 많은 연구가 선형 보상 함수 근사를 갖는 CCSB 문제에 초점을 맞춘 반면, 일반 보상 함수 근사를 갖는 CCSB 문제에 대한 효율적인 알고리즘 설계는 제한적이다. 본 연구에서는 학습자가 참 보상 함수를 포함하는 보상 함수 클래스 $\mathcal{F}$에 접근할 수 있는 실현 가능(realizable) 설정을 연구하고 $\mathrm{SquareCB{.}Comb}$ 알고리즘을 제안한다. $\mathrm{SquareCB{.}Comb}$가 $O(\sqrt{m A T \log |\mathcal{F}|})$의 미니맥스 최적 후회 한계를 달성함을 증명한다. 여기서 $A$는 팔의 수, $m$은 조합 행동에 포함되는 팔의 최대 개수, $T$는 시간 지평이다. 또한 맥락이 주어졌을 때 모든 팔의 보상을 효율적으로 예측할 수 있는 온라인 회귀 오라클이 있고, 조합 행동 집합이 효율적인 선형 최적화 또는 팔에 대한 임의의 목표 주변 확률이 주어졌을 때의 효율적인 샘플링 중 하나를 허용하면 $\mathrm{SquareCB{.}Comb}$는 계산적으로 효율적이다. 웹페이지 추천과 맥락적 최단 경로 문제에서 알고리즘의 효과를 실험적으로 검증한다.
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
LLM 에이전트의 단계별 평가를 위해 별도 프로세스 보상 모델 없이, RL 사후학습에서 얻은 학습 정책과 참조 정책 간 로그 확률 비율인 진행 이점(progress advantage)으로 최적 이점 함수를 복원할 수 있다. 5개 벤치마크와 4개 모델 패밀리에서 테스트 시간 스케일링, 불확실성 정량화, 실패 귀인 응용마다 신뢰도 기반 베이스라인과 전용 학습 보상 모델을 일관되게 능가한다.
이 모노그래프는 평균장 상호작용과 공통 잡음을 갖는 대규모 개체군 확률 제어에서 발생하는 마르코프 결정 과정의 관점에서 평균장 강화학습을 소개한다. 다중 에이전트 강화학습과 평균장 제어 사이의 연결에서 출발하여, 대표 에이전트 학습 문제를 정식화하고, 이것이 유한 개체군 시스템과 맺는 관계를 분석하며, 일반 모형과 선형-이차 모형을 모두 연구하는 데 필요한 확률론적, 수학적, 제어이론적 틀을 전개한다. 서술에는 동적 계획법 원리, 혼돈 전파 극한, 그리고 표 기반 Q-러닝과 정책 경사 방법에 대한 이론적 분석이 포함된다. 또한 표 기반 기법과 심층 결정론적 정책 경사(deep deterministic policy gradient)와 같은 심층 강화학습 방법을 포함한 수치적 구현도 논의한다. 이 책의 목표는 독자에게 평균장 제어 이론과 강화학습 방법론 사이의 일관된 가교를 제공하는 것이며, 문제의 수학적 구조와 대규모 확률적 개체군을 위한 다루기 쉬운 학습 접근법의 설계를 강조한다.
경험 학습은 대규모 언어 모델 에이전트가 모델 매개변수를 갱신하지 않고도 외부 메모리를 통해 교훈을 재사용하도록 한다. 그러나 성찰은 실행 오류를 승인하여 이를 향후 지침으로 저장할 수 있으며, 우리는 이러한 실패 양상을 자기 확증 함정(Self-Confirmation Trap)이라 부른다. 우리는 오프라인 경험 구축을 위한 실행-증류-검증(Execute-Distill-Verify) 프레임워크인 EDV를 제안한다. 이종 에이전트들이 각 과제를 독립적으로 실행하고, 제3자 증류기가 이들의 궤적과 환경 피드백을 비교하여 후보 교훈을 추출하며, 실행 에이전트들이 각 후보를 별도로 검토하여 만장일치로 승인된 교훈만 유지한다. 평가에서는 고정된 메모리 뱅크에서 검색하는 단일 해결기를 사용한다. $\tau^2$-bench, Mind2Web, MMTB에서의 실험은 재방문 과제 성능이 향상됨을 보여 주며, $\tau^2$-bench에서는 보류된 과제로의 도메인 내 전이에 대한 추가 증거도 확인된다. 주석이 달린 Retail 부분집합에서 EDV는 자기 확증 함정 비율을 RB-MaTTS의 11.0%에서 5.0%로 낮추며, 이는 잘못된 지침의 보존이 줄었음을 나타낸다.
본 연구는 심층 강화학습(DRL)을 특화된 실행 오버레이로 적용하면 변동성이 매우 큰 암호화폐 시장에서 페어 트레이딩을 개선할 수 있는지 규명하는 것을 목표로 한다. 이 전략의 고전적 구현은 전통적인 주식 시장에서 성공적임이 입증되었으나, 분산이 큰 환경에 적용하면 경직성을 자주 드러내며 심각한 발산 위험을 겪는다. 견고한 시스템을 구축하기 위해 우리는 계층적 "필터 후 순위화(Filter-then-Rank)" 페어 선택 방법론과 맞춤형 "고정 위험, 적응형 평균(Fixed Risk, Adaptive Mean)" 실행 모델을 개발하였다. 이 시스템은 장단기 메모리(LSTM) 계층을 갖춘 근접 정책 최적화(PPO) 에이전트를 사용하여, 엄격한 결정론적 위험 관리 경계 내에서 실행 결정을 수행한다. Binance USD-M 선물 시장의 1시간 간격 데이터로 평가한 결과, 선택된 RL 정책은 휴리스틱 기준선을 크게 상회하는 표본 외 성과를 달성하였으나, 결과는 다섯 개의 무작위 시드에 걸쳐 상당히 달랐으며 다섯 시드 중 네 개가 CAGR과 소르티노 비율 모두에서 기준선을 넘어섰다. 에이전트의 위험 조정 초과 성과에 대한 정상 순환 블록 부트스트랩 검정은 약 0.06의 p값을 산출하여, 통상적인 5% 유의수준 기준에 근소하게 미치지 못한다. 궁극적으로 본 연구는 통계적 차익거래와 DRL 실행 정책을 결합한 하이브리드 구조를 제시함으로써 계량 금융 문헌에 기여한다. 나아가 결정론적 쉴딩을 통한 안전 강화학습을 적용하며, 그 결과는 신경망 정책을 통계적으로 견고한 경계에 고정하는 것이 심각한 발산 위험을 완화함을 시사한다.