Reward serves as the primary learning signal in reinforcement learning (RL). However, while reward magnitudes are typically held fixed throughout training, their temporal modulation remains underexplored. In this paper, we propose reward inflation, a gradual scaling of rewards over the course of training, and show that it can act as a healthy stimulus for RL. Theoretically, reward inflation induces an implicit recency weighting that upweights recent transitions during policy updates, enabling faster adaptation. We further show that reward inflation suppresses the emergence of dormant neurons by sustaining gradient signals as the policy saturates, suggesting a possible contribution to plasticity preservation. Empirical results on ALE games and MuJoCo tasks corroborate these findings, showing that an appropriate level of reward inflation benefits a broad range of tasks. Finally, we introduce Fed, an adaptive variant that adjusts the inflation level on the fly, and find that it often improves upon fixed inflation. Source code is available at https://github.com/northadventure/RewardInflation.
체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.
정렬되지 않은(misaligned) 인공 에이전트는 종료(shutdown)에 저항할 수 있다. 제안된 해결책 중 하나는 서로 다른 길이의 궤적(trajectory) 사이에 선호도를 갖지 않도록 에이전트를 학습시키는 것이다. 동일 길이 궤적에 대한 할인 보상(DReST, Discounted Reward for Same-Length Trajectories) 보상 함수는 에이전트가 동일한 길이의 궤적을 반복해서 선택하는 것에 페널티를 부여함으로써 이를 수행하며, 따라서 에이전트가 (1) 서로 다른 궤적 길이 사이에서 확률적으로 선택하고(궤적 길이에 대해 중립적(NEUTRAL)이어야 함), (2) 각 궤적 길이에 조건화되어 목표를 효과적으로 추구하도록(유용(USEFUL)해야 함) 유도한다. 본 논문에서는 DReST를 사용하여 심층 강화학습(RL) 에이전트를 학습시키고 4개의 대규모 언어 모델(LLM, Qwen3-14B, Gemma 4 12B, Granite 4.2 8B, gpt-oss-20b)을 미세조정하여 중립적이고 유용하도록 만든다. 우리는 이러한 DReST 모델들이 테스트 시점에 보지 못한 컨텍스트에서도 중립적이고 유용하도록 일반화됨을 발견했다. 실제로 DReST RL 에이전트는 테스트 세트에서 기본 에이전트보다 11%(PPO) 및 17%(A2C) 더 높은 유용성을 달성한 반면, DReST LLM은 거의 최대치에 가까운 유용성을 유지하면서도 높은 중립성을 달성했다. 또한 우리는 LLM이 종료 발생 시점에 영향을 미치기 위해 비용을 지불할 수 있는 분포 외(OOD, out-of-distribution) 설정에서 모델을 테스트했다. 기본 미세조정과 비교했을 때, DReST 미세조정은 4개의 모든 LLM에서 종료에 영향을 주기 위해 비용을 지불하는 답변의 비율을 5~20%포인트 낮추었으며, 종료에 영향을 미쳐 얻는 이득이 작은 경우에는 17~27포인트 낮추었다. 따라서 우리의 결과는 DReST가 유용하면서도 종료 가능한 더 진보된 에이전트를 학습시키는 데 사용될 수 있다는 초기 증거를 제공한다.
보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.
강화학습(RL)으로 대규모 언어 모델(LLM)을 학습시킬 때, 종단 보상(terminal reward)은 어떤 스텝이 중요한지에 대한 지침을 거의 제공하지 못합니다. 스텝 단위의 기여도(credit)를 부여하는 일반적인 방법들은 수정되지 않은 실수 위에 쌓인 작업은 낭비되는 반면, 독립적인 작업은 여전히 유효하다는 점을 간과합니다. 최종 성공/실패 보상만 주어질 경우, 실패한 에피소드의 모든 스텝은 비록 진전을 이루었더라도 미래 총 보상이 0이 됩니다. 본 논문에서는 태스크의 진행 상황을 선행 조건 관계로 연결된 술어(predicate)로 표현하고 의존성 그래프상에서 스텝 레벨의 기여도를 할당하는 의존성 인식 보상 형성(Dependency-Aware Reward Shaping, DARS)을 제안합니다. 주석기(annotator)는 각 스텝이 어떤 술어를 검증(verify), 무효화(invalidate) 또는 복구(repair)하는지 표시합니다. 검증된 술어는 가장 가까운 깨진 선행 조건과의 그래프 거리에 따라 할인되며, 독립적인 술어는 영향을 받지 않습니다. 복구 작업은 남아 있는 오류를 기반으로 이러한 가중치를 업데이트하며, 무효화된 술어는 기여도를 다시 얻기 위해 재검증이 필요합니다. 고정된 포텐셜(potential)은 이러한 주석을 부호가 있는 스텝별 보상으로 변환합니다. 공통 보상 및 주석 인터페이스 덕분에 DARS는 롤아웃(rollout) 전략이나 옵티마이저를 변경하지 않고도 GiGPO, ARPO/AEPO와 같은 다양한 추론 및 에이전트 학습 방법에 통합될 수 있습니다. 5가지 태스크 제품군과 1.5B부터 8B까지의 모델 전반에서, DARS는 동일한 예산 및 하네스로 학습된 GiGPO 대비 성공률을 최대 10포인트 향상시키고(ALFWorld), WebShop 태스크 점수와 Search-R1 QA 정확도를 높이며, Python 인터프리터를 활용한 AIME24/25에서의 AEPO 엔트로피 기반 학습을 보완하고, 1.7B 및 4B의 제어된 도구 미사용(tool-free) 추론 비교에서 OmniOPD를 능가합니다. 소거 연구(ablation study)는 스텝 레벨 기여도, 의존성 감쇠, 그래프 토폴로지가 각각 성능에 기여함을 보여줍니다. ALFWorld에서 증류된 8B 주석기는 API 주석기와 동등한 성능을 보여, DARS가 프론티어 판별 모델(frontier judge) 없이도 효율적으로 실행될 수 있도록 합니다. 코드는 https://github.com/JianhuiWei7/DARS 에서 확인할 수 있습니다.
협업 토폴로지(collaboration topology)는 LLM 기반 멀티 에이전트 시스템의 성능과 실행 비용을 모두 좌우한다. 과제마다 복잡도와 요구되는 역량이 다르기 때문에, 최근 접근법들은 에이전트의 참여 여부와 정보 흐름을 명시하는 과제별 협업 그래프를 생성한다. 그러나 대표적인 토폴로지 생성기들은 조직 전체에 걸쳐 개별 에이전트 또는 사전에 정의된 그룹 중 하나만을 사용하므로, 하위 과제마다 달라지는 협업 요구를 간과한다. 우리의 핵심 통찰은 각 기능적 역할(functional role)마다 세분성(granularity)을 국소적으로 선택하여, 하나의 조직 안에서 세밀한 제어와 재사용 가능한 협업 패턴을 결합하는 것이다. 이러한 조직을 학습하려면 조합적으로 방대한 구성 공간을 탐색해야 하는데, 최종 답변에 대한 보상만으로는 중간 피드백이 제한적이다. 이에 우리는 혼합 세분성 그래프 생성을 위한 조밀한 보상(dense-reward) 강화학습 프레임워크인 MAGIC을 제안한다. 구체적으로, MAGIC은 기능적 역할을 순차적으로 선택하고, 이를 단일 에이전트 또는 재사용 가능한 그룹으로 인스턴스화한 뒤, 기존 유닛에 연결하는 방식으로 혼합 세분성 에이전트 그래프를 구성한다. 우리는 현재 정책에서 샘플링한 궤적(trajectory)의 리턴(return)을 사용해 구성 정책을 직접 최적화하며, 누적 과제 보상은 보존하면서 프로브 기반 유용성 신호와 구조적 신호로부터 중간 피드백을 제공하기 위해 포텐셜 기반 보상 셰이핑(potential-based reward shaping)을 사용한다. MAGIC은 여덟 개의 벤치마크에서 최신 기준선(baseline)들을 능가하며, 효율성 연구에서 뛰어난 추론 효율성을 보여준다.
희소 보상(sparse reward)의 장기 지평(long-horizon) LLM 에이전트에 대해 단계별 밀집(dense) 감독은 매력적인 해결책이다. 에이전트가 다음 관측을 예측하도록 보상하면 기억(memory)이 따라올 것이라는 것이다. 우리는 그룹 정규화(group-normalized) 강화학습(RL), 즉 GRPO 하에서 이 방법이 단순히 실패하는 것을 넘어 정책(policy)을 파괴한다는 것을 보인다. ALFWorld에서 Qwen3-1.7B/4B/8B 전반에 걸쳐, 잠재 기반(potential-based) 예측 보상은 모든 실행을 퇴화된 흡수 상태(degenerate absorbing state)로 몰아넣는다(예측 정확도 → 1.0, 과제 성공률 → 0, 에피소드 길이가 지평(horizon)에 고정): 옵티마이저가 자동으로 구축한 "어두운 방(dark room)" 병리(pathology)이다. 단일 요인 절제(ablation) 실험이 원인을 특정한다. GRPO의 표준편차(std) 정규화만 제거하면 동일한 보상이 재앙적(0%)에서 기준선과 동등한 수준으로 바뀐다. 두 줄의 명제(proposition)가 그 이유를 설명한다. 전부 실패(all-fail) 그룹에서 z-점수화(z-scored) 이점(advantage)은 보상 형성(shaping) 계수에 불변(invariant)하므로, 유계(bounded) 보상이 무계(unbounded) 압력이 되고 어닐링(annealing)도 도움이 되지 않는다. 우리의 핵심 통찰은 이를 일반화한다. z-점수화가 증폭하는 것은 밀집 신호의 그룹 내 분산이며 전부 실패 그룹이 지배적이므로, 숙련(mastery)에 따라 분산이 감소하는 신호는 구조적으로 증폭기-안전(amplifier-safe)하다. 이 분산 프로필(variance-profile) 기준은 우리의 붕괴를 사후 예측(retrodict)하고, 아직 실행되지 않은 실험 arm에 대한 사전 등록(preregistered) 예측을 담으며, 게재된 보상 채널 성공 사례와 일치한다(독립적 검증이 아닌 호환성 점검). 마지막으로, 통제된 신호 전달(signal-delivery) 행렬(동일한 신호, 소비(consumption) 메커니즘만 변화)은 보상 채널이 기껏해야 중립적이고 보조 손실(auxiliary-loss) 채널이 ~20점을 얻는다는 것을 보여준다. 셔플된 정답(shuffled-gold) 위약(placebo)이 정답(true-gold) arm과 일치하므로, 정답 레이블 없이도 격차는 유지된다. 최종 측정값(endpoint)은 단일 시드(single-seed)이며, 시드 복제(seed replication)와 그룹 크기(group-size) 통제는 사전 등록되어 진행 중이다.
최신 지각 기반 다리 로봇 강화학습 컨트롤러는 일반적으로 (i) 동작 공간을 제한하고, 정책 최적화에 바이어스를 유발하며, 로봇 형태 간 적응성을 제한하는 오실레이터 또는 IK(역기구학) 기반 보행 사전분포를 부과하거나, (ii) "맹목적(blind)"으로 동작하여 뒷다리 지형을 예측하지 못하고 관측 노이즈에 취약하다. 우리는 보상 shaping을 통해 보행 구조를 강제하는 지각 인식 딥 강화학습 접근법인 Phase-Guided Terrain Traversal(PGTT)을 제안한다. 이는 오실레이터 또는 IK 조건화 동작 사전분포에 비해 귀납적 바이어스(inductive bias)를 줄인다. PGTT는 각 다리의 위상(phase)을 3차 Hermite 스플라인으로 인코딩하고, 스윙(swing) 높이를 국소 heightmap 통계에 맞게 조정하며, 스윙 위상 접촉(contact) 페널티를 추가한다. 한편 정책은 형태 무관(morphology-agnostic) 배포를 위해 관절(joint) 공간에서 직접 동작한다. MuJoCo(MJX)에서 절차적으로 생성된 계단형 지형 위에서 커리큘럼 학습(curriculum learning)과 도메인 랜덤화(domain randomization)로 학습된 PGTT는, 밀침(push) 교란 하에서 평가된 기준선 중 최고 성공률(차선 기준선 대비 중앙값 +7.5%)과 이산 장애물(+9%)에서 달성하며, 유사한 속도 추적(velocity tracking)을 유지한다. 우리는 실시간 LiDAR 고도-heightmap 파이프라인을 사용하여 Unitree Go2에서 PGTT를 검증하고, 동일한 하이퍼파라미터로 ANYmal-C에 대한 예비 결과를 보고한다. 이 결과는 지형 적응형·위상 기반 보상 shaping이 플랫폼별 정책 사전분포나 광범위한 재튜닝 없이 플랫폼 간 전이(transfer)될 수 있다는 초기 증거를 제공한다.
분산 데이터 센터에서 AIGC 워크로드의 모델 이질성과 암묵적 서비스 품질 평가 문제를 해결하기 위해, 서비스 품질의 명시적 수학적 특성화와 GPU DVFS·BESS·냉각 시스템을 통합한 에너지 관리 프레임워크를 제안한다. 작업 스케줄링 결정 간 강한 결합으로 인한 보상 희소성(reward sparsity) 문제를 극복하고자 확산 모델 기반 보상 형성(reward shaping) 기법을 심층 강화학습(DRL)에 결합하였으며, 실험 결과 기존 DRL 대비 누적 보상 최대 1.5배 향상 및 시스템 효용 30% 이상 개선을 달성하였다.
보상 신호나 행동 정보 없이 상태 궤적만으로 마르코프 결정 프로세스(MDP)의 상태 표현을 학습하는 프레임워크를 제안하며, 상태 간 전이에 필요한 최소 행동 수인 최소 행동 거리(MAD)를 자기지도 학습 방식으로 임베딩 공간에 구성한다. 대칭·비대칭 준계량(quasimetric)을 모두 지원하는 MadDist와 TDMadDist 알고리즘을 통해 다양한 환경에서 기존 상태 표현 방법보다 정확한 MAD 근사와 우수한 목표 도달(goal-reaching) 성능을 달성함을 실험으로 검증하였다.
정적 벤치마크의 한계를 극복하기 위해 Uber AI가 개발한 AgenticAI-Supervisor는 API 및 UI 기반의 강화학습(RL) Gym 환경으로, 환경 생성과 대규모 병렬 롤아웃 실행을 분리하고 결정론적 검증기와 LLM-as-Judge를 결합한 다차원 보상 형성으로 보상 해킹(reward hacking)을 완화한다. 고객 지원 에이전트 사례 연구에서 결과 보상만 적용 시 약 40%의 에피소드에서 제약 위반이 발생함을 확인하고, 폐루프(closed-loop) 피드백을 통해 모델 최적화의 유효성을 시연하였다.
멀티턴 LLM 에이전트 학습 시 희소한 결과 보상(outcome reward)의 느린 수렴 문제를 해결하기 위해, 밀집 과정 보상(dense process reward)으로 학습된 Agent B가 다양한 궤적을 탐색한 뒤 이를 결과 보상 기반으로 Agent A를 업데이트하는 보상 교환 메커니즘인 RSPO를 제안한다. WebShop과 ALFWorld 벤치마크에서 GRPO, PPO, GiGPO 등 다양한 강화학습 알고리즘에 적용한 결과, 일관된 성능 향상을 달성하였다.
LLM이 생성한 보상 가중치를 오프-정책 협력적 다중 에이전트 강화학습(MARL) 학습 도중 동적으로 업데이트하면 잠재력 기반 보상 형성(PBRS)의 정상성(stationarity) 가정을 위반하고 경험 리플레이 버퍼를 오염시킨다는 문제를 분석하고, 이를 해결하기 위해 단계 기반 동결 스케줄(Phase-Based Freeze Schedule)과 지수 이동 평균(EMA) 스무딩 두 가지 안정화 전략을 제안한다. QMIX 기반의 세 가지 협력 환경 실험을 통해 기준선 성능에 따라 보강(augmentative)·필수(essential)·보조(supplementary) 레짐으로 분류되는 세 가지 레짐 분류 체계를 도출하며, EMA 적용 시 보강 레짐(Simple Spread)에서 성공률이 15.2%에서 86.7%로 크게 향상됨을 보인다.
분산된 에이전트들 사이에서 협력을 유도하는 것은 다중 에이전트 강화학습(MARL) 분야에서 여전히 어려운 문제이며, 특히 사회적 딜레마 상황에서 그러하다. 이러한 상황에서는 개인의 이익이 공동선과 어긋나며, 개인적 합리성이 집단적으로 최적이 아닌 결과를 초래한다. 반면 인간은 이러한 상황에서도 서로 협력을 달성할 수 있다. 이러한 협력적 행동에 대한 일반적인 설명은 개인이 사회적 선호를 지닌다는 것이다. MARL에서 협력을 달성하기 위해, 우리는 사회심리학과 행동경제학에서 비롯된 이타적 선호(타인의 보상에 대한 인센티브)와 공정성 선호(평등에 대한 인센티브)를 통합한 새로운 효용 함수를 설계하였으며, 이를 이타적·공정성 선호(AFP, Altruistic and Fairness Preference)라 명명한다. AFP는 자신과 타인의 보상을 협력적 행동을 위한 인센티브로 변환하는 보상 공유 메커니즘이다. 우리는 두 가지 도전적인 순차적 사회적 딜레마 게임에서 표준 강화학습 에이전트 및 불평등 회피(inequity aversion) 에이전트와 비교 실험을 수행하였으며, AFP 에이전트가 기준선보다 더 많은 집단 보상과 높은 형평성을 달성하며 상호 협력에 성공함을 보여주었다. AFP의 학습 과정에서의 진행 양상을 더 깊이 이해하기 위해, 이타적 선호와 공정성 선호가 에이전트 행동에 미치는 영향을 추가로 탐구하였다. 결과는 이타적 선호가 에이전트들로 하여금 공공재에 기여하도록 장려하고, 공정성 선호가 에이전트들 사이에서 상호적 행동을 유도함을 시사한다.
정답 없이 점수 기반 최적화 과제에서 결정적 실행 피드백을 연속 보상으로 쓰는 RiVER(Ranking-induced VERifiable) 프레임워크를 제안하며, 스케일 지배와 빈도 지배를 인스턴스별 순위 비교와 보정된 보상 형성으로 완화한다. AtCoder Heuristic Contest 12개 과제로 학습한 결과 ALE-Bench에서 Qwen3-8B·GLM-Z1-9B-0414의 rating 순위를 각각 8.9%·9.4% 올렸고, 정답 없이 학습했음에도 LiveCodeBench·USACO 같은 정확한 해 벤치마크에서도 평균 2.4%·3.5% 전이 성능 향상을 보였다.
산업용 의미 기반 구직 검색에서 구직자 프로필을 구직자별 식별자를 제거하면서도 일반화 가능한 자격을 담은 이식 가능한(portable) 쿼리로 생성하기 위해 RLAIF(AI 피드백 강화학습) 프레임워크를 제시하고, LLM-as-judge 보상 루브릭 결함을 이용한 원문 복사형 보상 해킹(reward hacking) 실패 모드를 분석한다. 크리틱(critic) 없는 최적화기에서는 알고리즘 선택보다 강건한 보상 형성(reward shaping)이 성능을 좌우하며, 원문 복사를 교정하는 결정론적 규칙 기반 보상 하한선(reward floor)이 크로스 패밀리 평가 판정에서 +0.147 품질 향상을 낳고 학습 시 보상 모델이 성능 이득을 2.4배 과장함을 보인다.
경량 VLM의 이미지 쌍 선호 피드백으로 포텐셜 기반 보상 형성(PBRS)용 포텐셜 함수를 학습하는 VLM-PBRS를 제안해, 전문가가 설계한 보상 형성 없이도 최적 정책을 보존한다. Meta-World와 Franka Kitchen에서 샘플 효율이 개선되고 보상 해킹에 견고하며, VLM 선호도 레이블 정확도와 학습 가속 효과가 연관됨을 보였다.
자율 주행 고속도로 차선 변경을 위한 안전 전이 강화학습(RL) 프레임워크로, 순간 안전 비용 기반 적응적 교사 개입, 보상 형성(reward shaping)을 통한 교사 유도 학습, 가능도 비율 기반 샘플 가중 최적화를 결합해 전이 불일치와 위험한 탐험을 완화한다. 다양한 교통 밀도와 NGSIM 데이터셋 실험에서 기준선 대비 안전성 52.2% 이상, 학습 효율 5.0% 이상 향상을 보였다.
그룹 기반 강화학습(RL)으로 대규모 언어 모델(LLM) 에이전트를 장기·희소 보상 과제에 사후학습할 때, 의미적으로 유사한 중간 행동이 궤적의 최종 성공 여부만으로 서로 반대 신용(credit)을 받는 의미적 신용 불일치가 발생한다. SCPO(Semantic Consistency Policy Optimization)는 동일 롤아웃 그룹 내 성공 형제 궤적을 참조해 실패 단계의 새로운 의미적 진행에 단계별 양성 신용을 부여하는 가치 함수 없는 보상 형성(reward shaping) 방법으로, ALFWorld 93.7±4.1%·WebShop 74.8±2.0% 성공률(1.5B 파라미터)을 달성해 강한 베이스라인과 대등하거나 이긴다.
자율주행 강화학습(RL) 에이전트에서 보상 설계가 Perceiver 기반 인코더의 크로스-어텐션(cross-attention) 배분을 체계적으로 바꾸는지 Waymo Open Motion Dataset 50개 시나리오로 분석했으며, 에피소드 내 상관과 Fisher z 변환 집계가 충돌 위험과 에이전트 지향 어텐션의 양의 관계를 더 정확히 드러낸다. 내비게이션 보상은 GPS 경로 토큰 어텐션을 최대 4.7배 높이고 연속 time-to-collision(TTC) 근접 페널티는 충돌 없는 구간에서도 경계적 감시를 유지하는 학습된 경계 사전(vigilance prior)을 만들며, 보상 구성에 따라 어텐션-위험 상관 방향이 뒤집히기도 해 안전 중요 RL에서 어텐션 분석이 보상 함수의 표현 행동을 검증하는 진단 도구가 될 수 있음을 보였다.