강화학습에서 critic은 일반적으로 절대 상태 가치 $V(s)$를 추정하여, 특정 상황이 고립적으로 얼마나 좋은지를 평가한다. 그러나 제어에 실제로 관련 있는 것은 가치의 차이뿐이라는 점이 밝혀졌다. 이에 동기를 얻어, 반대칭 함수 $Δ(s_i, s_j) = V(s_i) - V(s_j)$를 통해 가치 차이를 직접 학습하는 프레임워크인 상대 가치 학습(Relative Value Learning, RV)을 제안한다. 우리는 쌍wise Bellman 연산자를 도입하고, 이것이 고유 고정점이 실제 가치 차이와 같음을 갖는 $γ$-수축임을 증명하며, 적절히 정의된 1-step, n-step 및 $λ$-return 타깃을 유도하고, 쌍wise 차이로부터 일반화된 advantage estimation을 재구성하여 편향되지 않은 정책 그래디언트 추정량(R-GAE)을 얻는다. 이론적 결과를 넘어, RV를 PPO와 통합하여 표준 PPO와 비교했을 때 Atari 벤치마크(49개 ALE 게임)에서 경쟁력 있는 성능을 달성하였으며, 이는 상대 가치 추정이 절대 critic에 대한 효과적인 대안임을 시사한다.
월드 모델은 보통 모델 기반 강화학습(MBRL) 시스템의 구성 요소로 평가되지만, 월드 모델 자체는 단독으로 연구되는 경우가 드뭅니다. Atari Pong에서 다섯 가지 대표적인 시각적 월드 모델 에이전트인 DreamerV3, DIAMOND, TWISTER, Simulus, STORM을 조사합니다. 보고된 에이전트 성능과 일치하도록 각 학습 파이프라인을 재현한 뒤, 학습된 월드 모델을 고정하고 폐루프(closed-loop) 롤아웃 진단으로 평가합니다. 이는 해당 MBRL 에이전트와 별도로 학습된 정책이 각 고정 모델과 상호작용하고, 생성된 영상 궤적을 시각적·동역학적 오류 관점에서 검사하는 방식입니다. 다섯 모델 모두에서 롤아웃은 공 사라짐, 잘못된 공 움직임, 잘못된 공-패들 상호작용 등 명확한 실패를 포함합니다. 시각 궤적을 넘어, 고정된 월드 모델 내부에서만 새 정책을 전적으로 학습한 후 실제 환경에서 평가하는 픽셀 공간 제로샷 MBRL로 추가 평가합니다. 다섯 모델 모두에서, 그렇게 얻은 정책은 해당 원래 MBRL 학습 파이프라인에서 얻은 정책보다 실질적으로 낮은 성능을 보입니다. 그 격차는 DreamerV3에서 특히 큰데, 평균 리턴이 -5.5에서 -20.9로 떨어져 Pong의 최소 리턴인 -21에 근접합니다. Pong의 공과 같은 과제 핵심 개념에 대한 모델링이 불충분한 것이 이러한 실패에 기여할 수 있다고 가설을 세웁니다. 이에 분할된 개념 영역에 적용하는 보조 픽셀 재구성 손실인 Concept-Guided Spatial Regularization(CGSReg)을 제안합니다. 실험 결과 CGSReg는 DreamerV3, DIAMOND, TWISTER에서 폐루프 롤아웃과 픽셀 공간 제로샷 MBRL을 모두 개선합니다. 나머지 모델과 평가 지표에 따라 효과는 달라지며, CGSReg만으로는 모든 월드 모델 병목을 해결하지 못함을 보여줍니다.
설명에는 ground truth가 필요하다. 시스템에 대한 설명을 검증하려면 그 내부 동작을 알아야 하는데, 이것이 바로 설명 가능 AI(XAI)가 가장 필요한 곳에서 결여되어 있다. 연구할 수 있는 시스템은 두 부류로 나뉜다. 의사결정나무, 규칙 목록, 희소 선형 모델 같은 단순하고 절차적인 것들은 메커니즘이 알려져 있지만 trivial해서, 이들을 설명하는 것은 아무것도 검증하지 않는다. 딥 네트워크나 실세계 과제 같은 진정으로 복잡한 것들은 XAI가 필요하지만 ground-truth 내부 동작이 없어, 설명이 그럴듯하고 자신감 있게 틀릴 수 있으며 이를 판별할 방법이 없다. 우리는 진정으로 복잡하고 완전히 명세되어—설계상 검사 가능하고—그래디언트 방법이 적용되도록 완전히 미분 가능한 연구 대상으로 이 이분법을 제거한다. Atari 2600 Video Computer System(VCS)—실제 컴퓨터 아키텍처이자 딥 강화학습의 요람—을 Julia(jutari)와 JAX(jaxtari)로 각각 독립적인 end-to-end 미분 가능 에뮬레이터 두 개로 재구현했으며, 각각 xitari에 대해 비트 단위로 검증했다. 둘 다 지원되는 64개 Arcade Learning Environment(ALE) 게임 전체에서 xitari를 재현한다: RAM 64/64 바이트 동일, 화면 64/64 픽셀 동일. 카트리지 ROM을 가중치 텐서로, RAM을 soft tape로, 제어 흐름을 게이트로 취급하여, 유한 온도에서 순전파 시 미분 가능(soft) 실행이 원본(hard) 실행과 비트 단위로 동일함을 증명하고, 비트 논리에는 그래디언트가 없는 곳에서 대리 그래디언트(surrogate gradient)를 노출한다. JAX 포트는 GPU 경로도 연다: 배치 미분 가능 롤아웃이 상용 GPU 하나에서 수백만 환경(environment) 스텝/초에 달한다. 이 시스템은 29달력일 동안 약 137시간의 실 작업으로 구축되었으며, 상당 부분은 코딩 에이전트가 자율적으로 작성했다. 본 논문은 기반을 구축·검증하며, 이론적으로 그리고 정성적 그래디언트 연구를 통해 이 위에서 그래디언트 기반 XAI가 실현 가능함을 보인다. 두 포트의 전체 코드는 MIT 라이선스로 https://github.com/akmaier/UnderstandingVCS 에서 이용 가능하다.