미분 가능한 Atari VCS: 설명 가능 AI를 위한 복잡하고 완전히 알려진 ground truth
A Differentiable Atari VCS:A Complex, Fully Known Ground Truth for Explainable AI
설명에는 ground truth가 필요하다. 시스템에 대한 설명을 검증하려면 그 내부 동작을 알아야 하는데, 이것이 바로 설명 가능 AI(XAI)가 가장 필요한 곳에서 결여되어 있다. 연구할 수 있는 시스템은 두 부류로 나뉜다. 의사결정나무, 규칙 목록, 희소 선형 모델 같은 단순하고 절차적인 것들은 메커니즘이 알려져 있지만 trivial해서, 이들을 설명하는 것은 아무것도 검증하지 않는다. 딥 네트워크나 실세계 과제 같은 진정으로 복잡한 것들은 XAI가 필요하지만 ground-truth 내부 동작이 없어, 설명이 그럴듯하고 자신감 있게 틀릴 수 있으며 이를 판별할 방법이 없다. 우리는 진정으로 복잡하고 완전히 명세되어—설계상 검사 가능하고—그래디언트 방법이 적용되도록 완전히 미분 가능한 연구 대상으로 이 이분법을 제거한다. Atari 2600 Video Computer System(VCS)—실제 컴퓨터 아키텍처이자 딥 강화학습의 요람—을 Julia(jutari)와 JAX(jaxtari)로 각각 독립적인 end-to-end 미분 가능 에뮬레이터 두 개로 재구현했으며, 각각 xitari에 대해 비트 단위로 검증했다. 둘 다 지원되는 64개 Arcade Learning Environment(ALE) 게임 전체에서 xitari를 재현한다: RAM 64/64 바이트 동일, 화면 64/64 픽셀 동일. 카트리지 ROM을 가중치 텐서로, RAM을 soft tape로, 제어 흐름을 게이트로 취급하여, 유한 온도에서 순전파 시 미분 가능(soft) 실행이 원본(hard) 실행과 비트 단위로 동일함을 증명하고, 비트 논리에는 그래디언트가 없는 곳에서 대리 그래디언트(surrogate gradient)를 노출한다. JAX 포트는 GPU 경로도 연다: 배치 미분 가능 롤아웃이 상용 GPU 하나에서 수백만 환경(environment) 스텝/초에 달한다. 이 시스템은 29달력일 동안 약 137시간의 실 작업으로 구축되었으며, 상당 부분은 코딩 에이전트가 자율적으로 작성했다. 본 논문은 기반을 구축·검증하며, 이론적으로 그리고 정성적 그래디언트 연구를 통해 이 위에서 그래디언트 기반 XAI가 실현 가능함을 보인다. 두 포트의 전체 코드는 MIT 라이선스로 https://github.com/akmaier/UnderstandingVCS 에서 이용 가능하다.