From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents
대규모 언어 모델(LLM) 에이전트의 다단계 순차 작업 수행 과정에서 각 단계별 성공·실패 방향이 활성화 공간 내에 선형 분리 가능한 형태로 내재되어 있음을 단계별 보상 모델링과 등각 예측(conformal prediction)을 결합한 해석 가능성 프레임워크로 검증하였다. ScienceWorld 및 AlfWorld 환경에서 Llama-2 에이전트를 대상으로 실험한 결과, 선형 프로브(linear probe)가 높은 정확도로 성공·실패 표현을 구별하였으며, 식별된 성공 방향으로 모델을 유도(steering)함으로써 에이전트 성능이 개선됨을 보였다.