PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29522v1cs.LG

모델은 자신이 쓴 것을 읽는가? 스크래치패드 추론에서의 인과적 레지스터

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

스크래치패드(scratchpad)에 기록된 중간 상태가 모델의 실제 계산에 인과적으로 연결되어 있는지 검증하기 위해, 알려진 전이 규칙을 가진 유한 상태 추적 태스크에서 스크래치패드 텍스트는 고정한 채 내부 표현만 편집하는 활성화 패칭(activation patching) 실험을 수행했다. 중간 상태를 기록하도록 파인튜닝된 Qwen2.5-Coder-7B 모델은 편집된 상태로부터 올바른 다음 상태를 80~91%의 정확도로 예측하여, 기록된 상태가 단순한 텍스트가 아닌 실제 계산 레지스터(register)로 기능함을 보였다.