PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20737v1cs.AI

반복적 공유 접근은 그록킹을 가능하게 하지만, 편집 전파는 세밀한 주소 지정 가능 메모리에 달려 있다

Repeated Shared Access Enables Grokking, but Edit Propagation Depends on a Fine-Grained Addressable Memory

우리는 통제된 합성 지식 그래프 QA 설정에서 사실 편집 전파를 연구하며, 루프 순환(loop recurrence)과 공유 메모리 접근을 교차하는 네 가지 아키텍처를 비교한다: dense(Dense), looped(Loop), 공유 메모리를 갖춘 dense(Dense+Mem), 공유 메모리를 갖춘 looped(LMC). Dense는 분포 내(in-distribution) 2-hop 구성을 학습하지만 OOD(분포 밖)에서는 실패한다. looped 재계산과 메모리 재읽기 모두 이 OOD 그록킹 장벽을 넘으며, 이는 특정 아키텍처가 아니라 반복적 공유 접근이 학습의 공통 요소임을 시사한다. 그러나 편집은 다른 축을 따라 기질(substrate)을 구분한다. 공유된 편집 전 정답 분포 내(in-distribution) 세트에서, 단일 행 사실 편집은 두 메모리 보유 셀(LMC 0.78–0.92, Dense+Mem 0.71–0.96)에서는 강하게 전파되고 나머지(Loop 0.04–0.30, Dense 0.00–0.03)에서는 약하게만 전파된다. 이 분리는 통계적으로 명확하다(메모리 셀과 비메모리 셀 간 Mann-Whitney p=0.008, 두 메모리 셀 간 p=0.55. 다만 n=5 vs n=5로 중간 수준의 격차를 배제하기에는 검정력이 부족하다). LMC에서는 원자적 사실이 구성(composition)이 재읽는 지배적 메모리 사이트에 국한(localize)되며, LMC 자체의 편집 전 정답 프로브에 대한 단일 행 값 편집은 100% 직접 성공과 평균 0.989의 의도된 전파를 달성하면서 관련 없는 사실은 약 0.1%의 경우에만 이동한다(기질 간 일치된 특이성(specificity)은 아직 검증 대기 중). 거친 hold-answer-subspace(HOLDANS) 교환 진단은 이 순서와 일치하며, 기질을 구분하는 것은 편집된 사실이 언제 주입되는지와 이후 재사용하기 위해 남는 계산량임을 시사한다. 이 결과는 학습 능력과 편집 affordance(편집 지원)를 분리한다. 반복적 공유 접근만으로 그록킹하기에 충분하지만, 편집 전파는 전방 계산이 쓰고 나중에 재읽을 수 있는 세밀한 주소 지정 가능 메모리를 기질이 노출하는지에 달려 있으며, 이는 루프 순환이 부분적으로만 제공하는 affordance이다.