대규모 언어 모델(LLM)은 추론 시간 연산을 확장하여 강력한 추론 성능을 달성하지만, 근본적으로 상태가 없어(stateless) 이 과정에서 생성된 풍부한 자가 생성 추론 흔적을 버립니다. 우리는 모델이 외부 감독이나 미래 데이터에 대한 접근 없이, 이러한 경험으로부터 온라인으로 학습하여 일시적인 연산(추론 흔적)을 지속적이고 재사용 가능한 지식으로 변환할 수 있는지 조사합니다. 우리는 원시 추론 흔적에 대한 문맥 내 학습(ICL)이 일반화에 실패함을 보여주며, 이는 토큰 수준 재사용의 근본적인 한계를 반영합니다. 즉, 개별 흔적은 정제(예: 자기 성찰) 후에도 전이에 필요한 추상화가 부족합니다. 대조적으로, 비지도 강화학습에 대한 최근 연구에서 영감을 받아, 우리는 자가 생성 테스트 시간 신호(다수결 투표)를 보상으로 사용하는 경량의 인스턴스별 학습이 상당한 이득을 가져옴을 발견했습니다. 이는 종종 전체 데이터셋 오프라인 학습을 능가하여, 원시 흔적에서 학습된 잠재 표현으로의 전환을 유도합니다. 이 통찰을 바탕으로, 우리는 마주친 문제에 소비된 추론 시간 연산을 기본 추론 구조를 포착하는 압축된 모듈식 잠재 기억으로 증류하는 온라인 방법을 제안합니다. 이 기억들은 미래의 입력을 위해 저장 및 검색되며, 모듈식 설계를 통해 재앙적 망각을 방지하면서 지속적인 개선을 가능하게 합니다. 중요하게도, 우리의 방법은 매우 효율적이며, 모델 파라미터의 약 0.001%에 불과한 극도로 가벼운 소프트 프롬프트 기억으로 파라미터화되고 단 몇 번의 그래디언트 스텝으로만 학습되지만, 전체 파라미터 업데이트 및 오프라인 학습과 경쟁하는 성능을 달성합니다. 도전적인 수학적 추론 벤치마크 전반에서, 우리의 접근 방식은 제로샷 및 원시 데이터 ICL 기준선을 상당히 능가하며, 데이터셋 간에 효과적으로 전이됩니다.
복잡한 확률 분포로부터 효율적으로 샘플링하는 문제는 근본적인 문제로, 최근 생성형 AI의 부상과 함께 대규모 언어 모델(LLM)의 정교한 샘플링 절차가 어려운 추론 문제를 해결하기 위해 제안됨에 따라 점점 더 관련성이 높아지고 있습니다. 그러나 이러한 샘플링 알고리즘의 효과는 LLM과 해당 특정 샘플링 작업 간의 관계에 의해 제한받으며, 이는 테스트 타임 학습(TTT) 프레임워크를 동기로 이어졌습니다. TTT는 추론(inference) 시간에 수신된 부분 생성(partial generations)과 보상(reward) 피드백에 따라 모델의 가중치를 업데이트하여 작동하며, 이를 통해 특정 문제에 적응합니다. 본 연구에서는 $μ^\star$에 대한 근사 밀도 추정치를 제공하는 오라클(oracle) $\hat μ$가 주어졌을 때, 알려진 분포 클래스 ${F}$에 속하는 주어진 확률 측도 $μ^\star$로부터 샘플을 생성하는 문제로서 TTT의 형식화를 제안합니다. 이는 Jerrum, Valiant & Vazirani (1986)와 Jerrum & Sinclair (1989)의 획기적인 연구에서 다루어진 샘플링을 근사 계수(approximate counting)로 축소하는 문제와 밀접하게 관련되어 있습니다. 즉, ${F}$가 모든 분포의 클래스인 경우, 이는 앞서 언급한 계수-샘플링 축소(counting-to-sampling reduction)와 정확히 일치합니다. 본 논문에서는 먼저 $\hat μ$에 대한 쿼리 접근이 주어졌을 때 $μ^\star$로부터 샘플링하는 쿼리 복잡도에 대한 이차 하한(quadratic lower bound)을 보여줍니다(충분히 큰 클래스 ${F}$에 대해). 이를 통해 Jerrum & Sinclair (1989)가 제안하고 Hayes & Sinclair (2010)가 개선한 랜덤 워크(random walk) 접근법이 최적임을 입증합니다. 이는 Hayes & Sinclair가 제기한 미해결 문제에 대한 답이 됩니다. 그 후, ${F}$의 크기가 적절하게 제한된 경우 이 하한을 우회할 수 있음을 보여줍니다. 논의하는 바와 같이, 후자의 결과는 TTT의 추상화로 볼 수 있으며, 따라서 TTT를 위한 원칙에 기반한 이론적 프레임워크 개발의 시작점을 나타냅니다.
긴 문맥 질의응답(QA)은 답변을 포함하는 증거가 이미 입력에 존재하더라도 소형 언어 모델에게는 여전히 어려운 문제로 남아 있습니다. 기존의 문맥 내 검색 방법들은 질문에 대한 후보 증거 청크를 찾아내어 노출하지만, 모델이 전체 문맥 위치에 어텐션을 할당하는 방식을 제어하는 쿼리 측 어텐션 파라미터를 적응시키는 대신 입력 수준의 증거 노출에서 멈춥니다. 대조적으로, 쿼리 전용 테스트 타임 학습(qTTT)과 같은 경량 테스트 타임 적응 방법들은 일반적인 구간(span) 수준 자기 지도 목적 함수가 현재 답변을 지원하는 문맥 위치를 식별하지 못하기 때문에 증거 위치 파악을 미해결 상태로 둡니다. 본 논문에서는 선택된 증거 청크를 해당 토큰 위치에 대한 소프트 어텐션 지도(supervision) 타겟으로 변환하는 문맥 내 검색 증강 테스트 타임 학습 프레임워크인 증거 정렬 선택적 테스트 타임 학습(EASE-TTT)을 제안합니다. 검색된 청크로 전체 문맥을 대체하는 대신, EASE-TTT는 결과로 생성된 어텐션 타겟을 사용하여 쿼리 측 적응을 안내하며, 적응된 모델은 원본 전체 문맥에서 최종 답변을 생성합니다. 6개의 LongBench QA 태스크와 3개의 소형 디코더 전용 언어 모델에 대한 실험 결과, EASE-TTT는 전체 문맥 추론, 검색 전용 기준선(baselines), qTTT 중에서 가장 강력한 매크로 평균 성능을 달성하여 긴 문맥 QA에서 증거 정렬 테스트 타임 적응을 뒷받침합니다.