PyTorchKR Papers

최신 논문

총 23편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15813v1cs.CV

ChangeT$^3$: 원격 탐사 변화 탐지를 위한 비전 테스트 시간 학습 평가

ChangeT$^3$: Evaluating Vision Test-Time Training for Remote Sensing Change Detection

양시성(bitemporal) 원격 탐사 변화 탐지에는 촬영 시점 간의 변화와 관련된 문맥 정보를 포착하면서도 공간적 세부 정보를 보존하는 표현이 필요합니다. 시각적 테스트 시간 학습(visual test-time training)은 소형 내부 모델(inner model)을 각 이미지에 적응시킴으로써 명시적인 토큰 간 어텐션(token-to-token attention)에 대한 대안을 제시합니다. 본 논문(letter)에서는 기존의 계층적 ViT$^3$-Tiny 인코더와 다중 스케일 ChangeFormer 디코더를 결합한 바닐라 샴(Siamese) 구성인 ChangeT$^3$를 설명합니다. 두 이미지 스트림은 학습된 인코더 매개변수를 공유하는 반면, 이들의 빠른 가중치(fast weights)는 각자의 공간적 특징으로부터 독립적으로 계산됩니다. 각 인코더 블록은 계승된 전역 단순화 SwiGLU 및 국소 적응형 깊이별 합성곱(depthwise-convolution) 분기를 유지합니다. 시간적 비교는 디코더를 통해 네 가지 해상도에서 쌍을 이루는 특징들의 학습된 융합을 거쳐 수행되며, 이후 조방(coarse)-정밀(fine) 집계 및 이진 예측이 이어집니다. 이러한 분리는 추가적인 시간적 상호작용 모듈을 도입하지 않고도 이미지 조건부 내부 업데이트를 검토할 수 있는 직접적인 환경을 제공합니다. ChangeFormer 대조군과 동일한 디코더, 학습 레시피 및 계산 비용(budget)으로 LEVIR-CD+에서 처음부터 학습(trained from scratch)했을 때, ChangeT$^3$는 80.61$\pm$0.90의 F1 점수를 기록하여 ChangeFormer의 78.84$\pm$0.21과 대비되는 성능을 보였습니다(각각 세 개의 시드 기준). 본 데이터셋의 표준 프로토콜에 따라 체크포인트는 테스트 분할에서 선택되었습니다. 두 내부 업데이트를 모두 비활성화한 상태로 학습한 동일 인코더는 78.63$\pm$0.20을 기록했습니다. 두 모델 모두 SYSU-CD, DSIFN-CD 또는 WHU-CD로 제로샷(zero-shot) 전이되지 않으며, ChangeT$^3$는 매개변수 및 연산 수가 유사함에도 불구하고 작은 입력 크기에서 둘 중 더 느립니다.

arXiv:2610.13660v1cs.LG

ARC를 위한 사전학습과 테스트 시점 학습 예산의 중요성: VARC와 TRM에 대한 통제 연구

Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM

추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)는 신경망이 적은 수의 시연(demonstration)으로부터 과제별 변환을 추론할 수 있는지를 평가하는 데 점점 더 많이 사용되고 있다. 최근의 ARC 모델들은 아키텍처뿐만 아니라 사전학습 데이터, 데이터 증강, 테스트 시점 설정, 최적화 예산을 포함한 더 넓은 학습 및 평가 프로토콜에서도 차이를 보이며, 이로 인해 아키텍처의 이점에 대한 결론이 논쟁의 여지가 있다. 본 연구에서는 ARC-AGI-1에 대한 공통된 귀납적 프로토콜 하에서, 비전에서 영감을 받은 VARC 모델과 재귀 기반 TRM 모델의 성능이 사전학습 및 테스트 시점 학습(test-time training, TTT) 예산에 의해 어떻게 영향을 받는지를 연구한다. 각 테스트 과제에 대해 다섯 가지 사전학습 예산과 네 가지 TTT 예산을 교차시킨다. 각 예산은 과제 변형 수와 총 샘플 제시 횟수를 지정하며, 이를 통해 통제된 학습 예산을 정의한다. TTT 샘플 제시 횟수를 늘리면 두 모델 모두에서 모든 설정에서 표준 ARC pass@2 지표가 향상되는 것을 관찰하였다. TTT 과제 변형 수를 늘리는 것은 TRM에만 일관되게 도움이 되는 반면, VARC는 변형 수가 더 적을 때 더 좋은 성능을 보이는 경우가 많다. 또한 VARC는 사전학습 없이도 경쟁력을 유지하는 반면, TRM은 사전학습으로부터 훨씬 더 많은 이점을 얻는다. 이러한 결과는 사전학습과 TTT 예산이 ARC 평가에 영향을 미친다는 것을 보여주며, 비교 가능한 예산 수준에서 결과를 보고할 필요성을 제기한다.

arXiv:2610.10960v1cs.CV

LVSPM: 긴 시퀀스 뷰 합성 및 포즈 추정 모델

LVSPM: Long Sequence View Synthesis and Pose Estimation Model

본 논문은 보정되지 않은(uncalibrated) 이미지 집합으로부터 카메라 포즈를 추정하고 새로운 뷰(novel view)를 합성하는 작업을 동시에 수행하는 일반화 가능한 모델인 LVSPM을 제안한다. LVSPM은 RGB 이미지와 포즈 감독(supervision)만으로 학습되며, 밀집(dense) 3D 정답(ground truth)을 필요로 하지 않고, 테스트 시점 학습(test-time training, TTT) 레이어를 사용하여 수백 개의 입력 뷰로도 원활하게 확장된다. RealEstate10k, Co3Dv2, DL3DV 데이터셋에서 LVSPM은 16~256개 뷰 구간에서 포즈 추정 성능이 VGGT를 능가하며, 특히 엄격한(strict) 임계값(threshold)에서 그 격차가 더욱 크게 나타난다. 더 많은 뷰가 더 큰 장면(scene)을 포괄하는 실용적인(practical) 프로토콜 하의 새로운 뷰 합성(novel view synthesis)에서, LVSPM은 포즈를 사용하지 않는(pose-free) 방식으로 최고 수준(state-of-the-art)의 품질을 달성하며---PSNR 기준으로는 포즈에 의존하는(pose-dependent) 모델조차 능가한다---장면 규모가 커질수록 기준선(baseline) 모델들의 성능이 붕괴되는 것과 달리 높은 품질을 계속 유지한다. 코드는 https://burningdust21.github.io/Projects/LVSPM 에서 확인할 수 있다.

arXiv:2607.15271v2cs.CV

동적 신규 시점 합성을 위한 온라인 신경 시공간 메모리

Online Neural Space Time Memory for Dynamic Novel View Synthesis

다중 뷰 스트리밍 비디오 기반의 온라인 신규 시점 합성(novel view synthesis)은 근본적인 트레이드오프에 직면합니다. 즉, 엄격한 실시간 제약 조건 하에서 작동하면서도 일시적으로 가려진 영역을 재구성하기 위해 영구적이고 장기적인 메모리를 유지해야 한다는 점입니다. 테스트 시간 학습(Test-Time Training, TTT)은 강력한 메모리 메커니즘을 제공하지만, 표준 모델들은 동적 장면의 변화하는 모션에 적응하기 위해 매 프레임마다 그래디언트 기반 메모리 업데이트를 요구합니다. 이처럼 과도한 메모리 업데이트에 드는 연산 비용은 실시간 적용을 불가능하게 만들며 장기 컨텍스트에서 불안정성을 초래할 수 있습니다. 메모리 적용보다 메모리 업데이트가 더 많은 연산을 요구하고 비디오 콘텐츠에 중복성이 높다는 점에 착안하여, 본 논문은 이 두 프로세스의 주기를 분리(decouple)할 것을 제안합니다. 제안하는 방식은 메모리를 프레임 단위로 적용하면서 메모리 업데이트는 주기적으로 수행하며, 이전 메모리 상태와 현재 프레임 간의 변형을 처리하기 위해 교차 뷰 어텐션(cross-view attention)을 사용합니다. 과거 컨텍스트를 안정적으로 고정하기 위해 두 가지 핵심 메커니즘을 도입합니다. 장면의 지속적인 내재화를 강제하는 보조 메모리 손실(Memory Loss)과 활성 가중치가 치명적으로 표류(catastrophic drift)하는 것을 정규화하는 메모리 캐싱 전략입니다. 본 연구의 방법은 상각된 실시간 속도로 온라인 동적 인간 장면에서 SOTA 수준의 분 단위 메모리 지속성을 입증합니다.

arXiv:2610.01513v1cs.AI

Decision Titan: 오프라인 강화학습에서 장기 기억을 위한 테스트 시점 학습

Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning

장기 의존성(long-term dependencies)은 AI 분야의 순차적 의사결정에서 여전히 주요한 과제입니다. RNN은 그래디언트 소실(vanishing gradients) 및 벡터 기반 은닉 상태의 제한된 표현력으로 인해 어려움을 겪는 반면, 트랜스포머(Transformer) 기반 모델은 어텐션(attention)의 2차(quadratic) 스케일링으로 인해 한계를 갖습니다. 최근 연구에서는 학습(train) 및 테스트 시점 모두에서 경사하강법(gradient descent)을 통해 신경망(neural network)의 파라미터에 에피소드 기억을 저장하는 테스트 시점 학습(Test-Time Training, TTT) 프레임워크로 이 문제를 해결할 것을 제안했습니다. 이 접근법은 자연어 처리(NLP) 분야에서 성공을 거두었으나, 우리가 아는 한 강화학습(RL) 분야에는 아직 적용되지 않았으며 이러한 기억이 실제로 어떻게 기능하는지 분석한 연구도 없었습니다. 본 논문에서는 Decision Transformer에 TTT 레이어를 보강한 'Decision Titan'을 통해 오프라인 강화학습을 위한 TTT 프레임워크의 잠재력을 연구합니다. 순차적 기억을 테스트하도록 설계된 T-Maze의 확장 환경(environment)인 X-Maze에서 모델의 성능과 특성을 분석하고, 시간에 따른 게이트 값을 시각화하여 메모리 메커니즘이 어떻게 학습하는지 조사합니다. 본 연구의 주요 발견은 Decision Titan이 컨텍스트 윈도우(context window)보다 20배 더 긴 범위의 장기 의존성을 학습할 수 있고, 학습 데이터 길이의 1.7배까지 일반화할 수 있다는 점입니다. 그러나 결정적으로 시간적 일반화는 사용된 시간 임베딩에 따라 달라지며, 장기 의존성을 학습하는 능력은 관련 정보가 어떻게 인코딩되는지에 따라 달라집니다.

arXiv:2603.06642v2cs.LG

SR-TTT는 검색을 학습하지 않는다: Surprisal-Aware Residual Test-Time Training에 대한 수정 및 메커니즘적 사후 분석

SR-TTT Does Not Learn Retrieval: A Correction and Mechanistic Post-Mortem of Surprisal-Aware Residual Test-Time Training

테스트-타임 학습(TTT) 언어 모델은 추론 중에 업데이트되는 빠른 가중치로 KV-cache를 대체하여 O(1) 메모리를 달성하지만, 정확 재현 작업에서 치명적인 실패를 겪는다. 본 연구의 버전 1은 높은 surprisal 토큰을 희소 exact-attention 잔차 캐시로 라우팅하는 SR-TTT를 제안했으며, 큰 Needle-in-a-Haystack 성능 향상을 보고했다. 우리는 이러한 향상이 평가 아티팩트였음을 보인다. 손실과 지표가 한 위치 앞이 아니라 답변 위치에서 로짓을 읽어, 두 모델 모두 입력에 이미 보이는 답변을 복사하도록 학습시켰다(검색 불가능 데이터로 학습된 모델도 결함 있는 지표 하에서 100% 정확도에 도달한다). 또한 캐시는 답변 자체를 포함한 미래 토큰에 대해 비인과적으로 어텐션했다. 시작 시 인과성 자가 테스트를 포함한 수정된 구현을 공개한 뒤, SR-TTT 가설이 수정 후에도 유효한지 묻는다. 그렇지 않으며, 실패는 독립적이고 각각 측정된 두 병목으로 분해된다. 저장: surprisal 게이팅은 체계적으로 위치 편향이 있다. TTT 재구성 손실은 바늘이 상대적으로 surprisal하게 되기 전에 burn-in이 필요하므로, 초기 문맥 바늘은 거의 0에 가까운 비율(깊이 0.1에서 0–1% containment)로 저장되며, 이는 바로 장문맥 메모리가 가장 중요한 지점이다. 어드레싱: 오라클로 저장 문제를 해결하고 새로운 학습 가능한 read-time projection을 적용한 경우, 슬롯별 어텐션 supervision은 addressing mass를 2.5배(0.06 → 0.15) 높였지만 토큰 정확도는 통계적으로 변하지 않았으며, 검색은 2.30-nat 바늘 중 약 0.06 nats만 추출한다. 위치 무관 콘텐츠 어드레싱은 내용이 거의 상호 교환 가능한 순서 있는 슬롯을 해결할 수 없다. 모든 수정된 조건에서 2,250회의 쌍별 시행 전체에서 정확 일치는 0%로 남는다. 우리는 v1의 주장을 철회하고, 수정된 코드베이스, 진단 프로토콜, 부정적 결과를 surprise-gated 메모리 아키텍처에 대한 경고적 참고 자료로 제공한다.

arXiv:2607.20351v1cs.CV

비전-언어 모델의 모달리티 순서 일관성을 위한 테스트 타임 학습

Test-Time Training for Modality Order Consistency in Vision-Language Models

비전-언어 모델은 의미상 무관한 특정 변화, 즉 이미지와 질문이 제시되는 순서에 민감하다는 것을 발견했다. 세 가지 모델과 세 가지 벤치마크에 걸쳐 이미지 우선 프롬프트가 질문 우선 프롬프트보다 지속적으로 더 나은 성능을 보였으며, 이는 반복 가능한 모달리티 순서 실패를 드러낸다. 이 격차를 이용해 순서 일관적인 테스트 타임 학습 방법을 설계했다. 우리 방법은 평가된 모든 설정에서 모달리티 순서 격차를 상당히 줄인다. 놀랍게도 더 강한 이미지 우선 분기에서도 기준선 대비 일관된 성능 향상을 보여, 두 순서 배치 모두 상호 일관성을 향해 끌어올린다. 활성화 패칭(activation patching)을 통해 순서 실패가 프롬프트 순서에 따라 표현이 급격히 분기하는 좁은 중간 네트워크 영역에 국한됨을 확인했다. 테스트 타임 학습 방법이 계층 전반에 걸쳐 이러한 정렬 불일치를 수정한다는 것도 발견했다. 종합하면, 본 연구 결과는 모달리티 순서 민감성을 VLM의 회로 수준 실패로 규명하고, 단순하고 비대칭적인 테스트 타임 적응이 이를 효과적으로 완화할 뿐 아니라 기준선 대비 성능까지 향상시킬 수 있음을 보여준다.

arXiv:2607.15275v1cs.RO

RoboTTT: 로봇 정책을 위한 컨텍스트 스케일링

RoboTTT: Context Scaling for Robot Policies

최근 로봇 파운데이션 모델은 단일 스텝 또는 짧은 이력의 시각-운동(visuomotor) 컨텍스트로 동작한다. 우리는 Test-Time-Training Robot Policies(RoboTTT)를 제안하는데, 이는 시각-운동 컨텍스트를 8K 타임스텝까지 스케일링하는 로봇 모델 및 학습 레시피로, 추론 지연을 늘리지 않으면서 최첨단 정책 대비 세 자릿수(3 orders of magnitude) 수준으로 확장한다. 이 컨텍스트 길이에서 새로운 로봇 능력을 가능하게 한다: 인간 비디오 시연으로부터의 원샷(one-shot) 문맥 내(in-context) 모방, 즉석 정책 개선, 섭동(perturbation)에 대한 강건성, 그리고 다단계·장기(long-horizon) 과제에서의 더 강한 성능. 또한 사전학습 컨텍스트 길이가 스케일링될수록 폐루프(closed-loop) 성능이 꾸준히 향상되는 현상을, 처음으로 관찰한다. 핵심적으로 RoboTTT는 Vision-Language-Action(VLA) 정책과 같은 로봇 파운데이션 모델에 Test-Time Training(TTT)을 통합하여, 순환 상태가 fast weights로 구성된 시퀀스 모델을 만들어낸다. fast weights는 학습과 추론 모두에서 경사하강법으로 업데이트되는 파라미터로, 이력을 가중치 공간으로 압축하고 장컨텍스트 조건화를 위해 맥락 정보를 검색한다. 학습 컨텍스트 길이를 스케일링하기 위해, 이 레시피는 sequence action forcing과 truncated backpropagation through time(시간을 통한 절단 역전파)을 결합한다. 도전적인 실제 로봇 조작(manipulation) 과제에서 RoboTTT는 단일 스텝 컨텍스트 기준선 대비 전체 성능을 87% 향상시키고, 어떤 기준선도 완수하지 못한 5분·10단계 조립 과제를 완전히 완료한다. 8K 타임스텝 컨텍스트로 학습된 RoboTTT는 1K 타임스텝으로 사전학습된 동일 모델보다 62% 더 우수한 성능을 보이며, 이는 로봇 파운데이션 모델을 위한 새로운 스케일링 축으로서 컨텍스트 길이를 시사한다. 비디오는 https://research.nvidia.com/labs/gear/robottt/ 에서 확인할 수 있다.

arXiv:2601.20379v2cs.AI

사고의 정책(Policy of Thoughts): 온라인 정책 진화를 통한 LLM 추론을 위한 테스트 시점 학습 스케일링

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

대규모 언어 모델(LLM)은 고정된 정책(frozen policy) 가정으로 인한 불안정성 때문에 복잡하고 장기(horizon)의 추론에 어려움을 겪는다. 현재의 테스트 시점 스케일링(test-time scaling) 방법들은 실행 피드백(execution feedback)을 기본적인 추론 전략을 개선하기 위해 내재화(internalize)하기보다, 궤적(trajectory)을 필터링하거나 재작성하는 외부 신호로만 취급한다. "추측과 반박(conjectures and refutations)"의 포퍼(Popper) 인식론에서 영감을 받아, 우리는 지능이 실패한 시도로부터의 학습을 통해 모델의 정책을 실시간으로 진화시키는 것을 요구한다고 주장한다. Policy of Thoughts(PoT) 프레임워크를 제안하며, 이는 추론을 인스턴스 내(within-instance) 온라인 최적화(optimization) 과정으로 재정의한다. PoT는 먼저 효율적인 탐험(exploration) 메커니즘을 통해 다양한 후보 해법을 생성하고, 실행 피드백에 기반해 일시적 LoRA 어댑터(transient LoRA adapter)를 Group Relative Policy Optimization(GRPO)으로 업데이트한다. 이 폐쇄 루프(closed-loop) 설계는 모델의 추론 사전(priors)을 동적으로 인스턴스별로 정교화(refinement)할 수 있게 한다. 실험 결과 PoT는 성능을 극적으로 향상시킨다: 4B 모델이 LiveCodeBench에서 49.71% 정확도를 달성하여, GPT-4o와 DeepSeek-V3보다 50배 이상 작음에도 불구하고 이들을 능가한다.

arXiv:2607.09415v1cs.CL

긴 컨텍스트 대규모 언어 모델을 위한 자기 유도 테스트 시간 학습

Self-Guided Test-Time Training for Long-Context LLMs

긴 컨텍스트 처리는 대규모 언어 모델(LLM)에서 점점 더 중요해지고 있지만, 단순히 컨텍스트 윈도우를 확장하는 것만으로는 긴 입력의 효과적인 활용을 보장하지 않는다. 입력 길이가 늘어날수록 정확도가 저하되는 경우가 많으며, 이는 모델들이 여전히 질문과 가장 관련성 높은 증거를 식별하고 활용하는 데 어려움을 겪고 있음을 나타낸다. 긴 컨텍스트 활용을 개선하는 유망한 방법으로 테스트 시간 학습(TTT)이 있으며, 이는 테스트 컨텍스트를 인스턴스별 매개변수 적응을 위한 학습 예시로 취급한다. 그러나 전체 긴 컨텍스트에 TTT를 적용하는 것은 비용이 지나치게 크고, 무작위로 샘플링된 스팬에 적응하면 심각한 노이즈가 발생한다. 긴 컨텍스트의 대부분 스팬은 특정 질문과 무관하기 때문에, 이러한 스팬으로 학습하면 기반 모델의 성능이 오히려 저하될 수 있다. 우리의 예비 연구에 따르면 TTT는 학습 스팬의 품질에 매우 민감하다: LongBench-v2에서 무작위로 샘플링된 스팬에 대한 TTT는 성능을 저하시키는 반면, 오라클 스팬에 대한 TTT는 성능을 크게 향상시킨다. 이에 동기를 얻어, 우리는 간단한 방법인 자기 유도 TTT(S-TTT)를 제안한다: 적응 전에 모델이 스스로 학습해야 할 증거 스팬을 식별하고, 표준 언어 모델링 학습 목표를 선택된 스팬에만 적용한다. LongBench-v2와 LongBench-Pro라는 두 가지 도전적인 긴 컨텍스트 추론 벤치마크에서 S-TTT는 Qwen3-4B-Thinking-2507과 Llama-3.1-8B-Instruct 모두의 정확도를 향상시켜 최대 15%의 상대적 개선을 달성한다.

arXiv:2607.06988v2cs.RO

WAM-TTT: 테스트 시간에 인간 플레이 영상을 활용한 월드-액션 모델 조종

WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time

로봇 기반 모델(RFM)을 새로운 태스크 변형이나 사용자 선호 행동으로 조종하는 것은 여전히 어려운 문제로, 추가적인 로봇 시연 데이터, 태스크별 미세조정(fine-tuning), 또는 긴 컨텍스트 컨디셔닝이 필요한 경우가 많다. 우리는 원시 인간 영상으로부터 월드 액션 모델을 조종하기 위한 테스트 시간 학습(test-time training) 프레임워크인 WAM-TTT를 제안한다. WAM-TTT는 인간 영상을 모방할 궤적으로 취급하는 대신, 자기지도 비디오 예측(self-supervised video prediction)을 통해 동결된 WAM 내부의 경량 적응형 메모리에 흡수시킨다. 이 메모리를 제어에 유용하게 만들기 위해, 쌍을 이루는 인간-로봇 데이터와 키-값 메모리 재구성 목적 함수를 활용하여 인간 시연을 로봇 행동과 정렬하는 메타 학습(meta-training) 단계를 도입한다. 테스트 시간에는 레이블이 없는 인간 영상만으로 메모리를 적응시키며, 사전학습된 WAM은 동결 상태를 유지한다. 이를 통해 로봇 액션, 인간 측 어노테이션, 태스크별 미세조정 없이도 효율적이고 재사용 가능한 조종이 가능하며, 기반 모델의 일반화 능력도 보존된다. 광범위한 실험을 통해 WAM-TTT가 다양한 조작 태스크 및 일반화 설정에서 문맥 내 인간 영상 컨디셔닝 기준선을 일관되게 능가함을 보인다.

arXiv:2606.11032v2cs.CV

U-TTT: 테스트 시간 학습을 통한 일반화 가능한 PET 이미지 노이즈 제거를 향하여

U-TTT: Towards Generalizable PET Image Denoising via Test-Time Training

양전자 방출 단층촬영(PET) 이미지 노이즈 제거 모델의 분포 변화(distribution shift) 취약성을 해결하기 위해, 추론 시 자기지도 학습을 통해 각 입력 인스턴스에 동적으로 적응하는 테스트 시간 학습(TTT) 레이어를 U자형 아키텍처에 통합한 U-TTT를 제안한다. 공간 도메인에서 구조적 열화를 보정하는 S-TTT 레이어와 주파수 도메인에서 전역 노이즈 스펙트럼을 억제하는 F-TTT 레이어로 구성된 이중 도메인 적응 메커니즘을 통해, 미확인 선량 수준 및 스캐너 환경에서도 최고 수준의 노이즈 제거 성능과 우수한 일반화 능력을 달성했다.

arXiv:2607.03441v1cs.LG

지금이 바로 그때: LLM 에이전트를 위한 에이전틱 테스트 타임 트레이닝

No Time Like the Present: Agentic Test-Time Training for LLM Agents

LLM 에이전트가 긴 에피소드에서 실패한 행동을 반복하며 드리프트(drift)되는 문제를 해결하기 위해, aTTT(Agentic Test-Time Training)는 이전 업데이트에서 반복된 n-gram에 해당하는 토큰의 손실을 낮추는 토큰 수준 재가중치 방법을 도입한다. vLLM의 런타임 LoRA API를 활용한 병렬 서빙 시스템으로 오버헤드를 1.9배로 제한하면서, ALFWorld에서 최대 5.0포인트, SWE-bench Lite에서 4.9포인트의 성공률 향상을 달성했다.

arXiv:2607.00368v1cs.CL

Beyond Perplexity: A Behavioral Evaluation Framework for Deployment-Memory Claims in LLM Test-Time Training

테스트 타임 트레이닝(TTT) 연구가 퍼플렉서티(perplexity) 등 로컬 프록시 지표로 평가되지만, 이는 배포된 어시스턴트의 메모리·개인화·사후학습 주장을 뒷받침하기에 불충분하다는 문제를 지적하며, 주장 수준에 따라 증거를 계층화하는 행동 평가 프레임워크를 제안한다. Qwen3/LoRA 진단 실험에서 프록시 손실 감소와 정답 NLL 개선이 나타나더라도 자유 형식 재현(free-form recall)은 0을 기록해 프록시 지표와 실제 배포 행동 간의 측정 가능한 격차를 실증했다.

arXiv:2606.30011v1cs.LG

T3R: 그래디언트 회전을 통한 그래프 신경망의 심층 테스트 시간 적응

T3R: Deeper Test-Time Adaptation for Graph Neural Networks via Gradient Rotation

그래프 신경망(GNN)의 분포 변화(distribution shift) 문제를 해결하기 위해, T3R은 Rotograd 행렬을 활용해 목표 태스크와 보조 태스크 간의 그래디언트 정렬을 개선하고 자기지도(self-supervised) 신호를 회전시켜 대리 그래디언트를 생성함으로써 거의 전체 아키텍처에 걸친 테스트 시간 학습(TTT)을 가능하게 한다. 실험 결과, T3R은 회귀 데이터셋에서 표준 추론 대비 MAE를 0.172포인트 줄이고 OGB 분류 벤치마크에서 최소 9.37%의 상대적 성능 향상을 달성했다.

arXiv:2512.05354v2cs.CV

SplatPainter: Interactive Authoring of 3D Gaussians from 2D Edits via Test-Time Training

The rise of 3D Gaussian Splatting has revolutionized photorealistic 3D asset creation, yet a critical gap remains for their interactive refinement and editing. Existing approaches based on diffusion or optimization are ill-suited for this task, as they are often prohibitively slow, destructive to the original asset's identity, or lack the precision for fine-grained control. To address this, we introduce SplatPainter, a state-aware feedforward model that enables continuous editing of 3D Gaussian assets from user-provided 2D view(s). Our method directly predicts updates to the attributes of a compact, feature-rich Gaussian representation and leverages Test-Time Training to create a state-aware, iterative workflow. The versatility of our approach allows a single architecture to perform diverse tasks, including high-fidelity local detail refinement, local paint-over, and consistent global recoloring, all at interactive speeds, paving the way for fluid and intuitive 3D content authoring.

arXiv:2606.21803v1cs.CL

다음 토큰 예측 기반 테스트 시 학습

Test-Time Training with Next-Token Prediction

사전학습된 LLM에 드롭인으로 적용하는 테스트 시 학습(TTT) 방법 TTT-NTP는, 기존의 학습된 value 프록시 대신 모델 자체의 다음 위치 문맥 은닉 상태를 fast-weight 업데이트 지도 신호로 삼아 다음 토큰 예측(NTP)과 내부 루프 목적을 정렬한다. RULER Full-13과 LongBench-v2에서 Llama-3.1-8B, Mistral-7B-v0.3, Qwen3 시리즈 등 공개 백본의 장문맥·장문 QA 성능을 일관되게 높이면서 상식·지식 평가 성능은 유지한다.

arXiv:2606.21329v1cs.LG

MedTS-TTT: 의료 시계열 분류를 위한 테스트 타임 학습

MedTS-TTT: Test-Time Training for Medical Time Series Classification

뇌전도(EEG)와 심전도(ECG)와 같은 의료 시계열(MedTS) 신호는 많은 임상 응용을 지원한다. 그러나 상당한 피험자 수준의 이질성은 종종 피험자 수준의 분포 이동을 유발하여, 고정된 매개변수 집합이 보지 못한 개인에게 일반화를 잘 하지 못하게 한다. 추가 적응 구성요소나 타깃 배치 통계에 의존하는 도메인 적응(domain adaptation) 방법과 비교하면, 테스트 타임 학습(TTT)은 라벨 없는 테스트 샘플로부터 온라인 적응을 가능하게 함으로써 순차 임상 데이터에 더 실용적인 해결책을 제공한다. 그러나 많은 대표적인 TTT 방법은 반복적인 내부 루프 최적화를 요구하여 테스트 시간 오버헤드를 증가시킨다. 본 논문에서는 의료 시계열 모델링을 위한 테스트 타임 학습 프레임워크인 MedTS-TTT를 제안한다. MedTS-TTT는 폐루프 자기 정렬 테스트 타임 학습(CLSA-TTT)과 게이티드 합성곱 백본(GCB) 위에 구축된다. CLSA-TTT는 토큰 수준의 자기지도 학습 목표를 구성하고, 층 내 폐루프 정렬을 위해 단일 단계 빠른 가중치 업데이트를 수행하여, 반복적인 내부 루프 최적화 없이 빠른 샘플별 적응을 가능하게 한다. GCB는 국소 동적 모델링과 정보 흐름 제어의 균형을 맞추기 위해, 게이티드 합성곱 분기와 CLSA-TTT 기반의 빠른 적응 및 토큰 수준 융합을 결합한다. 피험자 독립 분할을 적용한 4개의 공개 데이터셋(EEG 2개, ECG 2개)에서 MedTS-TTT는 9개 베이스라인과 3개 지표에 걸친 12회 평가 중 11회 1위를 달성한다. 코드는 https://github.com/mingzhi-c/MedTS-TTT 에서 공개적으로 이용할 수 있다.

arXiv:2606.21891v1cs.AI

자동 발견을 위한 탐색 ARTS 학습

Learning the ARTS of Search for Automated Discovery

과학적 발견은 가설과 실험의 공간에서 이루어지는 반복적 탐색 과정으로 형식화할 수 있다. 현대의 방법들은 MCTS와 같은 휴리스틱을 사용하여 이 공간을 탐색한다. 이러한 알고리즘은 가설의 가치와 해당 실험 실행의 품질을 혼동한다. 따라서 예비적 실행을 가진 유망한 가설은 실행이 정교화된 평범한 가설보다 낮은 순위를 받는다. 게다가, 기존 방법들은 누적된 이력이 컨텍스트 윈도우를 초과하기 때문에 탐색이 진행됨에 따라 탐색 로그를 가지치기한다. 우리는 추론 언어 모델(reasoning language model)을 배치하여 이 공간을 탐색하는 Agentic Reasoning for Tree Search(ARTS)를 제안한다. 모델은 이전 실행 로그를 검토하고, 앞선 실패가 결함 있는 구현에서 비롯되었는지 나쁜 가설에서 비롯되었는지 진단하며, 다음에 이어갈 가설을 선택한다. 컨텍스트 길이 문제를 완화하기 위해 ARTS는 테스트 시점 학습(test-time training)을 사용하여 탐색 트리의 지식을 모델 가중치에 내재화한다. MLGym 및 MLEBench의 22개 태스크에서 ARTS가 선도적인 알고리즘들을 능가하며 정규화 점수에서 15.3% 이상의 상대적 향상을 보임을 보여준다. 테스트 시점 학습을 통해 Qwen3-4B 에이전트가 Gemini-3 Pro 및 GPT o3-reasoning와 같은 폐쇄형 프론티어 모델과 동등한 성능을 최대 5배 낮은 추론 비용으로 달성할 수 있음을 보여준다. 또한 부분 관측 강화학습(RL) 태스크에서, 테스트 시점 학습된 Qwen3-4B scientist가 휴리스틱 방법이 가지치기해 버린 인간 최고 수준의 순환 메모리(recurrent-memory) 해법을 재발견함으로써 o3 scientist를 사용한 ARTS를 능가함을 관찰한다.

arXiv:2606.17601v1cs.CV

강건한 텍스트 가이드 오픈 어휘 객체 카운팅을 위한 테스트 타임 학습

Test-Time Training for Robust Text-Guided Open-Vocabulary Object Counting

텍스트 가이드 오픈 어휘 객체 카운팅(TOOC)은 텍스트 프롬프트로 지정된 임의의 객체 카테고리를 계수할 수 있게 하여, 기존 폐쇄형(closed-set) 카운팅보다 훨씬 더 큰 유연성을 제공합니다. 그러나 기존 TOOC 방법들은 주로 이상적인 이미지를 대상으로 개발 및 평가되었으나, 실제 환경의 장면은 비, 안개, 어둠, 센서 노이즈와 같은 악조건에 자주 노출되어 시각적 품질을 심각하게 저하시키고 비전-언어 정렬(alignment)을 방해합니다. 이러한 격차를 해소하기 위해, 우리는 다양한 손상(corruption) 조건에서 TOOC를 평가하는 최초의 벤치마크인 Robust-TOOC를 소개합니다. 이 벤치마크는 비, 안개, 어둠, 가우시안 노이즈, 소금-후추 노이즈, 혼합 손상 등 6가지 대표적인 열화 유형을 포괄합니다. 기존 카운팅 아키텍처를 유지하면서 강건성을 향상시키기 위해, 우리는 TOOC를 위한 이중 아키텍처 테스트 타임 학습 프레임워크인 Dual-TTT를 제안합니다. 구체적으로, 테스트 타임 학습 과정에서 Dual-TTT는 텍스트 가이드 경량 노이즈 제거 모듈(TL-Denoiser)만 업데이트하고 기존 카운팅 네트워크는 동결(frozen) 상태로 유지합니다. 디퓨전 모델(diffusion models)에서 영감을 받아, TL-Denoiser는 열화된 조건에서 이미지 표현으로부터 손상 인식 노이즈(corruption-aware noise)를 제거하도록 최적화됩니다. 테스트 타임에 TL-Denoiser만 학습되므로, Dual-TTT는 주석(annotation)이 필요 없으며 기존 TOOC 모델의 원래 아키텍처를 수정하지 않고도 매끄럽게 통합될 수 있습니다. 최근의 여러 TOOC 기준 모델(baselines)에 대한 광범위한 실험은 우리 방법의 효과를 입증합니다.