PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18216v4cs.CL

근접 정책 최적화 영역: 그래디언트가 아닌 프롬프트 속의 교사

Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

지식 증류(knowledge distillation)는 교사의 역량을 작은 학생 모델로 이전하지만, 작은 학생 체제에서는 취약합니다. 훨씬 더 큰 교사의 로짓(logit)을 모방하도록 학생 모델에 강제하면 학습(training) 말뭉치를 벗어난 벤치마크 계열에서의 일반화 성능이 저하됩니다. 강화학습(RL)은 학생 모델 자체의 롤아웃(rollout)을 기반으로 학습하여 로짓 모방을 방지합니다. 그러나 모든 롤아웃이 실패하여 어드밴티지가 0이 되고 묵묵히 버려지는 질문의 경우, 더 강력한 교사의 응답을 정책 그래디언트(policy gradient)에 주입하면 온-정책(on-policy) 가정이 깨지고 드리프트가 발생합니다. 본 논문에서는 비고츠키(Vygotsky)의 근접 발달 영역(zone of proximal development)에서 영감을 얻은 근접 정책 최적화 영역(ZPPO, Zone of Proximal Policy Optimization)을 소개합니다. ZPPO는 교사를 정책 그래디언트 대신 프롬프트(prompt) 내에 유지합니다. 학생의 평균 롤아웃 정확도가 절반 미만인 어려운 질문에 대해 ZPPO는 두 가지 재구성된 프롬프트를 생성합니다. 이진 후보 포함 질문(BCQ)은 정답인 교사 응답 하나와 오답인 학생 응답 하나를 익명화된 후보 쌍으로 구성하여 학생이 참고 자료로 활용하도록 합니다. 부정 후보 포함 질문(NCQ)은 학생의 잘못된 롤아웃들을 단일 프롬프트로 집약하여 공통된 실패 모드를 드러냅니다. 프롬프트 재생 버퍼(replay buffer)는 각 어려운 질문이 졸업(해당 질문에 대한 학생의 평균 롤아웃 정확도가 절반 이상에 도달)하거나 유한한 용량 하에서 FIFO 방식으로 방출될 때까지 순환시킴으로써, 학생의 현재 근접 발달 영역 내에서 BCQ와 NCQ를 증폭합니다. 27B 교사 모델을 활용하여 4가지 스케일(0.8B~9B)의 Qwen3.5 학생 모델을 비전-언어 모델로 사후학습(post-training)하고 31개 벤치마크 스위트(VLM 16개, LLM 10개, 비디오 5개)에서 평가한 결과, ZPPO는 오프/온-정책 증류 및 GRPO보다 우수한 성능을 보였으며 가장 작은 스케일에서 가장 큰 폭의 향상을 달성했습니다.

arXiv:2609.26841v1cs.NE

NeuroRule: 규칙 집합 진화를 통한 블랙박스 신경망 설명 가능화

NeuroRule: Making Black-Box Neural Networks Explainable through Rule-set Evolution

고용량 신경망 모델은 다양한 분류 과제에서 최첨단 성능을 달성해 왔지만, 종종 블랙박스 모델로 동작하여 중요한 의사결정에 필요한 투명성을 갖추지 못한다. 이러한 불투명성은 성능과 설명 가능성 사이의 지속적인 트레이드오프를 만든다. 본 논문은 이러한 공백을 메우기 위한 해결책으로, 신경망 모델로부터 설명 가능한 규칙 집합을 도출하는 NeuroRule 지식 증류 프레임워크를 제안한다. NeuroRule은 EVOTER 규칙 집합 진화 인프라를 적용하여 신경망을 진화 과정의 대상으로 삼고, 그 성능을 간결한 명제 논리 표현들의 집합으로 지식 증류한다. 주요 기여는 세 가지이다: (1) 블랙박스 신경망 모델을 명시적인 규칙 집합 모델로 지식 증류하는 진화적 방법; (2) 진화에 간결성 목표를 포함하여 규칙 집합을 더 설명 가능하게 만드는 방법; (3) 원본 신경망 학습 데이터에 접근하지 않아도 지식 증류가 가능함을 보여주는 실증. 이로써 본 논문은 블랙박스 신경망 모델을 설명 가능하게 만들 수 있으며, 따라서 신뢰성이 무엇보다 중요한 실제 응용에서 유용하게 쓰일 수 있음을 보여준다.

arXiv:2609.28385v1cs.LG

교사를 언제 어디서 신뢰할 것인가: 엔트로피 보정 크레딧 할당을 통한 온-정책 증류와 GRPO의 통합

When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment

검증 가능한 보상을 통한 강화학습(RLVR)은 최종 정답의 정합성을 통해 수학적 추론을 감독하지만 개별 토큰에 대한 안내는 거의 제공하지 못합니다. 온-정책(on-policy) 증류(OPD)는 학생이 생성한 응답에 대해 조밀한 피드백을 제공하지만, 교사의 선호도가 반드시 정합성을 반영하는 것은 아닙니다. 최근의 하이브리드 방식들은 OPD와 검증기 기반 이점(advantage)을 결합하거나 교사 비율을 활용해 작업 크레딧에 다시 가중치를 부여합니다. 그러나 교사의 안내는 검증기 기반 그룹 정규화 이후에 반영되며, 토큰 재가중치 부여가 각 응답에 할당된 전체 작업 크레딧을 반드시 보존하는 것은 아닙니다. 본 논문에서는 응답 및 토큰 수준 모두에서 단일 GRPO 스타일 업데이트 내에 검증기와 교사 신호를 통합하는 UECR-GRPO(Unified Entropy-Calibrated Credit Redistribution for GRPO)를 제안합니다. 경로-효용 통합(Path-Utility Unification, PUU)은 단일 KL 정규화 목적 함수에서 검증기 보상과 교사 대 앵커 경로 로그 비율을 결합합니다. 온-정책 구현에서는 길이 정규화된 교사 점수를 사용하며 그룹 정규화 및 PPO 클리핑 이전에 두 보상을 결합하여, 교사의 증거가 응답 순위 결정에 영향을 미칠 수 있도록 합니다. 그런 다음 엔트로피 보정 재분배(Entropy-Calibrated Redistribution, ECR)는 부호가 있는 교사-이전 정책 간 토큰 격차를 사용하여 검증기 기반 컴포넌트를 재분배합니다. 전체 어휘 교사 엔트로피는 불확실한 안내를 감쇠시키는 한편, 응답별 제로섬 투영은 클리핑 이전에 전체 작업 크레딧과 토큰별 부호를 보존합니다. 5개의 수학적 추론 벤치마크 전반에서 UECR-GRPO는 Qwen3-1.7B 및 Qwen3-4B 학생 모델을 통해 각각 17.21%와 65.09%의 평균 \(\mathrm{Avg@12}\) 정확도를 달성하여, 각 규모의 가장 강력한 기준선 모델보다 0.89%p 및 0.56%p 더 높은 성능을 보였습니다.

arXiv:2609.28145v1cs.LG

RL은 RL 이전에 시작된다: 더 나은 강화학습을 위한 온-정책 증류

RL Starts before RL: On Policy Distillation for Better Reinforcement Learning

강화learning(RL)은 추론을 향상시키지만, 성능은 학습이 시작되는 정책에 달려 있다. 우리는 온-정책 증류(OPD)를 RL을 위한 준비 단계로 두고 연구하며, 그 이점이 증류된 모델의 초기 정확도 개선을 넘어서는지 묻는다. 동일한 RL 설정에서 OPD로 초기화한 학생 모델은 직접 RL로 학습한 모델, 또는 지도 미세조정 뒤 RL을 적용한 모델보다 더 높은 최종 성능에 도달한다. 이 이점은 OPD가 즉각적인 정확도 향상을 거의 주지 않을 때에도 나타날 수 있다. RL 이전 Pass@k만으로는 이 이점을 완전히 설명하지 못한다: 비슷하거나 더 높은 값이 RL 이후 더 나은 성능으로 이어지지는 않을 수 있다. 행동 분석은 top-1 일치를 넘어 교사 분포와의 정렬이 가능한 설명임을 가리킨다. 이러한 정렬은 더 높은 품질의 추론 경로를 선호하면서, RL이 결과 피드백으로 더 다듬을 수 있는 대안들을 남겨 둘 수 있다. 또한 궤적 출처와 발산 목표가 이후 RL을 위한 증류의 가치에 어떻게 영향을 미치는지 살핀다. 표준 역방향 KL OPD는 RL 이전에 더 낫지만, 순방향 KL OPD는 그 이후에 앞서게 된다. 교사가 생성한 증류 궤적을 쓰면 역방향 KL은 두 단계 모두에서 앞선다. 이는 선호되는 증류 목표가 궤적 출처와 뒤이어지는 학습 모두에 달려 있음을 시사한다. 우리 결과는 OPD를 RL 준비 단계로 평가하고, 이후 학습 뒤 달성한 성능을 기준으로 증류 방식을 고르는 접근을 뒷받침한다.

arXiv:2609.28107v1cs.RO

조건부 플로우 매칭을 통한 효율적인 멀티태스크 조작 정책 지식 증류

Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching

최근 로봇 공학의 정책 학습(policy learning) 분야에서는 생성 모델링의 발전이 광범위하게 활용되고 있습니다. 특히 전문가 시연(demonstration)을 통해 학습된 조건부 플로우 매칭(Conditional Flow Matching, CFM)은 로봇 조작 벤치마크에서 기존 방법들을 능가하는 성능을 보여주었습니다. 이전 연구들은 주로 단일 태스크(single-task) 설정에 집중했으나, 각 태스크마다 독립적인 모델을 학습하는 것은 연산 비용이 많이 들기 때문에 본 연구에서는 이 문제를 멀티태스크(multi-task) 관점에서 다룹니다. 멀티태스크 정책 학습은 고유한 어려움을 수반하는데, 단순히 연결된 시연 데이터셋으로 순진하게 학습(naive training)할 경우 추가된 복잡성을 수용하기 위해 모델 용량을 늘려야 하거나 성능 저하가 발생하기 때문입니다. 이에 본 논문에서는 단일 태스크 CFM 전문가의 학습된 속도장(velocity field)을 전이함으로써 이들의 지식을 공유 멀티태스크 정책으로 증류(distillation)하는 방법을 제안합니다. 또한 시연에 대한 충실도를 유지하기 위해 이 증류 신호를 기존 CFM 목적 함수와 결합합니다. RLBench를 통한 실험 결과, 제안하는 접근 방식은 고정된 모델 크기를 유지하면서도 순진한 학습 방식 대비 멀티태스크 정책 성능을 향상시키는 것으로 나타났습니다.

arXiv:2609.27421v1cs.LG

다중 제약 인스트럭션 수행을 위한 반사실적 제약-조건부 온-정책 증류

Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following

다중 제약 인스트럭션 수행(multi-constraint instruction following)은 모델이 동시에 활성화된 여러 제약 조건 하에서 질의에 응답하도록 요구합니다. 강력한 인스트럭션 튜닝(instruction tuning) 모델조차도 여전히 이러한 제약 조건 중 일부를 일상적으로 위반합니다. 기존 접근 방식은 외부 검증기(verifier) 또는 학습된 채점기로부터 얻은 시퀀스 또는 토큰 수준의 강화학습(RL) 보상으로 지도 신호를 보강하거나, 동시에 활성화되는 제약 조건이 많아질수록 확률 질량이 희석되는 단일 전체 컨텍스트 교사 모델을 대상으로 온-정책(on-policy) 증류(OPD)를 사용합니다. 본 논문에서는 지식 증류의 표준적인 지도 신호 생성 방향을 반전시킨 CC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)를 제안합니다. CC-OPD는 학생 모델이 보는 것 이상의 정보로 교사 모델을 풍부하게 만드는 대신, 교사 모델의 조건부 입력에서 각 제약 조건을 차례로 제거(ablate)하고 그 결과로 발생하는 토큰별 확률 차이로부터 제약 조건별 신호를 구성합니다. 그 결과로 얻은 토큰별 LOO(leave-one-out) 로그 가능도(log-likelihood) 변화량을 합산하고 클리핑(clipping)한 후, 토큰 수준의 셰이핑(shaping) 항으로서 바닐라 OPD 보상에 추가합니다. 모든 셰이핑 항은 증류 과정에서 외부 검증기 없이 동결된 교사 모델로부터 얻어지며, 총합 변화량이 0인 모든 곳에서 보상은 바닐라 OPD와 동일합니다. 두 개의 Qwen 모델 쌍과 7개의 벤치마크 전반에서 CC-OPD는 평가된 모든 학생 모델 학습 방법 중 가장 높은 평균 성능을 달성합니다. CC-OPD로 학습된 1.5B 학생 모델은 MulDimIF 벤치마크에서 자체 7B RL 학습 교사 모델을 능가합니다.

arXiv:2609.27202v1cs.CR

IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포

Reliable Federated TinyML Deployment for IoT Security

사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.

arXiv:2609.27067v1cs.LG

ChipMEM: EDA 에이전트를 위한 검증 기반 메모리

ChipMEM: Verification-Grounded Memory for EDA Agents

대규모 언어 모델(LLM) 기반 에이전트는 합성 및 검증 피드백 하에서 레지스터 전송 수준(RTL) 설계를 생성·수정하기 위해 전자 설계 자동화(EDA) 도구를 사용한다. 최근 방법들은 실행 추적에서 재사용 가능한 스킬을 지식 증류(distillation)하거나 EDA 도구에서 파생된 보상으로 학습하여 이 피드백으로부터 학습한다. 두 방법 모두 일반적으로 해당 경험을 생성한 태스크에서 평가된다. 동일 태스크에 대한 벤치마크 피드백에 반복적으로 접근하면 전이 가능한 재사용 지식을 만드는 것보다 태스크 특화 수정을 보상할 수 있다. 우리는 EDA 에이전트를 위한 검증 기반 메모리 층인 ChipMEM을 제안한다. ChipMEM은 태스크 간 절차적 메모리와 궤적 내 통계적 안내를 결합한다. 절차적 구성요소는 모델 자기 평가에 의존하지 않고, 합성·시뮬레이션 또는 형식(formal) 검사를 통과한 뒤에만 스킬을 증류하여 저장한다. 베이지안 구성요소는 도구 호출 결과에 대한 계층적 Beta 추정을 유지하고, 유사한 오류 조건에서 성공한 복구 전략을 순위화한다. 공통 어댑터는 각 도메인의 도구와 수용 기준을 보존하면서 동일한 메모리 인터페이스를 RTL 최적화 및 테스트벤치 생성 에이전트에 적용한다. 우리는 학습 태스크에서 성능을 측정하고, 학습된 스킬이 보지 못한 태스크로 전이되는지 평가한다. RTLRewriter-Bench에서 일치하는 모델·도구 설정 하에 ChipMEM은 메모리 없을 때 35/54 대비 채점된 54개 설계 중 39개에서 동등성 통과 출력을 낸다. 49개 설계 단축 스위트에서는 평균 면적(area) 개선이 5.66% 대비 8.69%이다. 보류(hold-out) CVDP 태스크에서 고정(frozen) 절차적 라이브러리를 사용한 ChipMEM은 설정당 단일 평가에서 메모리 없을 때 18/20 대비 20/20의 수용 결과를 달성한다.

arXiv:2602.04577v3cs.CL

언어 모델 불확실성을 위한 의미적 자기 증류

Semantic Self-Distillation for Language Model Uncertainty

대규모 언어 모델(LLM)은 원칙적인 불확실성 정량화에 어려움을 제기하며, 이는 부분적으로 모델의 복잡성과 출력의 다양성 때문이다. 의미적 분산(semantic dispersion), 즉 샘플링된 답의 의미 분산은 모델 불확실성의 유용한 대리 지표로 제안되어 왔지만, 관련 계산 비용 때문에 지연 시간에 민감한 애플리케이션에서는 사용이 어렵다. 우리는 샘플링된 의미 분포를 경량 학생 모델에 증류(distillation)할 수 있음을 보이며, 이 학생 모델은 언어 모델이 답변 토큰을 생성하기 전에 프롬프트 조건부 밀도를 추정한다. 학생 모델은 가능한 답에 대한 의미 분포를 예측하고, 이 분포의 엔트로피는 프롬프트 수준의 불확실성 신호를 제공하며, 확률 밀도는 답변 수준의 신뢰성 평가를 가능하게 한다. TriviaQA와 MMLU 실험에서, 학생 모델이 환각(hallucination) 예측 과제에서 교사의 샘플링된 의미적 분산 대비 경쟁력 있는 성능을 보이는 동시에, 도메인 외(out-of-domain) 탐지와 객관식 답 선택을 위한 추가적인 불확실성 기본 요소를 제공함을 확인한다. 우리는 이 기법을 Semantic Self-Distillation(SSD)라고 명명하며, 이는 언어를 넘어선 복잡한 출력 공간에서 예측 불확실성을 증류하는 일반 프레임워크로 활용할 수 있다.

arXiv:2609.27988v1cs.CV

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.27793v1cs.CV

DualStabSleepNet: 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크

DualStabSleepNet: A Dual-Domain Diffusion Stabilization Network for Robust Sleep Staging

자동 수면 단계 분류를 위한 기존 심층 학습 방법은 이질적인 기록 조건에서 견고성이 제한되는데, 비정상성 노이즈, 피험자 간 차이, 데이터셋 간 분포 이동이 불안정한 특징과 낮은 일반화를 유발한다. 본 연구는 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크인 DualStabSleepNet(DSSNet)을 제안하며, 데이터 영역과 특징 영역 모두에서 견고성을 향상시킨다. 다채널 다원수면기록(PSG) 전처리 후, 연속 스케일 확산 기반 안정화 모듈이 생리학적 신호 구조를 보존하면서 노이즈를 억제한다. 안정화된 신호는 시간-주파수 표현으로 변환되어 Vision Transformer 백본에 입력된다. 교사-학생 유도 확산 특징 안정화 모듈이 특징 drift를 추가로 완화하고 다수준 특징 일관성을 강제한다. 공개 PSG 데이터셋 SleepEDF-20, SleepEDF-78, SHHS, ISRUC-S3 네 곳에서 평가한 결과, DSSNet은 각각 89.2%, 88.0%, 89.7%, 86.7%의 최첨단 정확도를 달성했으며 macro-F1과 Cohen's kappa도 개선되었다. 어려운 전이 단계(예: SHHS에서 N1에 대해 12.5%p 향상)에서 눈에 띄는 개선을 보였고 N2/REM 인식도 향상시켰다. 데이터셋 간 설정에서는 DSSNet이 분포 이동에 견고하며, 대상 데이터셋에서 학습한 baseline과 동등하거나 더 우수한 성능을 보여, 이질적인 코호트 전반의 실제 수면 단계 분류에 대한 실용적 잠재력을 입증한다.

arXiv:2609.27370v1cs.CV

자연 환경에서의 기하 조건화 시각적 장소 인식

Geometry-Conditioned Visual Place Recognition in Natural Environments

자연 환경에서의 시각적 장소 인식(VPR)은 반복적인 식생, 두드러진 랜드마크의 희소성, 통행마다 큰 외관 및 시점 변화로 인해 여전히 어렵다. 동일 장소에 대한 시각적 관측은 크게 달라질 수 있지만, 그 이면의 공간 구조는 종종 더 지속적이다. 우리는 Depth-Aware Distillation(DAD)을 통해 이러한 상호 보완적 기하 일관성을 활용하며, DAD는 깊이 센서 없이 Geometric Foundation Model(GFM)이 추론한 기하에 대해 사전학습된 Vision Foundation Model(VFM)의 토큰 표현을 조건화한다. 기하를 추가 입력 모달리티로 취급하는 대신, DAD는 이미지 정렬 깊이를 VFM 토큰 공간에 투영하고 채널 단위 기하 조건화를 통해 시각 표현을 선택적으로 변조한다. 2단계 교사 안내 학습 전략은 먼저 기하 조건화 표현을 사전학습된 외관 공간에 고정한 뒤, 장소 판별을 위해 이를 정제한다. WildCross 벤치마크에서 평가한 결과, DAD는 동등한 외관 전용 기준선 대비 시퀀스 간 평균 재현율 Recall@1을 61.41%에서 66.37%로, Recall@5를 65.86%에서 72.49%로 향상시켰으며, 역방향 통행과 장기 외관 변화에서 가장 큰 이득을 보였다. 이 결과는 시각적 외관이 신뢰할 수 없게 될 때 GFM에서 유도한 기하가 VPR에 지속적인 구조적 사전(prior)을 제공할 수 있음을 보여준다.

arXiv:2609.26590v2cs.CV

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2607.09133v3cs.CV

IB-Flow: 소수 단계 텍스트-이미지 생성을 위한 정보 병목(IB) 가이드 CFG 증류

IB-Flow: Information Bottleneck-Guided CFG Distillation for Few-Step Text-to-Image Generation

대규모 텍스트-이미지 생성 모델이 전례 없는 시각적 성능을 달성했음에도, 다중 단계 반복 솔버에 대한 내재적 의존은 심각한 추론 지연을 초래한다. Classifier-Free Guidance(CFG) 궤적을 대상으로 하는 소수 단계 증류(distillation)는 널리 쓰이는 이중 차원 압축 패러다임으로 부상했다. 그러나 기존 프레임워크는 전역적으로 고정된 가이던스 강도를 끊임없이 강제하면서 감독 타임스텝을 무차별적으로 샘플링하는 거친 블라인드 주입 패러다임에 여전히 매이고 있다. 이러한 상태 비인식(state-agnostic) 설계는 점진적 엔트로피 감소로 특징지어지는 동적 진화 과정이라는 이미지 생성의 본질을 완전히 무시하며, 소수 단계 압축의 성능 한계를 가로막을 뿐 아니라 심각한 CFG 과잉 조건화(over-conditioning) 아티팩트를 촉발한다. 이러한 한계를 넘어서기 위해, 우리는 정보 이론의 관점에서 증류 절차를 재검토하고, 이를 정보 병목(Information Bottleneck, IB) 원리로 제약된 동적 상호정보(mutual information) 게임으로 형식화한다. 구체적으로, 이중 트랙 적응형 프레임워크로 기존의 블라인드 가정을 해체한다. 주입 대상을 정하기 위해, 다루기 어려운 KL 발산 제약을 국소 벡터 필드 노름에 기반한 오버헤드 없는 폐쇄형 해로 바꾸는 인스턴스 인식(instance-aware) 선택 메커니즘을 제안한다. 주입 강도를 조절하기 위해 SNR에 맞춰 동적으로 감쇠하는 엔트로피 인식 스케줄을 도입하여, 초기 구조 앵커링에는 최대 추진력을 가하고 이후 자연 매니폴드(manifold)로 부드럽게 되돌아가 미세 디테일을 정제한다. 광범위한 실증 평가는 본 프레임워크가 과잉 조건화 아티팩트를 근본적으로 제거하고, 극도로 엄격한 2단계 구성에서도 SOTA 생성 충실도(fidelity)를 달성하며 성능 상한을 깨뜨림을 뒷받침한다.

arXiv:2609.27869v1cs.AI

활성화 대상 학습: 장기 지평 멀티모달 에이전트를 위한 조합적 역량 할당

Learning What to Activate: Combinatorial Capability Allocation for Long-Horizon Multimodal Agents

장기 지평 멀티모달 에이전트는 지각, 검색, 추론, 검증, 실행을 위해 전문화된 역량에 의존한다. 기존 설계는 일반적으로 고정된 역량 집합을 활성화하거나 사전 정의된 워크플로를 호출하여 상당한 계산 오버헤드를 초래하면서 단계 의존적 역량 수요를 수용하지 못한다. 본 논문에서는 장기 지평 멀티모달 에이전트 시스템을 위한 \textit{combinatorial capability allocation} 문제를 연구한다. 여기서 시스템은 각 상호작용 단계마다 비용 민감한 전문 역량의 부분집합을 선택하는데, 역량 가치가 선택된 부분집합에 따라 달라지고 이전 할당이 이후 결정이 마주하는 상태를 바꾸므로 이는 쉽지 않다. 우리는 희소 조건부 비교로부터 배포 가능한 역량-부분집합 정책을 복구하는 온-정책 학습 프레임워크인 \textsc{CoCA}를 제안한다. 학생 정책이 방문한 상태에서, 더 강한 교사는 현재 선택된 부분집합을 조건으로 후보 역량의 한계 순가치를 비교한다. 그다음 조건부 효용 모델을 채택하여 이러한 비교를 자기회귀 역량-부분집합 정책으로 변환하고 명시적 열거를 피한다. 또한 집합 구성 중 마주하는 부분집합 내부와 환경 상태 전반에 걸친 분포 불일치를 다루기 위해 이중 수준 온-정책 지식 증류를 도입한다. 마지막으로 궤적 수준 강화학습으로 증류된 정책을 과제 성공, 활성화 비용, 할당 안정성 방향으로 정제한다. 추론 시에는 교사 질의나 온라인 갱신 없이 경량 학생 정책만으로 할당이 수행된다. 장기 지평 멀티모달 환경과 통제된 역량 수요 변화에 대한 실험은 우리 방법이 최신 기준선 방법들보다 우수함을 보여준다.

arXiv:2609.27307v1cs.AI

자신의 상호작용으로 행동을 학습하기: GUI 에이전트를 위한 온-정책 자기 증류

Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents

그래픽 사용자 인터페이스(GUI) 에이전트는 소프트웨어 환경과의 다중 턴 상호작용을 통해 복잡한 사용자 지시를 수행할 수 있으며, 행동을 안내하기 위한 단계별 추론과 작업 관련 정보를 유지하기 위한 장기 기억(long-horizon memory)을 각각 필요로 한다. 최근 온-정책 자기 증류(on-policy self-distillation, OPSD) 방법은 특권(privilege) 조건 자기 교사(self-teacher)로부터의 밀집 토큰 수준 감독 덕분에 GUI 그라운딩이라는 GUI 에이전트의 기초 하위 과제에서 강한 성능을 달성했다. 그러나 기존 OPSD 방법을 다중 턴 GUI 에이전트로 확장하는 것은 자기 교사의 제한된 특권 준수(privilege-following) 능력과 불충분한 특권(privileged) 안내로 인해 어렵다. 본 논문에서는 GUI 그라운딩에서 다중 턴 GUI 상호작용으로 OPSD를 확장하고 2단계 학습 프레임워크를 통해 핵심 한계를 해결하는 GUI-SD의 차기 버전인 GUI-SD-v2를 제안한다. 구체적으로 GUI-SD-v2는 동일한 GUI 상태에서 특권 안내가 있는 롤아웃과 없는 롤아웃을 공동 최적화하여 특권 준수를 먼저 강화한다. 또한 특권 조건 자기 교사를 통해 단계별 추론과 기억 안내를 선택적으로 증류하여 행동 결정과 이후 상호작용을 위한 작업 관련 정보 유지를 지원한다. AndroidWorld와 MobileWorld라는 두 대표적인 GUI 에이전트 벤치마크에 대한 광범위한 실험에서 GUI-SD-v2는 기존 OPSD 기준선과 비교해 우수한 성능을 보이며, 평가한 최신(state-of-the-art) 방법들을 Pass@1 및 Pass@3 성공률 모두에서 일관되게 능가한다. 코드와 학습 데이터는 공개될 예정이다.

arXiv:2609.25039v1stat.ML

사고의 연쇄(Chain-of-Thought) 엔트로피는 무엇을 측정하는가? 스캐폴딩, 라우팅, 콘텐츠에 대한 채널 감사

What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content

사고의 연쇄 토큰에 대한 엔트로피는 어떤 토큰이 정책 그래디언트를 받는지, 어떤 토큰이 가지치기되는지, 한 실행(run)이 붕괴했는지를 결정하지만, 이러한 각 통계량은 세 가지 선택—연결 스캐폴딩(connective scaffolding)을 낼지 여부, 어떤 연결어를 쓸지, 실질적(substantive) 후속이 무엇이어야 하는지—를 섞은 다음 토큰(next-token) 분포를 읽는다. 스캐폴드 어휘 부분집합을 지정하면 엔트로피, Kullback–Leibler(KL) 발산, 소프트맥스 정책의 1차 엔트로피 속도(velocity)에 대해 이 세 가지를 정확히 분리한다. 우리는 raw 규약과 content 규약이 명시적 개 영역(open region)에서 어느 위치가 더 큰 분기(fork)인지에 대해 불일치함을 증명하고, 답 다양성(answer diversity)을 콘텐츠 채널(content channel)과 측정된 witness가 보증하는 leakage 항(leakage term)으로 상한(bound)한다. 23가지 구성(configuration) 전반에서 스캐폴드 측은 raw 고엔트로피 집합의 최대 41%를 차지한다. matched-tokenizer ladder에서는 coupling이 math-corpus 단계에서만 바뀌는 반면, 스캐폴드의 엔트로피 점유율은 지식 증류(distillation)를 거치며 계속 커진다. 한 채널 상관(correlation)으로부터의 닫힌 형(closed-form) 예측은 피팅 없이(unfitted) 54포인트 구간의 선택 유지(selection retention)를 5포인트까지 추적한다. 압축(compression)에서는 content 규약이 모든 셀(cell)에서 raw surprisal을 능가한다. 답 leakage 감사(audit)는 우리 자신의 헤드라인 대조(headline control)를 바로잡는다. 재투입(re-fed)된 사고의 연쇄는 재진술된 답(restated answers)으로 정확도의 4분의 1에서 절반을 얻으며, 이를 제거하면 어떤 토큰 스코어러(token scorer)도 무작위 연속 블록(random contiguous block)을 이기지 못한다.

arXiv:2609.26086v1cs.CL

CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅

CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval

에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.

arXiv:2609.25755v1cs.CL

증후, 시너지, 안전성: 한의학 처방 생성을 위한 구조화된 추론과 지식 기반 정렬

Syndrome, Synergy, and Safety: Structured Reasoning and Knowledge-Driven Alignment for TCM Prescription Generation

대규모 언어 모델(LLM)을 전통 한의학(TCM) 처방 생성에 적용하면 임상적으로 중요한 세 가지 공백이 드러난다. 모델은 이-법-방-약(li-fa-fang-yao) 패러다임을 따르는 감사 가능한 추론 없이 end-to-end 매핑만 생성한다(SR Gap), 각 진료를 고립적으로 다루어 수증가감(sui zheng jia jian)에 따른 추적 조정을 하지 않는다(LA Gap), 십팔반(Shi Ba Fan)과 같은 절대 금기 규칙을 강제하지 못한다(SC Gap). 본 연구는 각 공백을 해소하는 점진적 4단계 프레임워크(SFT $\to$ PG-CoT $\to$ Dynamic $\to$ K-RL)를 제안한다. PG-CoT는 이-법-방-약 패러다임 하에서 CoT 증류를 제약하여 감사 가능한 진단 연쇄를 생성하고, Dynamic SFT는 명시적 전이 추론으로 환자 궤적을 모델링하며, K-RL은 결정론적 약리학 규칙을 규칙 기반 DPO 선호 신호로 인코딩한다. 12개의 파인튜닝 모델과 6개의 제로샷 베이스라인에 걸친 실험에서, 본 프레임워크는 제로샷 베이스라인 대비 처방 품질을 크게 향상시키며, 7B 모델(Mistral-7B)은 세 가지 TCM 평가 지표 모두에서 제로샷 GPT-5를 능가한다.

arXiv:2609.25537v1cs.CL

LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축

Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference

대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.