PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14126v1cs.AI

폐루프 1형 당뇨병 제어를 위한 해석 가능한 언어 모델

Interpretable Language Model for Closed-Loop Type 1 Diabetes Control

1형 당뇨병(T1D)은 인슐린을 생산하는 췌장 베타 세포의 완전한 파괴가 특징인 만성적이며 생명을 위협하는 자가면역 질환이다. 강화학습(RL) 기반 인공 췌장 시스템(APS)은 인슐린 투여 자동화에서 유망함을 보여 왔지만, 그 '블랙박스' 특성 때문에 환자와 의사가 이를 완전히 신뢰하기 어렵다. 본 논문은 RL의 정밀도와 대규모 언어 모델(LLM)의 명확하고 인간과 유사한 추론을 결합하여 더 투명하고 신뢰할 수 있는 인슐린 펌프 컨트롤러를 만드는 유망한 접근법인 LLM-T1D를 제안한다. 전문 RL 시스템을 학습하고 그 지식을 파인튜닝된 LLaMA 3.1 8B 및 Qwen3 8B 모델로 증류함으로써, RL 시스템의 성능을 능가할 뿐만 아니라 평이하고 이해하기 쉬운 언어로 결정을 설명하는 컨트롤러를 개발했다. FDA 승인 UVA/Padova T1D 시뮬레이터에서 검증한 결과, LLM 컨트롤러는 우수한 혈당 제어(73.5% Time in Range)를 달성하는 동시에 환각(hallucination)에 대한 엄격한 형식적 안전성 검증을 유지했다.

arXiv:2607.14976v1cs.CV

드래프트에서 드래프트 없음으로: 특권 증류와 빠른 플랜팅을 통한 1-스텝 영상 객체 제거

From Draft to Draft-Free: One-Step Video Object Removal via Privileged Distillation and Fast Planting

영상 객체 제거는 영상 편집에서 근본적이면서도 어려운 과제이다. 최근 진전에도 불구하고, 기존 방법들은 일반적으로 두 범주로 나뉜다. 광학 흐름(optical flow)이나 어텐션 메커니즘에 기반한 전통적 접근법은 종종 눈에 띄는 아티팩트를 유발하고 부자연스러운 결과를 낳는다. 반면, 확산 기반 방법은 시각적 사실성을 향상시키지만 여러 디노이징 단계를 요구하여 실용성을 제한한다. 이러한 문제를 해결하기 위해, 우리는 거친 드래프트를 정제된 영상으로 변환하는 능력을 1-스텝 영상 생성 모델로 증류하는 프레임워크인 From-Draft-to-Draft-Free(D2DF)를 제안한다. D2DF 내에서 교사 모델은 여러 단계를 통해 저품질 제거 결과("드래프트")를 고화질 영상으로 정제하도록 학습된다. 그런 다음 Prior-Privileged Consistency Distillation(PPCD)을 통해 이 능력을 드래프트를 조건으로 1-스텝 제거를 수행하는 학생 모델로 증류한다. 드래프트 의존성을 제거하기 위해, 우리는 Temporal Masked 트랜스포머 기반의 Self-Guided Fast Planting(SGFP) 모듈을 도입하여 잠재 공간에서 장면 일관성을 유지하는 pseudo-draft를 자율적으로 생성함으로써 완전히 드래프트 없는 1-스텝 모델을 가능하게 한다. 광범위한 실험 결과, 드래프트 조건부 및 드래프트 없는 버전 모두 여러 지표에서 최첨단 성능을 달성하여, 품질과 효율성 모두에서 전통적 방법 및 다단계 생성형 방법을 능가함을 보여준다. 단일 영상에 대한 디노이징 과정은 약 1초만 소요된다.

arXiv:2607.14703v1cs.CV

병리 슬라이드 파운데이션 모델의 다중 교사 증류를 이용한 다중 인스턴스 학습 네트워크 사전학습

Pretraining Multiple Instance Learning Networks with Multi-Teacher Distillation from Pathology Slide Foundation Models

다중 인스턴스 학습(MIL)은 계산 병리학에서 전체 슬라이드 이미지(WSI) 분석의 주된 패러다임이 되었다. 그러나 기존 MIL 집계기(aggregator)는 여전히 일반적으로 각 하류 과제마다 처음부터 학습되며, 제한된 슬라이드 수준 레이블에 의존하여 집계 메커니즘과 하류 판별 표현을 동시에 학습한다. 그 결과, 불안정한 최적화, 과적합, 제한된 전이 가능성을 자주 겪는다. 자연 이미지 학습의 사전학습된 ResNet 및 Vision Transformer(트랜스포머) 모델과 유사하게, MIL 역시 재사용 가능한 사전학습 초기화가 필요하다. 그러나 고품질 슬라이드 수준 사전학습 데이터는 여전히 부족하며, MIL 모델은 보통 경량이고 약지도(weakly supervised) 방식이어서 실제로 대규모 사전학습이 어렵다. 이 과제를 해결하기 위해, 우리는 MIL을 위한 증류 기반 사전학습 프레임워크를 제안하며, 슬라이드 수준 파운데이션 모델인 TITAN과 CARE 두 가지를 교사로 활용하여 그들의 표현 지식을 다양한 MIL 아키텍처로 전이한다. 서로 다른 교사들의 지도를 효과적으로 균형 맞추기 위해, 각도 분산 정규화 증류 손실을 추가로 도입한다. 증류된 가중치는 이후 하류 적응을 위한 초기화로 사용된다. 우리는 선형 프로빙(linear probing)과 전체 매개변수 미세조정 모두에 대해 15개 벤치마크 데이터셋에서 체계적 평가를 수행하고, 퓨샷(few-shot) 시나리오에서의 이점을 추가로 검증한다. 실험 결과, 사전학습이 일반적으로 처음부터 학습하는 것보다 MIL 집계기를 개선하며, 특히 선형 프로빙 및 퓨샷 설정에서 그렇고, 경량 MIL 모델의 계산 효율성은 유지한다. 코드는 https://github.com/fu0201/MIL_Pretrained 에서 이용할 수 있다.

arXiv:2607.13854v1cs.CL

SPyCE: 멀티모달 에이전트를 위한 스킬-정책 공진화

SPyCE: Skill-Policy Co-evolution for Multimodal Agents

이미지를 활용해 사고하는 멀티모달 에이전트는 여러 단계에 걸쳐 시각적 증거를 반복적으로 조작하고 도구를 호출한다. 기존 강화학습 방법들은 궤적을 스칼라 보상으로 축약하여, 정책이 매번 새로운 과제에서 재사용 가능한 도구 사용 패턴을 처음부터 발견하도록 강제한다. 메모리 기반 대안들은 과거 경험을 보존하지만, 테스트 시점 검색에 의존하며 그 경험으로부터 재사용 가능한 패턴을 흡수하기 위해 정책을 갱신하지 않는다. 우리의 핵심 통찰은, 멀티모달 추론 궤적이 보상으로 소비되거나 정적 저장소에서 검색되는 것이 아니라, 학습 동안 정책과 공진화하는 재사용 가능한 스킬로 증류되어야 한다는 점이다. 이를 위해 우리는 궤적을 계층적 스킬 라이브러리로 증류하고 강화학습 전 과정에서 이를 갱신하는 프레임워크인 SPyCE(Skill-Policy Co-evolution)를 제안한다. 실행 스킬은 지역적 시각 연산을 포착하고, 워크플로우 스킬은 도구 사용을 조율하는 상위 수준 사전을 인코딩한다. 학습 동안, 정책 모델은 검색된 스킬을 조건으로 하여 롤아웃을 안내하며, 스킬 라이브러리는 정책이 생성한 가치 있는 롤아웃을 사용하여 진화한다. 이는 개선된 정책이 더 나은 스킬을 생성하고, 진화하는 스킬 라이브러리가 다시 정책 롤아웃에 더 강한 사전을 제공하는 폐루프를 형성한다. 8개 벤치마크에 걸친 실험은 SPyCE가 RL 기반 및 메모리 기반 베이스라인을 모두 일관되게 능가함을 보여준다. 추가 분석은 계층적 스킬 설계와 공진화 메커니즘이 모두 우리 설계에 핵심적임을 밝힌다. 이 결과는 역량 있는 멀티모달 에이전트 구축을 위한 유망한 패러다임으로서 스킬-정책 공동 최적화를 시사한다.

arXiv:2607.13399v1cs.CL

온-정책 증류 해명: 역할, 병리, 규제

Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations

온-정책 증류(on-policy distillation, OPD)는 대규모 언어 모델(LLM) 사후 학습의 핵심 패러다임이 되었지만, 그 학습 동역학은 여전히 잘 이해되지 않는다. 본 연구는 OPD의 역할, 병리, 규제를 살펴보는 체계적 연구를 제시한다. 먼저 OPD의 역할을 탐험 촉매로 명확히 한다: 밀집된 토큰 수준 지도를 통해 학생을 올바른 추론 경로로 이끌되, 능력 상한을 확장하지는 않는다. 프롬프트 다양성이 문제당 샘플링 수보다 더 중요함을 보여 이를 확인하며, 결정적으로 OPD의 효과는 전적으로 안내 신호의 품질에 달려 있음을 밝힌다. 이러한 의존성은 탐험을 탈선시키는 두 가지 병리를 드러낸다. 학생-교사 불일치(Student-Teacher Mismatch)는 큰 교사-학생 분포 격차가 안내 신호를 과제 정확성과 어긋나게 하여, 생산성 없는 방향으로 탐험을 이끌 때 발생한다. 길이 활용(Length Exploitation)은 집계된 토큰 수준 목표가 길이에 의존하는 지름길을 만들어, 학생이 응답 절단 또는 불필요한 패딩을 통해 보상 landscape를 우회할 수 있게 하고, 추론 전략이 아닌 퇴화된 길이 모드를 탐험하게 한다. 이러한 병리를 억제하기 위해, advantage clipping과 log-scale compression과 같은 경량 신호 규제를 조사하여, 탐험이 충실한 신호에 의해 안내되도록 한다. 7개 벤치마크에 걸친 실험은 이러한 규제가 길이 활용을 완화하고 효과적인 지식 증류를 가능하게 하며, OPD 변형과 RLVR 베이스라인을 안정적으로 능가함을 보여준다. 이를 통해 단순한 교사 규모가 아니라 잘 규제된 신호 품질이 OPD에서 성공적인 탐험을 좌우함을 확인한다.

arXiv:2605.20689v2cs.CL

DIVE: 자기 제한 그래디언트 업데이트를 통한 임베딩 압축

DIVE: Embedding Compression via Self-Limiting Gradient Updates

고차원 언어 모델 임베딩은 저장 및 검색 비용을 증가시키지만, 지도 학습 압축기는 관련성 레이블이 부족할 때 과적합될 수 있다. 본 논문에서는 DIVE(Dimensionality reduction with Implicit View Ensembles)를 제안한다. DIVE는 자기 제한(self-limiting) 힌지 손실, 기하학적 지식 증류(geometry distillation), 암시적 좌표 뷰에 대한 헤드별 NT-Xent와 함께 공동 설계된 잔차(residual) 압축 어댑터이다. 힌지 손실은 이미 만족된 순위(ranking) 제약에 대한 업데이트를 중단하고, 밀집(dense) 목적 함수는 압축된 표현을 안정화한다. 추론 시에는 첫 번째 헤드만 유지된다. 쿼리 비중복(query-disjoint) 평가에서 두 개의 LLM2Vec 백본, 다섯 개의 BEIR 벤치마크, 128차원 및 256차원 출력, 여섯 개의 베이스라인을 사용한 결과, DIVE는 다섯 개의 주요 벤치마크 모두에서 가장 강력한 어댑터이다. 또한 비지도(unsupervised) 압축기와의 비교에서 PCA 및 오토인코더(autoencoder)보다 우수한 성능을 보였다.

arXiv:2607.13643v1cs.LG

라벨 없는 자기 증류를 위한 특권 컨텍스트로서의 합의

Consensus as Privileged Context for Label-Free Self-Distillation

여러 해답을 샘플링하고 다수결 답을 반환하는 방식은, 라벨 없이 대규모 언어 모델(LLM)의 추론 정확도를 높이는 가장 신뢰할 수 있는 방법 중 하나이며, 점점 더 많은 방법군이 이 합의(consensus) 신호를 학습 감독(supervision)으로 변환하고 있다. 그러나 기존 접근법들은 합의를 제한된 형태로만 사용한다: 미세조정을 위한 해답 선별 필터, 답변 간 선호도, 또는 강화학습의 스칼라 보상으로, 동의하는 해답들이 담고 있는 정보의 대부분을 버린다. 우리는 CANON(Consensus-ANchored self-distillatiON)을 제안한다. 이는 합의를 밀집적 토큰 수준의 감독으로 변환하는 라벨 없는 학습 방법이다. 각 라벨 없는 프롬프트에 대해 CANON은 여러 해답을 샘플링하고, 다수결 답을 추출한 뒤, 이를 달성하는 해답에 조건을 걸어 고정된 모델 스냅샷을 사용한다. 이 합의-고정(consensus-anchored) 교사는 모델이 자체 롤아웃(rollout)에서 생성하는 모든 토큰을 감독한다. 수학 및 과학 추론 벤치마크 실험에서 CANON은 pass@1을 최대 12포인트 향상시키며, 라벨 없는 강화학습을 7분의 1의 연산량으로 6포인트 능가하고, 정답(gold) 해답에 조건을 건 교사에 근접한다. 풀링된 라벨 없는 데이터로 학습하면 보류(hold-out) 벤치마크로 전이되며, 정답 라벨을 사용하는 학습 방법과 맞먹는다. 분석에 따르면 이러한 개선은 순수한 분포 샤프닝(sharpening)만은 아니다: 학습 후 모델은 이전에 32번 시도해도 풀지 못했던 문제를 해결하고, 다수결 투표 자체의 정확도도 높아진다.

arXiv:2607.13124v1cs.LG

ShortOPD: Short-to-Long 온-정책 지식 증류로 가지치기된 LLM 복구

ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

구조적 가지치기(structured pruning)는 대규모 언어 모델(LLM)을 압축하는 하드웨어 친화적인 방법이지만, 대부분 객관식 인식 과제에서 검증되는 반면, 동일한 압축 체크포인트는 실제 배포에 필요한 자유 형식 생성에서 붕괴할 수 있다. 이 격차를 설명하는 두 가지 관찰이 있다. 첫째, 탐욕적 pass@1은 압축 후 거의 사라지지만, pass@k는 반복 샘플링에서 상당히 회복된다: 유용한 생성은 지워진 것이 아니라 순위가 낮아진 것이다. 둘째, 회복 가능한 영역은 주로 접미사 반복을 통해 실패한다. 따라서 복구는 압축된 모델 자체의 온-정책 상태에서 밀집한 토큰 수준 감독으로 학습해야 하며, 온-정책 지식 증류(On-Policy Distillation, OPD)는 압축 이전 모델을 고정 교사로 재사용하여 이를 제공한다. 그러나 긴 온-정책 롤아웃은 초기 복구 예산을 정보가 적은 반복적 접미사에 소비하여 손실 하강을 지연시킨다. 이 낭비를 완화하기 위해, 교사가 확인한 반복적 접미사를 감지하고, 남아 있는 접두 문맥을 각 롤아웃의 유효 길이로 취급하며, 향후 롤아웃 예산을 정책이 현재 사용할 수 있는 유효 길이에 할당하는 짧은-에서-긴(short-to-long) OPD 스케줄인 ShortOPD를 제안한다. 수학, 코드, 개방형 생성 전반에 걸쳐, ShortOPD는 압축 모델의 점수를 복구되지 않은 값의 약 9배로, 표준 복구 기법(SFT w/o KD, KD, SeqKD) 대비 1.6–4.4배로 끌어올리며, 고정 8192-토큰 롤아웃 horizon을 2점 이내로 맞추면서 학습 시간의 4분의 1(8.5 vs. 35.9시간)과 71% 더 적은 롤아웃 토큰을 사용한다. 이 방법이 구조적 가지치기가 perplexity와 객관식 벤치마크에서의 미미한 향상을 넘어, 배포 가능한 생성 품질에 한 발 더 다가가도록 돕기를 바란다.

arXiv:2607.13689v1cs.CV

Barnamala: 벤치마크 포화에 도달한 매개변수 효율적 손글씨 데바나가리 인식

Barnamala: Parameter-Efficient Handwritten Devanagari Recognition at Benchmark Saturation

우리는 46클래스 DHCD 데바나가리 인식을 위한 소형 합성곱 네트워크(매개변수 1.11M)를 구축했으며, 기존 최고 성능 대비 15.6배 작은 규모로 보고된 최고치인 99.73%에 도달했다. 우리는 사실상 포화 지점에 도달했음을 보였다: 검증된 모든 모델, 대규모 교사 앙상블을 포함하여, 동일한 11개 오류의 내재적 하한에 도달한다. Wilson 신뢰구간을 사용한 정확한 McNemar 검정 하에서 어떤 구성도 통계적으로 명확한 우위를 달성하지 못한다. 지식 증류 없이도 우리의 학생 모델은 가장 가까운 대규모 모델 기준선(매개변수 17.32M; McNemar $p = 0.345$)과 동등한 성능을 보인다. DHCD 외부에서, CMATERdb 숫자에 대한 제로샷은 76.6%를 달성하고 미세조정은 97.8%에 도달한다. 손상 견고성도 대규모 기준선보다 훨씬 우수하다(평균 손상 정확도 75.7% 대 38.7%). 모든 산출물은 https://github.com/Ampixa/barnamala 에 있다.

arXiv:2607.13639v1cs.CV

OvisOCR2 기술 보고서

OvisOCR2 Technical Report

OvisOCR2는 0.8B 규모의 문서 파싱 모델을 소개한다. OvisOCR2는 엔드투엔드(end-to-end) 파서로 설계되었으며, 문서 페이지 이미지가 주어지면 텍스트, 수식, 표, 시각 영역을 포함해 자연스러운 읽기 순서의 Markdown 표현을 생성한다. 필터링된 실제 문서 어노테이션과, 렌더링된 이미지와 Markdown 타깃이 동일한 HTML 소스에서 파생된 합성 페이지를 결합하는 데이터 엔진을 구축했다. 학습 방침에는 지도 미세조정, 다중 구성 요소 보상 설계를 적용한 4B 분기에서의 강화학습, 0.8B 모델로의 온-정책 증류(distillation), 모델 융합이 포함된다. OmniDocBench v1.6에서 OvisOCR2는 96.58의 최신 최고(state-of-the-art) 종합 점수를 달성하여, 이전에는 파이프라인(pipeline) 방식이 주도하던 리더보드 최상위에 엔드투엔드 모델을 올렸고, 엔드투엔드 문서 파싱의 잠재력을 부각한다. PureDocBench에서도 OvisOCR2는 75.06의 최고 Avg3 점수를 기록한다. 이 두 공개 벤치마크를 넘어, 더 넓은 범위의 롱테일(long-tail) 및 도전적인 시나리오를 포괄하도록 설계된 사내 벤치마크에서 OvisOCR2를 평가했으며, 비교 대상 방법들 중 최고의 종합 성능을 달성해 일반화와 견고성에 대한 추가적 증거를 제공한다. OvisOCR2는 https://huggingface.co/ATH-MaaS/OvisOCR2 에서 이용할 수 있다.

arXiv:2607.13452v1cs.CV

점진적 객체 검출을 위한 공생 기반 지식 증류

Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

점진적 객체 검출(IOD)은 이전에 습득한 지식을 유지하면서 검출기를 새로운 범주로 확장하는 것을 목표로 한다. 기존 방법들은 종종 클래스 점진적 학습 관점을 채택하여 결정 경계를 선명히 하기 위해 특징 공간을 분리한다. 그러나 이러한 분리 지향 패러다임은 공동 출현과 가림이 공유 표현으로부터 이익을 얻는 공간적·의미적 종속성을 도입하는 객체 검출에서의 객체 공생을 간과할 수 있다. 이러한 종속성을 무시하면 공유 표현이 왜곡되고, 기존 클래스와 새 클래스 간 혼동이 심화되며, 치명적 망각이 가속된다. 이를 해결하기 위해, 우리는 두 가지 보완적 수준에서 객체 공생을 명시적으로 활용하는 공생 기반 지식 증류(SIKD)를 제안한다. 공간 공생 지식 증류(SpSD)는 기존 모델이 새 작업의 객체에 높은 겹침으로 반응하는 공생 영역에 초점을 맞춘다. 이는 일반화 가능한 기존 클래스 단서를 보존하고, 클래스별 바이어스와 중복을 억제하며, 슬롯 정렬된 감독으로 대응되는 공간 위치에서 정제된 증거를 새 모델로 증류한다. 의미 공생 지식 증류(SeSD)는 기존 클래스에 대한 신뢰도 가중 프로토타입을 형성하고 기존 클래스 로짓에 대한 클래스 간 소프트 순위를 정렬하여 클래스 수준 구조를 유지하며, 이는 적응 과정 동안 의미 토폴로지를 안정화한다. 광범위한 실험은 제안 방법의 효과와 우수성을 입증한다.

arXiv:2606.27582v4cs.CV

점을 넘어: 해석 가능한 분류를 위한 구면 분포 부분 프로토타입

Beyond Points: Spherical Distributional Part Prototypes for Interpretable Classification

프로토타입 기반 신경망은 소수의 부분 프로토타입에 예측을 그라운딩하여 내재적 해석 가능성을 제공하는 것을 목표로 한다. 그러나 최신 비전 백본은 일반적으로 정규화된 방향성 임베딩 공간에서 동작하며, 각 의미적 부분은 상당한 클래스 내 변동성을 보인다. 그 결과, 점 프로토타입은 종종 중복되거나 불안정해져 설명 품질과 견고성 모두를 저하시킨다. 우리는 vMFProto를 제안한다. 이는 각 클래스를 초구면상의 von Mises-Fisher 성분 혼합으로 모델링하는 분포적 부분-프로토타입 프레임워크이다. 각 프로토타입은 부분별 변동성을 포착하기 위해 고유의 집중도를 학습하며, 엔트로피 최적 수송(entropic optimal transport, OT)을 사용하여 구조화된 패치-프로토타입 할당을 얻는다. 2단계 학습 일정은 OT 기반 프로토타입 발견 이후, 패치 수준 지식 증류와 분포 인식 다양성 정규화를 통한 end-to-end 정교화를 수행한다. 고정된 DINO 백본을 사용한 실험에서 vMFProto는 CUB-200-2011에서 최고 수준의 일관성과 구별성을 달성하고, CUB, Stanford Dogs, Stanford Cars 전반에서 경쟁력 있는 분류 정확도를 보인다. 정성적 결과는 vMFProto가 국소화되고 비중복적인 부분 증거를 생성함을 확인한다.

arXiv:2606.22804v3cs.CV

CoVStream: 긴 비디오 스트림 이해를 위한 엣지-클라우드 협업

CoVStream: Edge-Cloud Collaboration for Understanding of Long Video Streams

CoVStream은 연산 자원이 제한된 엣지 디바이스에서 생성되는 긴 비디오 스트림을 효율적으로 이해하기 위해, 엣지 노드에서 압축된 시각적 특징과 의미적 캡션으로 증류한 뒤 클라우드에서 엔티티 그래프와 전역 시각적 컨텍스트로 통합하는 최초의 엣지-클라우드 협업 프레임워크다. VideoMME-Long, LVBench, RTV-Bench 실험에서 대역폭 사용량을 87.6% 줄이면서도 클라우드 단독 처리 대비 99.2%의 정확도를 유지했으며, 24시간 연속 스트림 시뮬레이션에서 메모리 사용량을 523배 절감함을 검증했다.

arXiv:2606.05981v2cs.CV

스트리밍 디퓨전 병목의 역전: 소비자용 GPU에서 비디오 속도의 MLLM 조건 편집 디퓨전

Inverting the Streaming-Diffusion Bottleneck: Video-Rate MLLM-Conditioned Edit Diffusion on a Consumer GPU

디퓨전 U-Net의 공격적인 지식 증류(distillation)는 실시간 텍스트-이미지 파이프라인의 프레임당 병목을 역전시킨다. 디노이저(denoiser)가 4단계 또는 1단계 증류 학생 모델이 되면 텍스트 인코더가 크리티컬 패스(critical path)가 된다. 이 역전은 인코더가 멀티모달 대규모 언어 모델(MLLM)인 비전 인식 편집 디퓨전(vision-aware edit diffusion)에서 가장 두드러진다. 우리는 2.13B MLLM 텍스트 인코더(Qwen3-VL)와 짝을 이루는 0.39B 증류 편집 U-Net을 연구하고, 인코더를 축소하는 대신 디노이저의 크리티컬 패스에서 인코더를 분리하는 세 가지 메커니즘에 기반한 이 체제를 위한 스트리밍 파이프라인을 제시한다: 배치 텍스트 인코더 상각화(batched text-encoder amortisation)를 갖춘 비대칭 사이드 스트림/메인 스트림 CUDA 파이프라이닝, 전체 U-Net + 어댑터 스택을 하나의 융합 그래프로 접는 컴파일 친화적 ControlNet-LLLite 재공식화, 프레임당 조건화 비용을 상각화하는 훅 부분집합을 갖춘 주기적 조건 갱신 스케줄. 단일 소비자용 RTX 3090 Ti에서 512x512 해상도로 480프레임 실행 동안 27-30 fps를 유지하며, 동일한 운영 지점에서 정상 상태 처리량은 RTX 4090에서 55 fps, RTX 5090에서 74 fps로 확장된다. 이는 증류가 충분히 공격적이면 추가 이득은 디노이저 추가 압축이 아니라 인코더 측 시스템 작업에서 나온다는 것을 보여준다—지금까지 스트리밍 디퓨전 문헌이 최적화해 온 레버와는 반대이다. 우리는 대화형 저지연이 아닌 비디오 속도 스트리밍 처리량을 보고하며, 우리의 수치를 동일 스택 StreamDiffusion 재실행과 대조하여 시스템 맥락으로 배치하되 우월성 주장은 하지 않는다. 공개된 유화(oil-painting) 어댑터는 클립 내 노이즈 범위 내에서 19개의 미사용 DAVIS-2017 시퀀스와 7개 출처의 15개 비-DAVIS 클립으로 일반화되며, 보지 못한 스타일에 대한 프롬프트 수준 일반화는 제한적이며 별도로 보고된다.

arXiv:2606.12634v3cs.LG

정책 그래디언트의 주도권 유지: 장기 도구 사용 에이전트를 위한 형제 안내 크레딧 증류

Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents

장기 도구 사용 에이전트 강화학습에서 직접 자기 증류(self-distillation)가 도구 사용을 붕괴시키는 실패 원인을 분석하고, 이를 해결하기 위해 성공·실패 형제 롤아웃(sibling rollout)의 대비를 외부 LLM으로 요약한 크레딧 참조를 활용해 GRPO 토큰 어드밴티지를 재가중하는 SGCD(Sibling-Guided Credit Distillation)를 제안한다. SGCD는 AppWorld와 tau^3-airline 벤치마크에서 GRPO 계열 비교 모델보다 높은 성능을 기록하며, 정책 그래디언트가 액터 업데이트를 주도하고 증류는 크레딧 할당 안내에만 활용해야 한다는 설계 원칙을 실증적으로 지지한다.

arXiv:2602.02244v3cs.LG

대규모 추론 모델을 위한 적응형 자기 증류 기반 엔트로피 보존 지도 미세조정

Entropy-Preserving Supervised Fine-Tuning via Adaptive Self-Distillation for Large Reasoning Models

대규모 추론 모델의 표준 사후 학습 절차인 지도 미세조정(SFT) 후 강화학습(RL)을 적용하는 방식(SFT-then-RL)은 RL 단계의 이점을 제한할 수 있다. SFT가 전문가 시연을 모방하는 반면, 과도한 확신을 유발하고 생성 다양성을 감소시켜 RL이 탐험할 수 있는 해 공간을 좁히는 경우가 많다. SFT 중 엔트로피 정규화를 추가하는 것은 만능 해결책이 아니다. 토큰 분포를 균일성 쪽으로 평탄화하여 엔트로피는 증가시키지만 의미 있는 탐험 능력을 개선하지는 못하는 경향이 있다. 본 논문에서는 내재적 호기심을 통해 탐험 능력을 향상시키도록 설계된 엔트로피 보존 SFT 방법인 CurioSFT를 제안한다. 이는 (a) 자기 탐색적 증류(Self-Exploratory Distillation)로, 모델이 자체 생성된 온도 스케일링된 교사를 향해 증류되어 능력 범위 내에서 탐험을 장려하고; (b) 엔트로피 유도 온도 선택(Entropy-Guided Temperature Selection)으로, 추론 토큰에서는 탐험을 증폭하고 사실 토큰에서는 안정화하여 지식 망각을 완화하도록 증류 강도를 적응적으로 조정하는 두 구성 요소로 이루어진다. 수학적 추론 과제에 대한 광범위한 실험에서 SFT 단계에서 CurioSFT가 분포 내(in-distribution) 과제에서 바닐라 SFT 대비 2.5점, 분포 외(out-of-distribution) 과제에서 2.9점 더 우수한 성능을 보였음을 입증한다. 또한 SFT 중 보존된 탐험 능력이 RL 단계에서 구체적인 성능 향상으로 성공적으로 이어져 평균 5.0점의 개선을 달성함을 검증한다.

arXiv:2607.12934v1cs.CV

차이 가이드 적응과 주파수 분리 지식 증류를 통한 도메인 점진적 원격 탐사 변화 탐지

Domain-Incremental Remote Sensing Change Detection via Difference-Guided Adaptation and Frequency-Decoupled Distillation

원격 탐사 변화 탐지(RSCD) 모델은 새로운 도메인에 점진적으로 적응할 때 재앙적 망각에 취약하다. 기존 도메인 점진적 학습(DIL) 방법은 주로 이미지 수준 표현을 보존하지만, 도메인 이동 하에서 견고한 변화 탐지에 필수적인 이중 시기 불일치 단서를 종종 간과한다. 이 한계를 해결하기 위해, 우리는 차이 가이드 적응(Difference-Guided Adaptation)과 주파수 분리 지식 증류(Frequency-Decoupled Distillation)를 통합한 도메인 점진적 변화 탐지 프레임워크인 DG-FDD를 제안한다. 구체적으로, 차이 가이드 동적 어댑터(DGDA)는 이중 시기 특징 불일치를 모델링하여 변화 인지 특징 적응을 촉진하고 도메인 특이적 간섭을 줄인다. 한편, 교차 도메인 합성(Cross-domain Synthesis)을 포함한 주파수 분리 지식 증류(FDKD-CS) 전략은 주파수 영역에서 구조적 정보와 도메인 스타일을 분리하여, 과거 데이터 없이 안정적인 지식 전이를 가능하게 한다. 2도메인 및 3도메인 점진적 프로토콜 하에서 세 개의 공개 고해상도 RSCD 데이터셋에 대한 광범위한 실험은 DG-FDD가 재앙적 망각을 효과적으로 완화함을 보여준다. 독립적으로 학습된 단일 작업 모델과 비교했을 때, DG-FDD는 6개의 2도메인 시퀀스 전체에서 F1과 IoU의 평균 상대 변화가 각각 -0.23%와 -0.45%에 불과하며, 평가된 3개의 3도메인 시퀀스에서는 각각 -0.69%와 -1.31%를 기록한다. 이 결과는 지속적인 교차 도메인 변화 탐지에서 과거 지식 보존과 새 도메인 적응 사이의 유리한 안정성-가소성 균형을 나타낸다.

arXiv:2607.12663v1cs.CV

MAGE: 위 신생물 분류를 위한 색상 불변 및 공간 지식 증류

MAGE: Color-Invariant and Spatial Knowledge Distillation for Gastric Neoplasm Classification

내시경 검사에서 위선종(gastric adenoma)과 위암종(gastric carcinoma)을 정확히 구별하는 것은 임상적 의사결정에 매우 중요하다. 그러나 두 클래스 간 높은 유사성과 모호한 경계 때문에 이 과제는 매우 어렵다. 기존 ROI 기반 분류 방법은 검출/분할 오류 전파와 주변 전역 컨텍스트 손실 문제가 흔하다. 반면 전체 이미지 분류는 필요한 공간적 초점이 부족하다. 또한 심층 신경망이 도메인 특이적 질감 편향(예: 출혈, 조명 아티팩트)에 치우치는 경향이 있어, 모델이 본질적인 형태학적 특징 대신 허위 상관관계에 기반해 예측하는 경우가 많음을 관찰했다. 이러한 한계를 해결하기 위해 마스크된 무채색 가이던스 전문가(Masked Achromatic Guidance Expert, MAGE)라는 새로운 프레임워크를 제안한다. 학습 중 신생물의 마스크된 무채색 뷰에서 학습되는 보조 로컬 전문가 분기를 도입한다. 배경 컨텍스트와 색상을 억제함으로써 이 분기는 높은 변별력을 가진 순수 구조적 특징을 학습하도록 강제된다. 그다음 이중 목표 지식 증류 전략을 사용하여 분류 로짓과 공간 어텐션 맵을 모두 전달함으로써 전체 WLI(white light imaging)를 입력으로 받는 주 분기에 암묵적 공간 감독을 제공한다. 이 이중 목표 지식 증류는 모델이 지름길에 의존하기보다 형태학에 예측을 그라운딩하도록 강제하면서, 임상적으로 관련 있는 색상 단서는 유지한다. 추론 시점에 배포 가능한 모델은 주석이 달린 마스크 없이 이미지에서 동작하여 실시간 배포 가능성을 보장한다. 임상 위 내시경 데이터셋에서의 광범위한 실험 결과, 제안 방법이 기존 검출 기반 방법론(예: YOLO)과 분류 기반 방법론(예: Swin-Transformer)을 크게 능가하며, 우수한 분류 성능뿐 아니라 임상적 신뢰성을 위한 해석 가능한 어텐션 맵도 제공함을 보여준다.

arXiv:2607.12592v1cs.CV

WanToFight: 멀티플레이어 전투 상호작용을 위한 실시간 생성형 게임 엔진

WanToFight: Real-Time Generative Game Engine for Multi-Player Combat Interaction

본 논문에서는 키보드 입력으로 The King of Fighters '97(KOF~'97)의 실시간 2인 대전 게임플레이를 시뮬레이션하는 생성형 게임 엔진 WanToFight를 제안한다. 기존 생성형 게임 엔진은 단일 플레이어 1인칭 설정이거나 비실시간 협력 시나리오를 대상으로 했으며, 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 함께 다룬 사례는 없었다. WanToFight는 Wan-1.3B 비디오 확산 트랜스포머를 기반으로 한 세 가지 구성 요소로 이 격차를 메운다: 블록 인과(block-causal) 어텐션과 롤링 KV 캐시를 갖춘 스트리밍 자기회귀 생성기, 각 플레이어의 키보드 신호를 캐릭터 정체성에 연결하는 시각적 그라운딩 기반 Player Association 모듈, 단일 플레이어에서 전체 게임플레이로 이어지는 커리큘럼으로 학습된 게이트형 국소 인과 키보드 주입 모듈. 4단계 DMD 증류(distillation) student와 가지치기(pruned)된 VAE 디코더를 결합하면, 단일 NVIDIA RTX 5090에서 완전한 한 경기 동안 512×384 해상도로 30FPS를 유지한다. 알고 있는 한 WanToFight는 하나의 시스템에서 멀티플레이어 제어, 실시간 추론, 복잡한 물리적 상호작용, 대전형 게임플레이를 결합한 최초의 생성형 게임 엔진이다.

arXiv:2607.12297v1cs.CV

MobileSAM2: 공간 지능을 위한 경량 Segment Anything

MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

최근의 대규모 비디오 파운데이션 모델인 SAM2는 이미지와 비디오 모두에서 segment anything을 가능하게 하며, 다양한 응용 분야를 위한 강력한 베이스 모델로 활용된다. 그러나 이러한 사용 사례 중 많은 것은 스마트폰이나 노트북과 같은 자원 제약이 있는 기기에서 동작해야 한다. 본 연구에서는 무거운 SAM2를 경량 모델로 지식 증류하여 SAM2를 더 모바일 친화적으로 만들고, 모바일 기기에서 이미지와 비디오 모두에 대한 segment anything을 용이하게 하는 것을 목표로 한다. 이를 위해 하이퍼그래프 개념을 지식 증류에 도입하는 Hypergraphical Knowledge Distill(HyperKD)을 제안하며, SAM2의 일반화 가능하고 포괄적인 지식을 효과적으로 모델링하고 전달하는 것을 목표로 한다. HyperKD는 하이퍼그래프를 구성하여 SAM2로부터 각각 일반화 가능한 시간적 지식과 포괄적인 다중 입도 지식을 명시적으로 모델링하고 추출하는 Temporal HyperKD와 Granularity HyperKD로 구성되며, 구성된 하이퍼그래프와 정렬함으로써 이를 경량 학생 모델에 지식 증류한다. 또한 모델 크기 축소 과정에서 HyperKD를 활용하여 최적의 모델 아키텍처를 탐색함으로써 효율성과 효과성의 균형을 맞춘 경량 SAM2 제품군인 MobileSAM2를 제시한다. 광범위한 실험을 통해 MobileSAM2를 여러 벤치마크에서 검증하였으며, 체화 AI(embodied AI) 과제에서 유망한 일반화 성능을 보였다.