PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04809v1stat.ML

데이터 증류를 통한 표 형식 기반 모델의 컨텍스트 제약 전이학습

Context-Constrained Transfer Learning for Tabular Foundation Models via Data Distillation

표 형식 기반 모델(TFM)의 전이학습에서 컨텍스트 크기 제약과 분포 이동으로 인한 부정적 전이(negative transfer) 문제를 해결하기 위해, 예산 제약 최적 수송(optimal transport) 기반 앵커 선택과 로컬 지식 증류(distillation)를 결합한 TL-ANDI 프레임워크를 제안한다. TL-ANDI는 소스 데이터에서 타겟 공변량 커버리지와 사후분포 호환성을 동시에 고려해 대표 샘플을 선별하고 잔차 보정을 적용함으로써, 회귀 및 분류 태스크 모두에서 부정적 전이 없는 안전한 전이학습을 이론적·실증적으로 보장한다.

arXiv:2603.14830v3cs.LG

데이터셋 증류는 비선형 태스크의 그래디언트 기반 학습으로부터 저차원 표현을 효율적으로 인코딩한다

Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks

데이터셋 증류(dataset distillation)의 이론적 메커니즘을 규명한 연구로, 다중 인덱스 모델(multi-index model) 비선형 태스크 구조에서 그래디언트 기반 알고리즘(performance matching, gradient matching)을 2층 ReLU 신경망에 적용했을 때 태스크의 저차원 구조가 증류 데이터에 효율적으로 인코딩됨을 이론적으로 증명했다. 입력 차원 $d$와 내재적 차원 $r$에 대해 $\tilde{\Theta}(r^2d+L)$의 메모리 복잡도로 높은 일반화 성능을 재현할 수 있음을 보인 최초의 그래디언트 기반 데이터셋 증류 이론 연구 중 하나다.

arXiv:2507.18366v2cs.LG

증거적 지식 증류를 통한 대규모 언어 모델의 효율적 불확실성 추정을 향하여

Toward Efficient Uncertainty in LLMs through Evidential Knowledge Distillation

여러 번의 순전파가 필요한 베이지안·앙상블 기반 불확실성 인식 교사 모델을 LoRA로 파인튜닝된 단일 순전파 학생 모델로 증류하는 방법을 제안하며, 소프트맥스 출력과 Dirichlet 분포 출력(증거적 학습)을 활용한 두 가지 증류 전략을 비교한다. 분류 과제 실험에서 증류된 학생 모델이 교사 모델 대비 유사한 예측 성능과 불확실성 정량화 성능을 단일 순전파만으로 달성함을 보여준다.

arXiv:2607.04751v1cs.LG

트러스트 리전 정책 증류

Trust Region Policy Distillation

온-정책 증류(OPD)의 불안정한 최적화 문제를 해결하기 위해, TOP-D는 교사 정책과 학생 정책의 확률 분포를 보간하여 근접 교사(proximal teacher)를 동적으로 구성함으로써 그래디언트 분산을 이론적으로 제어하는 안정적인 지식 증류(distillation) 패러다임을 제안한다. AIME24 벤치마크에서 표준 OPD 대비 avg@32 정확도를 25.84% 절대적으로 향상시키면서도 추가적인 계산 오버헤드 없이 플러그 앤 플레이 방식으로 적용 가능하다.

arXiv:2607.04574v1cs.LG

몇 가지 교사 단계만으로 충분하다: 에이전트 사후 학습을 위한 비용 효율적인 온-정책 데이터 증강

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

LLM 에이전트 사후학습에서 온-정책 데이터 증강을 예산 배분 문제로 재정의하고, 학습자가 도달한 컨텍스트에서 소수의 교사 단계만 수행하는 OP-Short 방식이 HotpotQA, ALFWorld, Terminal-Bench-Dev에서 동일 예산 대비 순수 행동 복제 및 필터링 기반 대안들과 동등하거나 더 나은 성능을 달성함을 보인다.

arXiv:2607.04542v1cs.LG

Auto: AGI 컴파일러

Auto: The AGI Compiler

LLM 에이전트가 매번 프론티어 모델에서 행동을 재도출하는 높은 비용 문제를 해결하기 위해, Auto는 라이브 에이전트 행동을 기록·측정하여 결정론적 부분을 WebAssembly 기반 인지 바이너리(cognition binary)로 컴파일하는 컴파일러 파이프라인을 제안한다. AUTO-BENCH에서 560개 스팬 중 87.1%가 결정론적으로 확인되었으며, 300개 항목 스트림에서 항목당 한계 비용을 59 마이크로달러에서 2 마이크로달러로 6.4배 절감하면서 96.9% 동등성을 달성했다.

arXiv:2607.04432v1cs.LG

은폐적 특성 전파는 표현 정렬이다: 은닉 채널 증류의 메커니즘적 증거

Covert Trait Propagation Is Representation Alignment: Mechanistic Evidence from Hidden-Channel Distillation

순수 균일 노이즈로 학습된 학생 모델이 교사 모델의 능력을 물려받는 은폐적 특성 전파(CTP)의 메커니즘을 MLP/MNIST 환경에서 분석한 결과, 이 채널은 정보 전달이 아닌 공유 초기화에서 비롯된 기하학적 표현 정렬(representation alignment)에 의해 작동함을 다섯 가지 실험으로 규명하였다. 또한 인스트럭션 튜닝된 LLM의 교차 토큰 행동 얽힘(CTBE) 현상이 사전학습 기반 위에서 정렬(alignment) 학습에 의해 활성화됨을 밝히고, 기존 로그 비율 메트릭의 순환 논리적 편향을 교정하였다.

arXiv:2607.04306v1cs.LG

SAD-LoRA: 저랭크 지식 증류를 위한 스펙트럼 정렬

SAD-LoRA: Spectral Alignment for Low-Rank Knowledge Distillation

SAD-LoRA는 파인튜닝된 교사 모델을 LoRA 학생 모델로 지식 증류할 때 어댑터의 열 공간이 데이터 가중 교사 업데이트의 주요 부분공간과 정렬되도록 미분 가능한 주각도 손실을 학습 목표에 추가하는 방법이다. RoBERTa-large → RoBERTa-base 증류 실험에서 r=4 설정 기준 6개 GLUE 태스크 중 5개에서 기존 스펙트럼 기준선과 동등하거나 우수한 성능을 보이며, 부분공간 정렬 불일치 항을 51%에서 거의 0으로 감소시켜 낮은 랭크에서의 매개변수 효율적 압축 효과를 크게 개선한다.

arXiv:2607.04037v1cs.LG

보상 게이팅 온-정책 지식 증류

Reward-Gated On-Policy Distillation

온-정책 지식 증류(on-policy distillation)에서 교사 모델의 로짓이 항상 신뢰할 수 없다는 문제를 해결하기 위해, RG-OPD는 검증기(verifier) 보상과 교사-학생 간 우도(likelihood) 격차의 방향성이 일치하는 궤적에 대해서만 증류 손실을 적용하는 보상 게이팅(reward gating) 메커니즘을 도입한다. 추론 및 코딩 벤치마크에서 RG-OPD는 기존 역방향-KL 증류 대비 최대 2.9점, TSD-KD 대비 4.9점 향상되며, 장문 생성 환경에서는 비튜닝 학생 모델 대비 8.2점 개선된 성능을 달성한다.

arXiv:2607.03572v1cs.LG

표현 동치류에 대한 교사 감독

Teacher Supervision over Representation Equivalence Classes

지식 증류(knowledge distillation)에서 교사 모델의 은닉 표현은 직교 및 등방 스케일링 동치류(equivalence class)까지만 식별 가능하므로 절대 좌표 매칭은 비적합 문제(ill-posed)임을 기하학적으로 규명하고, 역량(capability)은 표현이 아닌 출력 함수(로짓)라는 군 불변량(class invariant)에 의존함을 보인다. Qwen2.5와 Llama-3.1 실험에서 은닉 표현 복원(CKA ≈ 0.99)은 역량을 회복하지 못한 반면, 로짓 매칭은 역량을 완전히 복원하여 이론적 예측을 검증한다.

arXiv:2607.02850v1cs.LG

레이블 데이터 없는 메타학습: 사전학습 모델과 비레이블 데이터를 활용한 효율적인 태스크 생성

Labeled-Data-Free Meta-Learning: Efficient Task Generation Using Pre-trained Models and Unlabeled Data

레이블 데이터 없는 메타학습은 레이블 데이터셋 획득이 비용이 크거나 프라이버시 문제로 제한될 수 있는 실세계 응용에서 매우 중요하다. 데이터 없는 메타학습(DFML)은 학습 데이터에 접근하지 않고 사전학습 모델을 활용하여 이 문제를 해결한다. 그러나 기존 DFML 방법들은 학습 데이터를 생성하기 위해 모델 역변환(model inversion)에 의존하는데, 이는 원래 분포와 일치하는 고차원 데이터를 생성해야 하므로 일반적으로 어렵고 계산 비용이 크다. 이 한계를 해결하기 위해, 우리는 사전학습 모델과 비레이블 데이터를 함께 활용하여 모델 역변환을 피하는 새로운 메타학습 설정을 제안한다. 우리의 방법은 사전학습 모델로부터 비레이블 데이터에 소프트 레이블(soft label)을 할당하여 메타학습 태스크를 생성한다. 이러한 태스크의 품질이 다를 수 있으므로, 효과적인 메타학습을 보장하기 위해 태스크 신뢰도와 클래스 분포 균형에 기반한 태스크 가중치 메커니즘을 도입한다. 광범위한 실험을 통해 우리의 접근법이 계산 비용을 크게 줄이고 일반화 성능을 향상시킴을 입증한다. 최신 DFML 방법 대비 최대 104배의 속도 향상과 퓨샷 분류 정확도에서 8.4%에서 36.4%의 개선을 달성한다.

arXiv:2607.05394v1cs.LG

직접 온-정책 증류를 통한 약-강 일반화

Weak-to-Strong Generalization via Direct On-Policy Distillation

검증 가능한 보상을 활용한 강화학습(RLVR)은 언어 모델의 추론 능력을 향상시키는 강력한 기법이지만, 학습 중 대상 모델이 많은 롤아웃을 생성해야 하기 때문에 새로운 강력한 모델마다 반복 적용하기에는 비용이 크다. 모델이 스케일링됨에 따라 사후 학습 자체가 병목이 된다. 우리는 약-강(weak-to-strong) 대안을 연구한다: 롤아웃 비용이 저렴한 소규모 모델에서 강화학습을 실행한 후, 그 강화학습 결과를 재활용하여 더 강력한 대상 모델을 개선하는 방식이다. 강화학습 사후 약한 교사 모델을 직접 증류하는 것만으로는 충분하지 않은데, 교사의 최종 정책이 유용한 강화학습 성과와 소규모 모델의 한계를 혼합하고 있기 때문이다. 우리는 교사의 강화학습으로 유도된 정책 변화를 전달하는 직접 온-정책 증류(Direct On-Policy Distillation, Direct-OPD)를 제안한다. Direct-OPD는 강화학습 사후 교사와 그 자체의 강화학습 사전 기준 모델을 비교하고, 그 로그 비율을 학생 모델에 대한 밀집 암묵적 보상으로 활용한다. 쉽게 말하면, 체크포인트 쌍은 강화학습이 약한 모델로 하여금 어떤 행동을 더 또는 덜 선택하게 만들었는지를 알려주며, Direct-OPD는 이 신호를 더 강력한 학생 모델의 온-정책 상태에 적용한다. 이를 통해 명시적인 보상 모델을 학습하거나 대상 모델에 희소 보상 강화학습을 실행하지 않고도 약한 모델의 강화학습 지도 신호를 직접 재활용한다. 실험적으로, Direct-OPD는 약한 교사를 일관되게 활용하여 더 강력한 대상 모델을 개선한다. 특히, 8개의 A100 GPU에서 단 4시간 만에 Qwen3-1.7B의 AIME 2024 성능을 48.3%에서 62.4%로 향상시킨다. 이는 동일 스텝 직접 강화학습을 능가하며, 여러 정책 변화의 순차적 합성을 가능하게 한다. 우리의 결과는 강화학습 결과물이 단순히 모방할 최종 모델이 아니라, 암묵적 보상 신호로서 모델 스케일을 넘어 재활용될 수 있음을 보여준다.

arXiv:2607.04428v1cs.CL

dOPSD: 확산 언어 모델을 위한 온-정책 자기 증류

dOPSD: On-Policy Self-Distillation for Diffusion Language Models

확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬 대안을 제공한다. 그러나 사후 학습을 통해 강력한 추론 능력을 이끌어내는 것은 여전히 어렵다. 지도 미세조정은 오프-정책 방식이라 노출 바이어스를 겪으며, 강화학습은 시퀀스 수준의 희소한 보상만을 제공하고 다루기 쉬운 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생과 교사로 동시에 활용하여 밀도 높고 토큰 수준의 온-정책 지도 신호를 제공하는 유망한 대안이지만, 그 효과는 교사에게 특권 정보(PI)—일반적으로 추론 시에는 사용할 수 없는 인스턴스별 정답 레퍼런스—를 부여하는 것에 달려 있다. 이로 인해 학생은 개선 효과가 거의 없는 약한 PI-프리 합의 정책을 증류하게 되어 dLLM 추론에 별다른 향상을 가져오지 못한다. 우리는 dOPSD를 제안한다. 이 방법은 교사의 특권을 외부 레이블이 아닌 학생 자신의 디노이징 경로에서 직접 도출하며, 마스킹된 위치를 동일한 경로의 이후 더 많이 디코딩된 단계를 활용하여 평가함으로써 교사의 이점이 모델 자체의 디코딩 과정에서 창출되도록 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학 추론과 도메인 외 코드 생성 모두를 개선하며, 지도 기반 및 온-정책 베이스라인을 능가한다.

arXiv:2607.04425v1cs.CL

UI-MOPD: 지속적 GUI 에이전트 학습을 위한 멀티 플랫폼 온-정책 지식 증류

UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning

멀티모달 기반 모델과 에이전트 시스템의 최근 발전은 GUI 에이전트를 단일 플랫폼 작업 실행에서 크로스 플랫폼 상호작용으로 나아가게 했다. 그러나 멀티 플랫폼 GUI 에이전트를 구축하는 것은 여전히 어렵다. 한편으로는 고품질의 실행 가능한 크로스 플랫폼 상호작용 궤적이 여전히 부족하며, 기존 데이터는 플랫폼 커버리지가 제한되는 문제를 겪는 경우가 많다. 다른 한편으로는 플랫폼마다 서로 다른 상호작용 관습을 가지고 있어, 공동 또는 지속적 학습 시 행동 패턴 혼합, 플랫폼별 성능 저하, 그리고 치명적 망각(catastrophic forgetting)이 발생하기 쉽다. 이러한 문제를 해결하기 위해, 우리는 고품질 크로스 플랫폼 GUI 상호작용 데이터셋인 Uni-GUI를 구축하고, GUI 에이전트의 지속적 학습에 멀티 교사 온-정책 지식 증류(distillation)를 통합한 최초의 방법인 UI-MOPD를 제안한다. UI-MOPD는 현재 환경에 따라 플랫폼별 교사를 동적으로 선택하고, 플랫폼 조건부 증류를 통해 플랫폼별 행동 사전(behavioral prior)을 공유 정책에 전달함으로써, 기존 플랫폼의 역량을 보존하면서 새로운 플랫폼에 적응할 수 있게 한다. OSWorld와 MobileWorld에서의 실험 결과, UI-MOPD는 각각 38.2%와 12.0%의 태스크 성공률을 달성하여, 크로스 플랫폼 역량 유지와 새로운 플랫폼 적응 간의 균형을 맞추는 데 있어 그 효과를 입증했다. 프로젝트 페이지: https://elispectre.github.io/UI-MOPD/.

arXiv:2607.04064v1cs.CL

음절 토큰화를 위한 화자 분리 청크 단위 회귀

Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization

비지도 음절 토큰화는 원시 음성에서 잠재적 언어 내용 관련 구조를 포착하는 이산 음절 토큰을 학습하는 것을 목표로 한다. 최근의 음절 토큰화 방법들은 사전학습된 HuBERT의 교사-학생 지식 증류를 활용하여 잠재 음성 프레임 표현을 음절 세그먼트로 구성한다. 그러나 발화 수준의 교차 엔트로피 목적 함수로 학습할 경우, 모델이 언어 내용 대신 화자 정체성을 예측하게 되어 음절 토큰의 순도가 저하된다. 이 문제를 해결하기 위해, 우리는 고정 길이 청크 내에서 화자 섭동이 적용된 학생 표현을 깨끗한 교사 타깃으로 회귀시키는 화자 분리 음절 토크나이저를 제안한다. 실험 결과, 제안된 방법이 음절 경계 검출 및 음절 세그먼트 클러스터링에서 최첨단 성능을 달성함을 보인다. 또한 우리의 음절 토큰으로 학습된 음성 언어 모델은 음소 수준의 SpiRit-LM 대비 통사적 및 의미적 이해에서 7%의 상대적 성능 향상을 달성한다.

arXiv:2602.12262v4cs.CL

궤적 자기 증류를 통한 소수 단계 확산 언어 모델

Few-Step Diffusion Language Models via Trajectory Self-Distillation

확산 대규모 언어 모델(DLLM)은 병렬 디코딩을 통한 빠른 텍스트 생성의 가능성을 지닌 강력한 생성 모델로 부상하고 있다. 그러나 이러한 잠재력을 실제로 실현하는 것은 여전히 어렵다. 디코딩 단계 수를 줄이면 토큰 인수분해 오류(token factorization error)로 인해 출력 품질이 크게 저하되는 경우가 많기 때문이다. 이를 완화하기 위해, 우리는 소수 단계 학생 모델이 풀 스텝 교사 모델의 생성 궤적을 모방하도록 학습시키는 자기 지식 증류(self-distillation) 프레임워크를 제안한다. 우리는 궤적 수준의 지도(supervision)가 이 인수분해 오류를 이론적·실험적으로 완화하여 효과적인 소수 단계 디코딩을 가능하게 함을 보인다. 또한 교사 모델의 모드를 향한 모드 탐색(mode-seeking)을 장려하는 역방향 KL 목적함수인 DDO(Direct Discriminative Optimization)를 통합하여, 어려운 추론 과제에서 더욱 강력한 성능을 발휘한다. 추론 및 코드 생성 벤치마크 전반에 걸쳐, 우리의 방법은 소수 단계 디코딩과 풀 스텝 디코딩 간의 격차를 크게 줄인다. 소스 코드는 https://github.com/Tyrion58/T3D 에서 확인할 수 있다.

arXiv:2607.03960v1cs.CV

Reward Lightning: 동원성 선호도 증류를 통한 빠른 비디오 생성

Reward Lightning: Fast Video Generation via Homologous Preference Distillation

비디오 확산 모델에서 선호도 정렬과 증류 가속을 동시에 달성하는 것은 여전히 미해결 과제로 남아 있다. 기존 방법들은 두 목표를 불일치하는 표현 공간에서 최적화하여, 하나의 목표를 개선하면 다른 목표가 저하되는 경우가 많다. 이를 극복하기 위해, 우리는 단일 공유 표현 내에서 비디오 확산 모델을 정렬하고 가속화하는 통합 프레임워크인 Reward Lightning을 제안한다. 핵심 원리는 동원성(homology)으로, 두 목표 모두 동일한 잠재 특징에서 평가되어 분리된 표현에서 최적화할 때 발생하는 그래디언트 충돌을 완화한다. 기반 구성 요소로서, 먼저 픽셀 공간으로 디코딩하지 않고 잠재 공간에서 직접 비디오를 채점하는 잠재 보상 모델(LRM, Latent Reward Model)을 도입한다. LRM을 기반으로, 동원성 선호도 증류(HPD, Homologous Preference Distillation)는 이 공유 백본을 재활용하여 적대적 증류와 선호도 정렬을 공동으로 수행하며, 충실하고 잘 정렬된 소수 단계 생성기를 산출한다. 광범위한 실험을 통해 LRM이 픽셀 수준 및 잠재 수준 보상 모델 기준선을 선호도 정확도에서 각각 $11.0\%$ 및 $14.7\%$ 능가하며, Reward Lightning이 단 $1$~$4$ 단계만으로 고품질 비디오를 생성하여 평균 VBench 점수를 $2.1\%$ 향상시키면서 텍스트 정렬, 모션 품질, 시각적 품질에서 선두를 달리는 것을 보여준다. 프로젝트 페이지: https://reward-lightning.github.io.

arXiv:2607.03851v1cs.CV

ContiStain: 지속적 다중 도메인 가상 IHC 염색을 위한 교차 도메인 관계 보존 증류

ContiStain: Cross-Domain Relation-Preserving Distillation for Continual Multi-Domain Virtual IHC Staining

통합 다중 가상 염색 모델은 매개변수 효율성, 공유된 병리학적 지식, 일관된 교차 바이오마커 표현을 촉진하면서 H&E 슬라이드로부터 확장 가능하고 비파괴적인 다중 분석을 가능하게 합니다. 그러나 임상 환경에서는 새로운 바이오마커에 대한 데이터가 일반적으로 시간에 따라 순차적으로 수집됩니다. 이러한 시간순으로 유입되는 데이터에 대한 미세조정은 순차적 최적화가 잠재 공간에서 바이오마커 표현들 간의 구조화된 관계를 교란시키기 때문에 이전에 학습된 바이오마커에 대한 심각한 성능 저하를 초래합니다. 이 문제를 해결하기 위해, 우리는 지속적 가상 염색을 위한 IHC 다중 도메인 관계 증류 프레임워크인 ContiStain을 제안합니다. 먼저 (i) 바이오마커 도메인 간 표현 간섭을 줄이기 위해 전문가 혼합(MoE) 특징 추출기를 사용하여 도메인 인식 구조화 특징 공간을 구성합니다. 이 안정화된 특징 공간을 기반으로, (ii) 지속적 적응 과정에서 학습된 바이오마커 도메인 간 교차 도메인 토큰 수준 코사인 유사도 행렬의 일관성을 명시적으로 강제하는 관계 보존 증류 전략을 제안합니다. 교차 도메인 구조적 일관성을 유지함으로써, ContiStain은 새로운 도메인에 대한 적응성을 유지하면서 망각을 완화합니다. 4개 도메인 순차적 가상 IHC 염색 설정 하에서 MIST 데이터셋에 대한 실험은 향상된 안정성을 보여주며, 순차적 미세조정 대비 FID와 ConchFID를 각각 11.1 및 60.9 감소시켜 확장 가능하고 견고한 다중 도메인 가상 염색을 가능하게 합니다. 코드는 https://github.com/ccitachi/ContiStain에서 공개되었습니다.

arXiv:2607.03803v1cs.CV

CineMobile: 영화적 카메라 모션 생성을 위한 온디바이스 이미지-투-비디오 디퓨전

CineMobile: On-Device Image-to-Video Diffusion for Cinematic Camera Motion Generation

모바일 기기에서의 이미지-투-비디오 생성에 대한 수요가 증가함에 따라, 불릿 타임(bullet time), 달리 줌(dolly zoom), 슬로모션 등 영화적 모션 효과에 대한 관심이 높아지고 있다. 디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 비디오 생성에서 우수한 성능을 보이지만, 방대한 매개변수 크기와 다단계 반복적 디노이징 과정으로 인해 상당한 연산 부담이 발생하여 모바일 기기에서의 효율적인 생성이 어렵다. 우리는 이 격차를 해소하기 위해 CineMobile을 제안한다. 구체적으로, CineMobile은 세 가지 최적화 전략을 채택한다: (1) 지식 증류 기반 가지치기 방식을 활용하여 영화적 효과에 필요한 핵심 비디오 생성 능력을 유지하면서도 컴팩트하고 효율적인 모델을 도출하고; (2) 디퓨전 증류와 강화학습의 조합을 통해 압축된 모델을 4단계 생성기로 최적화하며; (3) 하이브리드 사후 학습 양자화 전략을 적용하여 모델 용량을 1 GB 이하로 압축한다. 실험 결과, Wan 2.1 아키텍처의 교사 모델 대비 CineMobile은 유사한 시각적 품질을 유지하면서 생성 속도를 40배 향상시켰다. 구체적으로, CineMobile은 NVIDIA H200 GPU에서 단계당 디노이징 지연 시간 0.6초, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 20초로 49프레임 480p 비디오를 생성하며, 최대 메모리 사용량은 1.8 GB로, 모바일 기반 이미지-투-비디오 생성의 실용적 적용 가능성을 입증한다.

arXiv:2607.03784v1cs.CV

비전 트랜스포머의 깊이 가지치기 재고: 이질성 인식 관점

Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective

기존 연구들이 다양한 가지치기 기법을 통해 비전 트랜스포머(ViT)를 성공적으로 압축해왔으나, 대부분은 모델 크기를 크게 줄이기 위해 너비 가지치기에 집중해왔다. ViT에서 전체 레이어를 제거하는 깊이 가지치기는 더 높은 속도 향상을 제공할 잠재력이 있음에도 불구하고, 정확도 복원이 매우 어려운 것으로 알려져 있어 기존의 너비-깊이 공동 가지치기 방법이 달성할 수 있는 가속화를 제한해왔다. 본 연구에서 우리는 기존 깊이 가지치기 방법의 실패 원인이 서로 다른 레이어 간의 이질성(heterogeneity)을 간과한 데 있음을 밝히고, 차원 불일치를 방지하는 이질성 인식 깊이 가지치기 방법인 HetDPT를 제안한다. ImageNet-1K, CIFAR-100, COCO, ADE20K에 대한 종합적인 실험을 통해 본 방법을 검증하였다: HetDPT는 DeiT-B에서 정확도를 유지하면서 1.58$\times$의 속도 향상을, DeiT-S에서는 정확도 저하가 거의 없이 1.39$\times$의 속도 향상을 달성한다. 또한 너비 가지치기와 결합하였을 때, HetDPT+는 극단적인 ViT 가지치기에서 새로운 최첨단 기록을 세우며, Isomorphic-Pruning-2.6G 구성에서 무손실에 가까운 정확도를 유지하면서 가속 비율을 4.24$\times$에서 5.19$\times$로 향상시킨다. 코드는 https://github.com/Efficient-AI-for-All/HetDPT 에서 공개되어 있다.