PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04244v2cs.LG

타겟을 양자화하고, 드래프터를 양자화하라: Qwen3.5-4B를 활용한 효율적 추론

Quantize the Target, Quantize the Drafter: Efficient Inference with Qwen3.5-4B

자원 제한 환경(NVIDIA A10G GPU)에서 Qwen3.5-4B의 저지연 추론을 달성하기 위해, 양자화 인식 증류(QAD)로 정확도를 회복한 INT4 타겟 모델과 2단계 학습된 block-diffusion 드래프터를 결합한 투기적 디코딩(speculative decoding) 시스템을 제안한다. 드래프터에 추가로 PTQ 및 슬라이딩 윈도우 어텐션(SWA)을 적용해 오버헤드를 줄인 결과, 기준선 대비 평균 6.978배 속도 향상을 달성하며 Efficient Qwen Competition에서 3위를 기록했다.

arXiv:2601.01484v2cs.LG

베이지안 교사를 활용한 SGD 기반 지식 증류: 이론과 가이드라인

SGD-Based Knowledge Distillation with Bayesian Teachers: Theory and Guidelines

베이지안 관점에서 지식 증류(KD)를 이론적으로 분석하여, SGD 기반 학습 시 베이즈 클래스 확률(BCP)로 지도하면 원-핫 레이블 대비 분산이 감소하고 수렴이 개선됨을 증명한다. 이를 바탕으로 잘 보정된 확률 예측을 제공하는 베이지안 교사 모델을 KD에 활용할 것을 제안하며, 실험적으로 정확도 최대 +4.27% 향상 및 노이즈 최대 30% 감소를 확인했다.

arXiv:2410.11378v3cs.LG

신뢰 불필요 개인화 탈중앙화 학습

Trust-free Personalized Decentralized Learning

신뢰 없는 환경에서의 개인화 연합학습을 위해 블록체인 기반 게시판과 LSH·피어 랭킹을 결합한 TPFed 프레임워크를 제안하며, 공개 참조 데이터셋을 활용한 '올인원' 지식 증류 프로토콜로 지식 전달·모델 품질 평가·유사도 검증을 단일 교환으로 동시 처리한다. 광범위한 실험에서 TPFed는 기존 연합학습 기준선 대비 학습 정확도와 적대적 공격에 대한 견고성 모두에서 우수한 성능을 보였다.

arXiv:2607.06335v1cs.CV

교사 정렬 복구를 통한 확산 모델 가지치기와 스텝 증류의 연결

Bridging Diffusion Pruning and Step Distillation with Teacher-Aligned Repair

확산 모델(diffusion model)의 추론 비용을 동시에 줄이기 위해, 구조적 가지치기(structured pruning) 이후 전체 재학습 없이 스텝 증류(step distillation)로 바로 이어지는 경로가 실패함을 규명하고, 이를 해결하는 짧은 교사 정렬(teacher-alignment) 복구 단계를 제안한다. ImageNet-512에서 EDM2-XS를 20% 가지치기한 단일 스텝 생성기가 98.826M 파라미터와 1회 네트워크 평가만으로 FID 3.12를 달성해 원본(124.713M, 63회 평가, FID 3.53)을 오히려 앞섰다.

arXiv:2607.06216v1cs.CV

MoWorld: 플래시 월드 모델

MoWorld: A Flash World Model

MoWorld는 고사양 GPU 없이 NPU에서 최대 50 FPS 실시간 추론을 달성하는 플래시 월드 모델(Flash World Model)로, 3D 네이티브 데이터 엔진, 커리큘럼 크로스-프레임 사전학습, 자기회귀 플로우 매칭 지식 증류, 혼합 정밀도 병렬 추론 프레임워크를 통합한 엔드-투-엔드 파이프라인을 제시한다. 기존 월드 모델 대비 추론 비용을 30–50% 수준으로 낮추면서도 주제 일관성, 카메라 제어, 장기 시간 일관성 등 주요 벤치마크에서 선도적 성능을 달성했다.

arXiv:2607.06173v1cs.CV

MobileWan: 모바일 비디오 디퓨전의 품질 격차 해소

MobileWan: Closing the Quality Gap for Mobile Video Diffusion

Wan2.2-5B 서버급 모델을 순환 증류(recurrent distillation)와 학습 가능한 어텐션 헤드 가지치기, 샘플링 단계 증류, 메모리 최적화 VAE 디코딩을 결합해 모바일 기기에 배포 가능하도록 압축한 MobileWan을 제안하며, 상용 모바일 기기에서 20초 내에 480×832 해상도의 5초 영상을 16 FPS로 생성하고 VBench 83.79점으로 모바일 비디오 생성 최고 성능을 달성했다.

arXiv:2607.05891v1cs.CV

Few-Medoids: 퓨샷 지식 증류를 위한 당혹스러울 만큼 단순한 코어셋 선택 방법

Few-Medoids: An Embarrassingly Simple Coreset Selection Method for Few-Shot Knowledge Distillation

퓨샷 지식 증류(KD) 환경에서 효율적인 코어셋 선택을 위해, 교사 모델의 잠재 공간에서 각 클래스의 평균 이미지에 가장 가까운 샘플을 선택하는 few-medoids 방법을 제안한다. 4개 데이터셋과 합성곱·트랜스포머 네트워크를 포함한 3가지 교사-학생 모델 쌍 실험에서, 이 단순한 방법이 무작위 선택 기준선과 herding, k-center Greedy 등 기존 코어셋 선택 전략들을 일관되게 능가함을 보인다.

arXiv:2607.05605v1cs.CV

효율적인 AI 생성 이미지 품질 평가를 위한 패치 지식 전이

Patch Knowledge Transfer for Efficient AI-Generated Image Quality Assessment

AI 생성 이미지의 품질 평가에서 정확도와 연산 효율성 간의 트레이드오프를 해결하기 위해, 로컬-글로벌 하이브리드 처리 교사 모델이 글로벌 처리만 수행하는 학생 모델에게 특징 수준 및 출력 수준의 다단계 지식 증류를 통해 표현 능력을 전수하는 Patch Knowledge Transfer(PKT) 프레임워크를 제안한다. 4개의 AIGIQA 벤치마크 실험에서 PKT는 연산 비용(FLOPs)을 67.7% 절감하면서도 교사 모델에 필적하는 평가 성능을 유지함을 입증했다.

arXiv:2607.05533v1cs.CV

엣지 효율적인 병리 파운데이션 모델을 위한 다중 교사 대조 지식 증류

Multi-Teacher Contrastive Distillation for Edge-Efficient Pathology Foundation Models

MuCoDi(Multi-teacher Contrastive Distillation)는 Virchow2, UNI2, H-Optimus-1 등 여러 대형 병리학 파운데이션 모델(PFM)의 동결된 타일 임베딩을 MoCo v3 기반 대조 지식 증류(distillation) 목표로 경량 MobileOne·RepViT 학생 모델에 전달하는 사전학습 프레임워크다. RepViT 기반 MuCoEdge 학생 모델은 23개 임상 분류 태스크에서 최고 교사 모델(Virchow2, AUROC 71.8%)과 0.8%p 이내 성능을 유지하며, Raspberry Pi 5에서 Virchow2 대비 최대 605배 추론 속도를 달성해 병원 내 엣지 배포 가능성을 입증한다.

arXiv:2607.03018v2cs.CV

$C^3$ASD: 다중 수준 일관성 기반 표현 학습

$C^3$ASD: Multi-Level Consistency-Driven Representation Learning

실세계 배경 소음, 가림, 모달리티 손상 환경에서 오디오-비주얼 능동 화자 감지(Active Speaker Detection)의 성능 저하 문제를 해결하기 위해, 임베딩 수준 모달리티 간 일관성, 시퀀스 수준 모달리티 내 일관성, 예측 수준 지식 증류(knowledge distillation)로 구성된 다중 수준 일관성 프레임워크 $C^3$ASD를 제안한다. 광범위한 실험에서 다양한 노이즈 조건 하에 유의미한 성능 향상을 보이면서도 깨끗한 데이터에서 경쟁력 있는 성능을 유지함을 검증하였다.

arXiv:2606.27377v2cs.CV

DanceOPD: 온-정책 생성 필드 증류

DanceOPD: On-Policy Generative Field Distillation

flow-matching 이미지 생성 모델에서 텍스트-투-이미지(T2I), 국소·전역 편집 등 상충하는 다중 역량을 단일 student로 구성하는 과제에 DanceOPD라는 온-정책(on-policy) 생성 필드 증류 프레임워크를 제안한다. 샘플별로 하나의 역량 velocity field에 하드 라우팅하고 student 롤아웃의 저노이즈 상태에서 필드를 조회해 velocity MSE로 학습하며, T2I·편집·realism-field·classifier-free guidance(CFG) 흡수 실험에서 목표 역량을 강화하면서 앵커 생성 품질을 유지했다.

arXiv:2603.23916v4cs.CV

DecepGPT: 스키마 기반 기만 탐지를 위한 다문화 데이터셋과 강건한 멀티모달 학습

DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning

시청각 단서 기반 기만 탐지(multimodal deception detection)의 한계—이진 레이블만 제공하는 벤치마크, 소규모 데이터셋, 지름길 학습(shortcut learning)—를 해결하기 위해, 구조화된 추론 체인이 포함된 데이터셋 구축, 4개국 1,695개 샘플의 다문화 데이터셋 T4-Deception 공개, 그리고 SICS(안정화된 개별성-공통성 시너지)와 DMC(증류된 모달리티 일관성) 모듈을 제안한다. 세 개의 기존 벤치마크와 T4-Deception에서의 실험을 통해 도메인 내·외 모두에서 최고 성능을 달성하며 다양한 문화권에 걸친 우수한 전이 가능성을 입증한다.

arXiv:2412.08949v4cs.CV공식 코드 · Papers with Code

튜닝된 역방향 지식 증류: 크로스모달 튜너를 활용한 멀티모달 산업 이상 탐지 향상

Tuned Reverse Distillation: Enhancing Multimodal Industrial Anomaly Detection with Crossmodal Tuners

멀티모달 산업 이상 탐지에서 기존 지식 증류(KD) 기반 방법들이 융합된 특징으로 교사 표현을 생성할 때 단일 모달리티에만 존재하는 이상을 포착하지 못하는 문제를 해결하기 위해, 각 모달리티에 독립 브랜치를 할당하는 Multi-branch 설계와 Crossmodal Filter·Amplifier로 구성된 Crossmodal Tuner를 도입한 Tuned Reverse Distillation(TRD)을 제안한다. MVTec-3D AD, Eyecandies 등 멀티모달 AD 데이터셋 실험에서 기존 최첨단 방법 대비 우수한 이상 탐지 및 위치 추정 성능을 달성함을 검증하였다.

arXiv:2607.05804v1cs.AI

TurnOPD: 효율적인 장기 지평 에이전트 학습을 위한 턴 인식 온-정책 지식 증류

TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training

온-정책 지식 증류(OPD)는 학생 정책이 자신의 궤적 위에서 더 강력한 교사와 매칭되도록 학습시키는 방법으로, 언어 에이전트 학습을 위한 유망한 프레임워크를 제공한다. 그러나 장기 지평(long-horizon) 에이전트 과제에 대한 적용은 아직 충분히 탐구되지 않았다. 우리는 기본적인 에이전트 OPD에서 두 가지 핵심 비효율성을 식별한다: (1) 전체 지평 롤아웃은 약하고 잡음이 많은 KL 감독을 제공하는 후반 턴에 실제 시간(wall-clock) 자원을 낭비하는 경우가 많고, (2) 궤적 수준의 KL 목적 함수는 대부분의 손실을 얕은 토큰에 집중시켜, 초기 행동이 정렬된 후 더 깊은 결정 턴이 충분히 학습되지 않는다. 이러한 문제를 해결하기 위해, 우리는 장기 지평 에이전트의 효율적인 온-정책 지식 증류를 위한 턴 수준 예산 전략인 TurnOPD를 제안한다. TurnOPD는 두 가지 예산 컨트롤러로 구성된다: 프로브 기반 턴 통계를 활용하여 롤아웃 길이를 결정하는 적응적 롤아웃 깊이 예산 책정(adaptive rollout-depth budgeting), 그리고 KL 가중치를 토큰 수준에서 턴 균형 감독으로 점진적으로 전환하는 점진적 턴 정규화 손실 예산 책정(progressive turn-normalized loss budgeting)이다. 과제별 특화 교사 모델을 사용한 ALFWorld, WebShop, Multi-Hop Search에서의 실험 결과, TurnOPD는 동일한 실제 시간 학습 예산 하에서 우수한 검증 정확도를 달성하고, 기본적인 OPD를 넘어 정확도-시간 프론티어를 개선함을 보인다.

arXiv:2607.05750v1cs.AI

ArtisanCAD: 전문가 기반 지식 증류를 활용한 산업 수준 CAD 에이전트

ArtisanCAD: An Industrial-Level CAD Agent with Expert-Grounded Knowledge Distillation

ArtisanCAD는 CATIA 작업 녹화, 매크로 로그, 도면 노트 등 전문가 절차 지식을 CAD 중간 표현(CAD-IR)으로 증류하여 재사용 가능한 파라메트릭 스킬로 변환하는 산업용 CAD 에이전트(agent)다. Text2CAD 벤치마크에서 중간 수준 프롬프트 기반 생성 시 평균 Chamfer Distance를 14.83에서 9.88로 낮췄으며, 복잡한 자동차 부품에 대해 CATIA 네이티브 편집 가능 B-Rep 모델 생성이 가능함을 실증했다.

arXiv:2607.05471v1cs.SE

KAT-Coder-V2.5 기술 보고서

KAT-Coder-V2.5 Technical Report

KAT-Coder-V2.5는 실제 실행 가능한 리포지토리 내에서 자율적으로 동작하는 코딩 에이전트 모델로, 재현 가능한 환경 구축(AutoBuilder), 프로세스 인식 궤적 필터링, 대규모 도구 사용 궤적 합성(KwaiClawEnv), 비대칭 PPO 기반 강화학습, 멀티-티처 온-정책 지식 증류를 결합한 엔드투엔드 사후학습 프레임워크를 제시한다. 6개의 소프트웨어 엔지니어링 및 에이전트 벤치마크 평가에서 PinchBench 에이전트 도구 사용 부문 1위, 리포지토리 수준 소프트웨어 엔지니어링에서 Opus 4.8에 이어 2위를 달성했다.

arXiv:2607.05468v1cs.RO

추론 효율적인 세계 행동 모델을 위한 4D 기하학적 사전 학습

Learning 4D Geometric Priors for Inference-Efficient World Action Models

로봇 조작을 위한 세계 행동 모델(WAM)이 외관 중심의 비디오 잠재 표현에 치우쳐 정밀 조작에 필요한 시공간 기하 구조를 충분히 학습하지 못하는 문제를 해결하기 위해, MECo-WAM은 학습 시에만 경량 4D 전문가와 동결된 VGGT 인코더를 활용해 행동 관련 4D 기하학적 사전 정보를 비디오-행동 표현에 주입하고, 배포 시에는 이를 모두 제거해 추론 비용 증가 없이 LIBERO 98.2%, RoboTwin 2.0 92.6%의 성능을 달성한다.

arXiv:2606.01884v3cs.AI

EVA-Net: 비디오 기반 운동 사전 정보를 활용한 피험자 독립적 EEG 운동 디코딩

EVA-Net: Subject-Independent EEG Motor Decoding with Video-Derived Motor Priors

비침습 뇌-컴퓨터 인터페이스(BCI)에서 피험자 독립적 EEG 운동 디코딩의 한계를 극복하기 위해, 액션 비디오를 의미적 사전(prior)으로 활용하는 2단계 프레임워크 EVA-Net을 제안한다. 교차 모달 대조 학습으로 EEG와 비디오 특징을 공유 공간에 정렬한 뒤, 지식 증류(knowledge distillation)를 통해 비디오 기반 사전 정보를 추론 오버헤드 없이 EEG 전용 분류기에 전달하며, EEGMMI 데이터셋에서 LOSO 정확도 8.66% 향상을 달성했다.

arXiv:2510.07364v4cs.AI

기반 모델은 추론 방법을 알고, 사고 모델은 추론 시점을 학습한다

Base Models Know How to Reason, Thinking Models Learn When

RL 학습된 사고 모델(thinking model)과 SFT 증류 모델이 기반 모델 대비 무엇을 다르게 학습하는지 분석하기 위해, 희소 오토인코더(Sparse Autoencoder)로 추론 분류 체계를 비지도 방식으로 발견하고 구성적 모델 차분(constructive model diffing) 프레임워크를 제안한다. 9개의 기반/사고 모델 쌍 실험 결과, RL 학습은 기반 모델에 이미 존재하는 추론 메커니즘을 언제 활용할지 결정하는 휴리스틱을 주로 학습하는 반면, SFT 증류는 새로운 메커니즘 자체를 설치함을 보이며, 이는 효율적인 추론 모델 개발에 중요한 시사점을 제공한다.

arXiv:2607.05339v1cs.LG

TREK: 탐험을 위한 증류, 정제를 위한 강화

TREK: Distill to Explore, Reinforce to Refine

GRPO는 학생 모델의 온-정책 지지 범위 밖에 정답 모드가 있는 어려운 프롬프트에서 정체되는 문제를 해결하기 위해, TREK은 지식 증류를 모방이 아닌 탐험 지지 범위 확장 수단으로 활용하는 단계적 프레임워크를 제안한다. 교사 모델(블랙박스·화이트박스 모두 지원)로부터 검증된 후보 궤적을 선별해 순방향 KL로 학생 모델의 지지 범위를 확장한 뒤 표준 GRPO 정제로 복귀하는 방식으로, Qwen3-8B 기준 AIME 2025에서 36.9→40.3, ALFWorld에서 75.8→82.8의 성능 향상을 달성했다.