PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18478v2cs.CV

Data-Forcing Distillation: Few-Step Video Generation에서 다양성과 충실도 복원

Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation

최근 연구는 다단계 비디오 디퓨전 모델을 효율적인 소수 단계(few-step) 학생 모델로 증류하는 데 있어 유망한 결과를 보여주었습니다. 그중 Distribution Matching Distillation (DMD)와 그 후속작인 DMD2는 우수한 생성 품질과 빠른 수렴을 달성했습니다. 그러나 역 Kullback--Leibler (KL) 목적함수의 특성상, 이러한 방법들은 샘플 다양성의 현저한 감소와 실제 비디오 외관에서 벗어난 눈에 띄는 과포화(over-saturated) 출력이라는 두 가지 지속적인 실패 모드를 보입니다. 본 연구에서는 단 한 줄의 코드 변경만으로 DMD의 다양성과 충실도를 복원하는 간단한 사후 학습(post-training) 프레임워크인 Data-Forcing Distillation (DFD)를 제안합니다. 이 방법의 핵심은 학생 모델을 실제 데이터 분포로 유도하는 교사 점수 불일치(teacher score discrepancy)로, 학생 모델을 누락된 모드로 끌어당겨 모드 붕괴(mode collapse)를 완화하고 실제 데이터에 없는 문제가 되는 모드에서 멀어지게 하여 과포화를 방지합니다. 우리는 프레임워크에 대한 심층적인 이론적 분석을 제공하고 텍스트-투-비디오(text-to-video), 이미지-투-비디오(image-to-video), 자기회귀 비디오 생성에서 우리의 접근 방식을 검증합니다. 단 100~300단계의 파인튜닝만으로 DFD는 Wan2.1-1.3B 및 Cosmos-Predict2.5-2B 모델 모두에서 다양성과 충실도를 효과적으로 복원하며, 비디오 역학과 외관을 훨씬 더 우수하게 만들어 과포화 아티팩트를 해결하고 교사 모델(teacher model)보다도 뛰어난 성능을 보입니다.

arXiv:2606.05347v2cs.CV

TopoPult-SSL: 자기 증류 약한 임상 사전 정보를 활용한 선 마스크 없는 크로스 디바이스 마이봄선 분할

TopoPult-SSL: Gland-Mask-Free Cross-Device Meibomian Gland Segmentation via Self-Distilled Weak Clinical Priors

새로운 임상 영상 장치가 도입될 때마다 도메인 시프트가 발생하는데, 밀집 선 마스크는 획득 비용이 높은 반면 저렴한 임상 신호—눈꺼풀 윤곽, Pult 등급, 형태계측 비율—는 일상적으로 기록된다. 본 논문에서는 크로스 디바이스 마이봄선(meibomian gland) 분할을 위한 2단계 프레임워크인 TopoPult-SSL을 제안한다. 1단계는 학습 손실에 대상 선 마스크를 사용하지 않고, 대상 눈꺼풀 마스크와 임상 메타데이터만으로 구동되는 네 가지 약한 사전 정보 앵커를 활용하여 소스 학습 모델을 적응시킨다. 2단계는 대상 선 마스크가 가용할 때, 지도 자기 증류(supervised self-distillation)를 통해 상호 보완적인 1단계 교사 모델들을 단일 경량 학생 모델로 증류한다. 본 기법은 공개 벤치마크인 MGD-1k에서 CAMG(1,000장에서 100장, 다른 장치)로의 전이 환경에서 개발 및 검증되었으며, 증류된 모델은 단일 순전파로 Dice 0.716±0.006(최고 0.726)을 달성하여 UA-MT(0.710) 및 앙상블 교사(0.720)를 능가한다. 선 마스크 없는 1단계 변형은 정밀도 0.694를 달성하여 SAM/MedSAM의 0.30–0.34 대비 우수한 성능을 보이며(p<0.001), 밀집 선 윤곽 없이도 배포가 가능하다. 코드 및 재현성 스크립트가 공개되어 있다.

arXiv:2605.15062v2cs.CV

무선 캡슐 내시경 분류를 위한 학습 시간 광학적 사전 정보: 헤모글로빈 인식 입력 융합과 교차 제조사 평가

Training-Time Optical Priors for Wireless Capsule Endoscopy Classification: Hemoglobin-Aware Input Fusion with Cross-Vendor Evaluation

배경. 무선 캡슐 내시경(WCE)을 위한 RGB 학습 분류기는 헤모글로빈 대비를 담즙 착색 및 조명 감쇠와 혼동하여, 림프관확장증(Lymphangiectasia)과 같은 소혈관 혈관 소견에 대한 민감도를 제한한다. 본 연구에서는 분석적이고 몬테카를로(Monte-Carlo) 기반의 헤모글로빈 사전 정보(prior)를 표준 분류기에 순전히 학습 시간에만 주입하는 물리 정보 기반 프레임워크를 소개한다 -- 이는 WCE 분류에서 명시적인 광전달(light-transport) 사전 정보를 사용한 최초의 사례로 알려져 있다. 방법. Kvasir-Capsule(47,238 프레임, 43명 환자, 11개 평가 가능 클래스; 환자 비중복 분할)에서 6개의 시드에 걸쳐 RGB 전용 EfficientNet-B0 기준선 대비 다음을 테스트하였다: (i) P_blood 사전 정보를 RGB와 함께 공급하는 5채널 입력 융합 변형; (ii) 추론 시 일반 3채널 RGB로 동작하는 지식 증류 변형; (iii) 시간적 트랜스포머와 오토인코더-잔차 스트림을 추가한 3스트림 확장. ResNet-18 및 ConvNeXt-Tiny에서도 이를 재현하였으며, 공개 Galar 코호트에서의 교차 제조사 제로샷 전이를 보고한다. 결과. 입력 융합은 교차 시드 매크로 AUC를 0.760 → 0.783으로 향상시키고(6개 시드 중 5개에서 긍정적); 지식 증류는 0.773에 도달하며; 3스트림 모델은 0.804에 도달한다(기준선 대비 +0.044, 쌍체 DeLong p < 1e-4). 림프관확장증 AUC는 0.238 → 0.337로 상승하며, 6개 시드 전체에서 부호 일관성을 보인다. 4가지 변형에 대한 절제 실험(ablation)은 매개변수화-메커니즘 경계를 드러낸다: 공간-채널 형태만이 성능을 향상시킨다. Galar에서의 교차 제조사 제로샷은 ConvNeXt-Tiny 향상의 약 60%를 유지한다.

arXiv:2605.12218v2cs.CV

Learning Ego-Centric BEV Representations from a Perspective-Privileged View: Cross-View Supervision for Online HD Map Construction

Bird's-eye-view (BEV) representations derived from multi-camera input have become a central interface for online high-definition (HD) map construction. However, most approaches rely solely on ego-centric supervision, requiring large-scale scene structure to be inferred from incomplete observations, occlusions, and diminishing information density at long range, where perspective effects and spatial sparsity hinder consistent structural reasoning. We introduce Cross-View Supervision (CVS), a representation learning paradigm that transfers geometric and topological priors from an ego-aligned overhead perspective into camera-based BEV encoders. Rather than adding auxiliary semantic losses, CVS aligns representations in a shared BEV feature space and distills globally consistent structural knowledge from a perspective-privileged teacher into the ego-centric backbone. This supervision enhances structural coherence without modifying the inference architecture or requiring overhead input at test time. Experiments on nuScenes using ego-aligned aerial imagery from the AID4AD cross-view extension demonstrate consistent improvements over StreamMapNet while maintaining identical camera-only inference. CVS yields +3.9mAP in the standard $60\times30\,\mathrm{m}$ region and +9.9mAP in the extended $100\times50\,\mathrm{m}$ setting, corresponding to a 44% relative gain at long range. These results highlight perspective-privileged structural supervision as a promising training principle for improving BEV representation learning in HD map construction.

arXiv:2512.11121v2cs.CV

Generative Manifold Distillation: Aligning Restoration Trajectories with Natural Image Prior

Pre-trained image restoration models often fail on out-of-distribution (OOD) real-world degradations. Adapting to these domains is challenging as real-world data lacks paired ground truth, and unsupervised methods often require unstable architectural changes. We propose Generative Manifold Distillation (GMD), which reframes domain adaptation as geometric manifold alignment. GMD operates in a strictly unpaired setting, requiring only low-quality (LQ) target observations. By leveraging the flow-matching dynamics of a frozen text-to-image foundation model, GMD projects off-manifold restorations onto the natural image manifold to generate high-quality pseudo-targets. To ensure stability, a quality-gated manifold filter rejects off-manifold samples, while source-anchored trajectory regularization prevents error accumulation. Ultimately, GMD distills a powerful generative prior into an efficient restoration network. Experiments demonstrate that GMD seamlessly adapts to new distributions using only LQ inputs, drastically improving perceptual quality with zero architectural modifications or added inference latency.

arXiv:2509.14001v5cs.CV

MOCHA: Multi-modal Objects-aware Cross-arcHitecture Alignment

Personalized object detection aims to adapt a general-purpose detector to recognize user-specific instances from only a few examples. Lightweight models often struggle in this setting due to their weak semantic priors, while large vision-language models (VLMs) offer strong object-level understanding but are too computationally demanding for real-time or on-device applications. We introduce MOCHA (Multi-modal Objects-aware Cross-arcHitecture Alignment), a distillation framework that transfers multimodal region-level knowledge from a frozen VLM teacher into a lightweight vision-only detector. MOCHA extracts fused visual and textual teacher's embeddings and uses them to guide student training through a dual-objective loss that enforces accurate local alignment and global relational consistency across regions. This process enables efficient transfer of semantics without the need for teacher modifications or textual input at inference. MOCHA consistently outperforms prior baselines across four personalized detection benchmarks under strict few-shot regimes, yielding a +10.1 average improvement, with minimal inference cost.

arXiv:2405.01558v4cs.CV

Configurable Holography: Towards Display and Scene Adaptation

Rendering holograms for holographic displays is often an iterative and computationally costly process. Emerging learned holography methods have alleviated this bottleneck by enabling fast hologram rendering with improved reconstruction quality. However, existing methods still depend on fixed display hardware and scene parameters, requiring retraining for each new configuration. This limits rapid adaptation to different visual needs, including scene brightness, user focus preference, and hardware compatibility. We introduce Configurable Holography, a learned CGH framework in which a single model adapts to diverse display-scene parameters through explicit conditioning, eliminating the need for retraining. As a prototype, we present a configurable structure and derive a family of models that continuously adapt to propagation distance, volume depth, peak brightness, pixel pitch, and wavelength. To further improve efficiency, we incorporate auxiliary monocular depth estimation for depth-aware 3D hologram synthesis from RGB-only inputs and apply knowledge distillation for interactive inference. Our extensive simulation and hardware experiments on three holographic display prototypes with different combinations of configurations show on-par reconstruction quality with existing methods, offering up to 2x speed-up in fp32. Our work represents an initial step toward flexible, general-purpose learned holography systems that can seamlessly adapt across diverse hardware and user-specific visual requirements.

arXiv:2606.24747v1cs.AI

Scaling Laws for Task-Specific LLM Distillation

Large Language Models (LLMs) achieve strong performance across a growing range of domains, yet their scale poses deployment challenges in applications where latency and cost constraints are critical. This paper derives empirical scaling laws for domain-specific LLM compression, quantifying how in-domain and general knowledge performance scale with dataset size, compression ratio, supervision format, and iterative pruning schedule. Using quantitative finance as our application domain, we compare logit-based and LoRA-based distillation under iterative structural pruning, introducing a blended chain-of-thought supervision loss that stabilizes KL-divergence distillation over reasoning traces. In-domain task quality degrades predictably under compression while general-knowledge benchmarks collapse well before the same point; supervision format is the key driver of this tradeoff, with chain-of-thought supervision actively recovering general knowledge that pruning erases. We release the headline dataset FinHeadlineMix, scaling law results, and practical recommendations to provide a reusable framework for domain-specific compression decisions.

arXiv:2606.24605v1cs.AI

ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling

Accurate user modeling often depends on rich interaction histories, which are unavailable for billions of low-activity users. Large Language Models (LLMs) can infer latent user states from static profiles, but this reasoning becomes unreliable when profiles are sparse, and applying an LLM to billions of users is prohibitively expensive. We present ScaleToT, which learns structured reasoning from a small LLM-processed subset and extends it to the broader low-activity user population. To improve reasoning reliability, ScaleToT constructs typed user-state chains with a bounded entropy-guided Tree-of-Thought (ToT) refinement procedure. To make this structured reasoning usable from sparse profiles, the teacher-curated chains are used to train a student model on static profiles through supervised fine-tuning (SFT) and Outcome-Driven Segment-Aware Implicit Reward Policy Optimization (OSIPO). ScaleToT then transfers the student's reasoning representations to a lightweight profile encoder, providing shared reasoning signals for the remaining users without LLM inference. We evaluate ScaleToT on lifetime value (LTV) prediction in a billion-scale advertising deployment. A randomized online A/B test increased LT30 by 6.738\%, while offline reasoning covered only 7.32\% of the potential population, greatly reducing compute cost compared with full-population reasoning.

arXiv:2606.24437v1cs.AI

ReM-MoA: Reasoning Memory Sustains Mixture-of-Agents Scaling

Mixture-of-Agents (MoA) architectures improve inference-time scaling by organizing multiple LLM agents into layered reasoning pipelines. However, existing MoA variants fail to sustain gains as depth increases, exhibiting degradation, early plateauing, or saturation. We propose ReM-MoA, a memory-augmented MoA framework that sustains scaling through two mechanisms: (1) a Ranked Reasoning Memory that persistently stores and ranks reasoning traces from all layers using a comparative Reviewer Agent, and (2) a Curated Diversified Memory Routing scheme that exposes different agents to distinct combinations of successful and failed traces, preserving exploration diversity while propagating high-quality reasoning. We further introduce an optional multi-domain Reviewer distillation pipeline that improves ranking quality through frontier-model supervision. Across five reasoning benchmarks spanning math, formal logic, code, knowledge, and commonsense, ReM-MoA consistently outperforms prior MoA variants across both depth and width scaling, and its advantage widens with depth, establishing structured cross-layer reasoning memory as a key missing mechanism for scalable multi-agent inference.

arXiv:2606.24307v1cs.SD

Real-Time Interactive Music Generation via Data-Free Streaming Consistency Distillation

Interactive music and live performance relies on real-time human expression, but modern generative music AI remains largely absent from this domain due to its prohibitive inference latency and offline rendering paradigm. To provide pioneer musicians with a novel medium for interactive composition, we should fundamentally change these static models into dynamic, playable instruments. In this paper, we propose a framework that bridges this gap. To achieve the low latency required for live interaction without sacrificing structural coherence, we formulate distillation within a streaming autoregressive latent space. Our approach gets rid of the need for expensive paired audio-latent datasets by utilizing prompt-only inputs to synthesize teacher-guided, chunk-wise trajectories on the fly. Because live instruments require high acoustic fidelity, we introduce music-aware consistency objectives, which combine latent, spectral, and temporal-difference losses, to preserve crucial qualities like timbre, transients, and rhythmic stability during accelerated single-step streaming generation. Implemented via parameter-efficient adaptation, our distillation reduces generation steps to achieve a low real-time factor. Crucially, by operating as a continuous autoregressive stream, the system can seamlessly assimilate dynamic human inputs on the fly, allowing users to instantly steer the musical trajectory without interrupting the audio flow. Ultimately, this work recontextualizes generative text-to-music models not as passive prompt-and-wait systems, but as responsive instruments, opening new frontiers for live human-AI musical co-creation.

arXiv:2606.24089v1cs.RO

DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs

Recent advances in control have enabled bipedal-wheeled robots to traverse slopes and single-step obstacles, yet long staircase traversal remains challenging as current teacher-student frameworks suffer from weakened dynamics-aware representations and incomplete terrain geometry encoding. To bridge this gap, we propose DynaWM, a dynamics-aware representation learning framework. To enhance terrain encoding capability and enable transparent assessment, we introduce a world model as a regularizer to enforce forward-dynamics awareness, preserving comprehensive terrain geometry while facilitating hierarchical encoding visualization. To stabilize knowledge transfer, we employ a momentum target encoder to provide consistent distillation targets, preventing dimensional collapse from non-stationary teacher updates. Evaluation of the learned representations through Principal Component Analysis (PCA) visualization and quantitative metrics reveals that our encoder hierarchically captures terrain geometry with higher terrain encoding capability, leading to enhanced terrain adaptability and motion smoothness. Experimental results in simulation and real hardware demonstrate that our method achieves superior terrain adaptability and motion smoothness, enabling bipedal-wheeled robots to overcome diverse continuous stairs, as shown in Fig. 1.

arXiv:2606.24064v1cs.AI

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

Distilling reasoning capabilities from strong to weak language models typically involves imitating specific solution trajectories, effectively transferring what to answer rather than how to reason. This trajectory-level imitation encourages memorization of instance-specific steps rather than acquisition of transferable problem-solving skills, limiting generalization to novel problems. We propose Strategy-Guided Policy Optimization (SGPO), which replaces instance-level trajectory imitation with reusable strategy distillation. SGPO extracts structured strategy descriptions from strong-model responses and, for each problem, constructs both autonomous and strategy-guided trajectories to enable direct comparison of the model's behavior with and without strategic guidance. The framework then addresses two key questions. For how to distill, a token-level forward-KL objective selectively transfers the distributional shift induced by strategy conditioning into the unguided policy, with proximal constraints ensuring stability. For when to distill, adaptive instance-level weighting strengthens guidance when autonomous exploration falls short and reduces it as the model's own competence grows. Experiments on four mathematical benchmarks across two model families show that SGPO consistently outperforms SFT, on-policy RL, and hybrid-policy baselines, improving the average score by 2.2 points over the strongest baseline on Qwen2.5-7B-Instruct. Analysis reveals that the forward-KL objective provides an inherently selective distillation signal that outperforms direct trajectory imitation, and that strategy distillation exhibits complementary scaling with base model capability.

arXiv:2506.23921v5cs.CL공식 코드 · Papers with Code

대규모 언어 모델에서 진실의 트릴레마

The Trilemma of Truth in Large Language Models

LLM 내부 확률적 지식의 진위를 탐칭하는 기존 방법의 세 가지 결함 있는 가정을 분석하고, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 sAwMIL로 진술을 참·거짓·둘 다 아님으로 분류하는 다중 클래스 탐칭 프레임워크를 제안한다. 16개 오픈소스 LLM 평가에서 일반 탐칭은 신뢰 가능하고 전이 가능한 진위 방향을 제공하지 못하며, 진실과 거짓은 대칭적으로 인코딩되지 않고 참·거짓과 구별되는 제3의 신호가 존재함을 확인했다.

arXiv:2410.02548v4stat.ML공식 코드 · Papers with Code

지역 Flow Matching 생성 모델

Local Flow Matching Generative Models

확산 과정의 변분적 관점에서 Flow Matching(FM)을 단계적으로 분해한 지역 Flow Matching(LFM)을 제안하며, 각 단계의 FM 서브모델이 더 가까운 분포를 보간해 더 작은 모델로 효율적 학습이 가능하다. 생성 분포와 실제 데이터 분포 사이 $χ^2$-발산에 대한 이론적 보장을 제시하고, 표·이미지 비조건부 생성과 로봇 조작 정책 조건부 생성에서 FM과 경쟁력 있는 성능을 보였으며 단계적 구조는 지식 증류로 생성 가속에도 적합하다.

arXiv:2606.23124v1cs.CL

PRIDE: 공감 대화 생성을 위한 특권 정보 강화 지식 증류

PRIDE: Privileged Information-enhanced Distillation for Empathetic Dialogue Generation

자원이 제한된 환경에서 공감 대화 생성 LLM의 배포를 돕기 위해, 학습 시에만 쓸 수 있는 심리학적 주석·상황 요약 등 특권 정보를 활용하는 PRIDE 지식 증류(distillation) 방법을 제안한다. 공감 추론 프롬프트, 다중 소스 어텐션, 로짓·특징 이중 정렬 손실로 추론 시 추가 입력 없이 교사 모델의 공감적 추론을 작은 학생 모델에 전달하며, 다중 모달·텍스트 데이터셋에서 정확도와 의미적 관련성 측면에서 교사 모델과 대등하거나 능가하는 결과를 보였다.

arXiv:2606.22992v1cs.CL

엔티티 정렬을 위한 술어 중요도 추정 및 분리된 근거-점수 증류

Predicate Importance Estimation and Decoupled Rationale-Score Distillation for Entity Alignment

이종 지식 그래프(KG) 통합을 위한 엔티티 정렬(EA)은 술어 이름 변화와 불완전한 1-hop 이웃 때문에 어휘 매칭만으로는 부족하며, 술어 중요도 추정(PIE)과 분리된 근거-점수 증류(DRSD) 두 모듈로 이를 다룬다. PIE는 주어 없는 트리플을 학습 가능한 술어 가중치로 집계한 임베딩으로 분류하고, DRSD는 교사 LLM의 의사 답변으로 소형 언어 모델에 과업 특화 추론과 덜 편향된 신뢰도를 증류하며, 실험에서 Acc·F1이 각각 최대 7.66·6.76%p 개선되고 신뢰도-결정 불일치는 인간 검토로 F1을 0.909까지 높일 수 있다.

arXiv:2606.22942v1cs.CL

사후 학습에서의 지식 증류 이해: 효과가 있는 경우와 실패하는 경우

Understanding Knowledge Distillation in Post-Training: When It Helps and When It Fails

대규모 Tulu 3 데이터셋으로 사후학습 단계의 지식 증류(KD)를 체계 분석한 결과, KD는 저데이터 체제에서 지도 미세조정(SFT)보다 우수하지만 학습 데이터가 늘면 이점이 감소하고, 더 강한 인스트럭션 튜닝 교사로 증류하거나 합성 교사 라벨 데이터 후 인간 주석으로 정제하는 2단계 KD가 저자원 도메인에서 경량 학생 모델 성능을 일관되게 향상시킨다.

arXiv:2606.22578v1cs.CL

Text2DSL을 위한 문맥 인식 증류 및 아블레이션

Context-Aware Distillation and Ablation for Text2DSL

Text2DSL에서 프롬프트 기반 합성을 BNF 문법, API 명세, 닫힌 식별자 어휘로 구성된 구조화 문맥 하의 문맥 인식 증류로 대체하고, AST 검증과 polkitd 런타임 검증을 결합해 PolkitBench를 10,073쌍으로 확장했다(AST 유효율 100.0%, 런타임 통과율 99.7%). GigaChat-10B-A1.8B에 대한 8조건 구성 요소 아블레이션에서 전체 문맥이 최고 성능을 보였고, 더 어려워진 코퍼스에서 기준선은 급락하는 반면 문맥 강화 모드는 견고하며, 어휘는 의미 품질, BNF와 API는 구조적 유효성에 가장 큰 기여를 한다.

arXiv:2606.21851v1cs.CL

TALAS: 임베딩 증류를 위한 적응형 선명도 인식 최소화를 결합한 교사 고정 층 정렬

TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation

TALAS는 학생 모델이 교사의 문장 임베딩을 전 층에서 엄격히 모방할 때 생기는 용량 격차와 과도한 비용을 줄이기 위해, 최종 임베딩을 상위 층에만 선택적으로 증류하는 Teacher-Anchored 정렬, 하위 층 의미 격차를 top-down 기하 관계 제약으로 메우는 Layer-Aligned Self-Distillation, 점별 교사 노이즈 암기를 막는 ASAM 최적화를 결합한 임베딩 지식 증류 프레임워크이다. 표준 문장 임베딩 벤치마크에서 TALAS는 강력한 증류 baseline을 일관되게 능가하며 계산 비용과 메모리 측면에서도 우수한 학습 효율을 달성했다.