무선 연결이 제한된 야외 환경에서 동물 재식별(Animal Re-ID) 추론을 마이크로컨트롤러(MCU)에서 직접 실행하기 위해, 지식 증류의 한계를 분석한 뒤 MobileNetV2 백본의 너비와 깊이를 64×64 저해상도 입력에 맞게 체계적으로 스케일링한 소형 CNN 모델을 제안한다. 6개의 공개 동물 재식별 데이터셋에서 모델 크기를 100배 이상 축소하면서도 경쟁력 있는 검색 정확도를 달성했으며, Arduino Nano 33 BLE Sense에서 개체당 3장만으로 적응 가능한 완전 온디바이스 추론을 실증했다.
장면 내 행동, 객체, 객체 간 관계를 세 수준 모두에서 그라운딩된 어노테이션으로 동시에 제공하는 대규모 데이터셋이 부재한 문제를 해결하기 위해, 실내·실외·주행 시나리오에 걸친 615,805장 이미지에 전역 행동 캡션, 바운딩 박스, 관계 트리플렛을 포함한 SCLARO 데이터셋을 구축했다. 이를 벤치마킹하기 위해 분리된 인코더와 EMA 기반 지식 증류(distillation)로 세 수준을 동시에 인코딩하는 ScenarioCLIP을 제안하며, 제로샷 검색·객체 검출·씬 그래프 분류 등 다양한 태스크에서 PyramidCLIP 대비 특히 관계 수준과 도메인 외 일반화 성능이 향상됨을 입증했다.
온-정책 자기 증류(OPSD)에서 발생하는 특권 정보 누출(privileged information leakage) 문제를 해결하기 위해, DemoPSD는 교사-학생 분포 간 불일치(disagreement)를 측정하여 각 토큰 위치에서 역방향-KL 중심점 타깃(reverse-KL barycenter target)으로 혼합 비율을 적응적으로 조절하는 새로운 자기 증류 프레임워크를 제안한다. SciKnowEval 4개 과학 분야 실험에서 DemoPSD는 GRPO와 SDPO를 능가하면서 35–97% 높은 학습 엔트로피를 유지하고, 분포 외 벤치마크 GPQA에서도 강건한 일반화 성능을 보였다.
주석 없는 자기 증류(annotation-free self-distillation)의 한계를 극복하기 위해, 내부 뉴런 활성화 패턴을 활용하여 학습 데이터 선택(Neuron Consensus)과 교사 컨텍스트 구성(Neuron Overlap)을 동시에 안내하는 Neuron-OPSD 프레임워크를 제안한다. 특화 도메인 벤치마크에서 기존 주석 없는 기준 방법 대비 도메인 내 성능 향상, 교차 도메인 일반화 유지, 캘리브레이션 붕괴 완화를 달성했다.
프라이버시 민감 환경에서의 3D 포인트 클라우드 분류를 위해 13개의 연합학습(FL) 알고리즘과 10개의 지식 증류(KD) 목적 함수를 아우르는 130쌍 교차 조합을 총 504회 학습 실험으로 체계적으로 벤치마킹하였으며, ModelNet40과 두개골유합증 임상 데이터셋에서 평가하였다. 극단적인 non-IID 레이블 불균형 하에서 FL만으로는 성능이 크게 저하되고, KD는 교사 모델 대비 74.51% 작은 학생 모델로 압축하면서도 정확도를 유지하나, 하드 레이블 교차 엔트로피 항을 포함한 증류는 붕괴된 연합 교사(8.50%)에서도 92.94%의 학생을 만들어내는 평가 함정이 존재함을 밝히고, 레이블 없는 증류로 FL-KD 파이프라인을 평가할 것을 권고한다.
텍스트-이미지 디퓨전 모델의 실제 배포 환경에서 개인정보·저작권·안전성 의무가 지속적으로 발생함에 따라 개념을 순차적으로 제거하는 연속적 언러닝(continual unlearning)이 필요하지만, 기존 방법들은 3~5회 적용 후 붕괴된다는 한계가 있다. 이를 해결하기 위해 제안된 LACU(Locality-Aware Continual Unlearning)는 score-prediction distance를 기반으로 각 삭제 프롬프트에 가장 가까운 안전한 대체 타겟을 선택하는 Locality-Aware Target Selection과, 삭제 개념의 인접 개념을 우선 리플레이하여 보호하는 Locality-Aware Replay를 결합해 10단계 연속 언러닝에서 기존 기법 대비 관련 보존 정확도(RR_acc)와 일반 보존 정확도(GR_acc)를 크게 향상시켰다.
On-Policy Distillation(OPD) 과정에서 학습이 수렴한 이후에도 지속적으로 높은 손실을 보이는 "Rock Token"이 출력 토큰의 최대 18%를 차지하며 그라디언트를 독점하지만, 인과적 개입 실험을 통해 이 토큰들이 실제 추론 성능에는 거의 기여하지 않는다는 역설이 밝혀졌다. 이를 바탕으로 Rock Token의 그라디언트를 선택적으로 제거하는 window-aware 토큰 재가중 기법을 제안하여 균일한 토큰 가중치 방식의 비효율성을 해소하고 대규모 지식 증류(distillation) 파이프라인을 효율화할 수 있음을 보인다.
전자 의무 기록의 2차 활용을 위한 비식별화(de-identification) 과제를 다루며, 다양한 인구통계 및 문서 유형을 포괄하는 1,381개 임상 노트와 10,229개 PHI 스팬으로 구성된 SHIELD 데이터셋을 공개하고, Gemini 2.5 Flash를 교사 모델로 삼은 지식 증류(distillation) 프레임워크로 DeBERTa v3 소형 언어 모델을 훈련했다. 증류된 모델은 표준 워크스테이션에서 동작하면서 스팬 수준 정밀도 0.89, 재현율 0.88을 달성해, 클라우드 API 없이 병원 방화벽 내부에 비용 효율적으로 배포 가능한 비식별화 파이프라인을 제시한다.
기존 데이터셋 증류(dataset distillation)의 SQUEEZE-RECOVER-RELABEL 파이프라인이 이중 압축으로 인한 심각한 정보 손실과 분포 이동(distribution shift)을 유발함을 이론적·실증적으로 규명하고, 이를 해결하기 위해 원본과 합성 데이터셋 간의 정보 격차를 명시적으로 최소화하는 메트릭 기반 프레임워크 CIM을 제안한다. CIM은 단일 RTX-4090 GPU에서 80분 만에 ImageNet-1K(IPC=10)를 증류하여 ResNet-18 기준 48.7% Top-1 정확도를 달성, 기존 SOTA인 NRR-DD와 DELT를 각각 2.6%, 2.9% 상회한다.
다중모달 대규모 언어 모델(MLLM)이 복잡한 공간 추론 시 쿼리가 요구하는 카메라·객체·방향 중심의 참조 프레임에 증거를 동적으로 재앵커링하지 못하는 문제를 해결하기 위해, OmniView-Space는 다중 시점 공간 매핑(MPSM)으로 쿼리 정렬 시각적 BEV 인지 맵과 텍스트 공간 그래프를 생성하고, 강화학습 기반 도구 사용 정책과 인지 맵 증류를 결합한 에고센트릭 공간 추론 프레임워크를 제안한다. 단일 및 다중 이미지 공간 추론 벤치마크에서 최고 성능을 달성했으며, 지식 증류된 모델은 외부 기하 파이프라인 의존도를 낮추면서도 동등한 성능을 유지한다.
GEAR-Seg는 복잡하고 암묵적인 쿼리 기반의 추론 분할(reasoning segmentation) 문제에서 기존 엔드-투-엔드 모델의 불투명한 블랙박스 구조를 탈피하여, SAM 2 기반 클래스 무관 분할, DAM 기반 밀도 높은 의미론적 설명, LLM 기반 논리 추론을 명시적으로 분리한 에이전트 프레임워크를 제안한다. 제로샷 추론에서 경쟁력 있는 성능을 달성하는 동시에, 이 프레임워크를 데이터 엔진으로 활용해 38k 이미지와 656k QA-마스크 쌍으로 구성된 GEAR-131K 벤치마크를 자동 구축하고, 지식 증류를 통해 경량 모델이 인간 주석 기반 상한 성능에 근접함을 입증했다.
DINOv2, V-JEPA 2 같은 동결된 2D 기반 모델(foundation model)의 패치별 특징을 4D 포인트 클라우드 인코더로 증류하는 Cross4D-JEPA를 제안하며, 전역 임베딩 대신 각 3D 포인트를 대응 패치 특징에 밀집 매핑하는 교차 모달 대응과 마스킹·네거티브 없는 포인트별 코사인 손실로 학습한다. MSR-Action3D, NTU-RGB+D 60 등 4개 벤치마크에서 단일 모달 및 전역 교차 모달 기준선을 일관되게 능가하며, 성능 향상의 핵심은 교사 모달리티가 아닌 대응의 세밀도(granularity)임을 분석을 통해 확인했다.
CLIP의 장문 맥락(>77 토큰) 이해 시 텍스트 변형에 취약한 문제를 해결하기 위해, HyFL-CLIP은 교차 다양체 유사도 증류(cross-manifold similarity distillation)를 통해 유클리드 CLIP의 텍스트-이미지 정렬을 쌍곡 공간으로 전이하고 Einstein midpoint 집계를 활용한 계층적 함의(hyperbolic entailment)로 부분-전체 관계를 모델링한다. 다양한 장문 교차 모달 검색 벤치마크에서 기존 최고 방법 대비 최대 19.5%의 성능 향상을 달성하며, Stable Diffusion XL(SDXL)에도 원활히 통합됨을 보인다.
스트리밍 비디오에서 인스턴스당 하나의 시간 포인트 어노테이션만으로 행동을 위치추정하는 새로운 과제 POTAL을 정의하고, 이를 해결하기 위해 포인트 지도 오프라인 교사 모델로부터 온라인 학생 모델로 의사 구간 인스턴스 증류, 클래스 활성화 시퀀스 증류, 예측적 윈도우 수준 증류의 세 가지 지식 증류(distillation)를 적용하는 OnPoint 프레임워크를 제안한다. 5개 데이터셋 실험에서 OnPoint는 강력한 베이스라인 대비 최대 +7% mAP 향상을 달성하며 일부 완전 지도 온라인 방법과도 경쟁력 있는 성능을 보인다.
자동회귀(AR) 리랭커의 추론 속도를 높이기 위해, GR2를 블록 디퓨전(block-diffusion) 모델로 변환하는 Diffusion-GR2를 제안하며, 변환 파인튜닝(CFT)·온폴리시 증류(OPD)·강화학습(RL)의 3단계로 구조적 갭과 분포 갭을 해소한다. Amazon Beauty 실험에서 AR 리랭커와 거의 동등한 정확도를 유지하면서 디코딩 처리량을 2.4–3.5× 향상시켰다.
Flow Matching(FM) 기반 음성 합성에서 발생하는 높은 추론 지연과 음색 누출 문제를 해결하기 위해, 이질적 증강을 통한 Data-guidance와 CFG 오버헤드를 제거하는 Enhanced Model-guidance를 결합한 통합 가이던스 프레임워크를 제안한다. 제안된 방법은 최신 베이스라인 대비 추론 속도를 약 3배 가속하면서 화자 유사도를 효과적으로 향상시켰다.
Chain-of-Thought (CoT) reasoning enhances the problem-solving ability of large language models (LLMs) but leads to substantial inference overhead, limiting deployment in resource-constrained settings. This paper investigates efficient CoT transfer across models of different scales and architectures through an adaptive reasoning summarization framework. The proposed method compresses reasoning traces via semantic segmentation with importance scoring, budget-aware dynamic compression, and coherence reconstruction, preserving critical reasoning steps while significantly reducing token usage. Experiments on 7{,}501 medical examination questions across 10 specialties show up to 40% higher accuracy than truncation under the same token budgets. Evaluations on 64 model pairs from eight LLMs (1.5B-32B parameters, including DeepSeek-R1 and Qwen3) confirm strong cross-model transferability. Furthermore, a Gaussian Process-based Bayesian optimization module reduces evaluation cost by 84% and reveals a power-law relationship between model size and cross-domain robustness. These results demonstrate that reasoning summarization provides a practical path toward efficient CoT transfer, enabling advanced reasoning under tight computational constraints. Code will be released upon publication.
브라우저 에이전트의 핵심 병목이 저수준 조작이 아닌 불완전한 정보 하에서의 의사결정임을 규명하고, 인간의 브라우징 궤적을 재사용 가능한 자연어 스킬로 증류하는 행동 복제(behaviour cloning) 프레임워크 BrowserBC를 제안한다. 증류된 스킬을 스킬 그래프로 구조화해 무한 누적 없이 확장 가능하도록 설계하였으며, WebArena-Hard 및 ClawBench 벤치마크에서 상호작용 효율성과 태스크 성공률 향상을 입증했다.
대규모 추론 모델(LRM)에서 소형 학생 모델로의 지식 증류 시, 학습 시퀀스의 각 구간(프롬프트, CoT, 정답)이 성능에 미치는 영향을 체계적으로 분석한 결과, CoT 토큰이 추론 능력 전달의 핵심 요소임을 밝혔다. 학습 시퀀스의 앞 50%만 사용해도 수학 벤치마크에서 평균 약 91%의 성능을 유지하면서 학습 시간·메모리·FLOPs를 각각 약 50% 절감할 수 있음을 보였다.
합성 QA 감독(synthetic QA supervision)으로 언어 모델을 학습할 때, 질문 생성 단계가 문서 내 두드러진 구간에 편중되어 증거 선택이 비균일하게 이루어지며, 응답 단계에서는 문서에 삽입된 명령형 구절에 모델이 복종하는 취약성이 존재함을 보인다. 고정 문장 타깃으로 질문을 생성하고 명령형 구절을 필터링하면 주입 순응률(injection compliance)을 88%에서 13%로 낮출 수 있다.