최근의 대규모 언어 모델(LLM)은 태스크별 학습 데이터 없이도 개체 매칭(entity matching)에서 높은 성능을 달성한다. 그러나 이러한 모델을 대규모 후보 쌍 집합에 적용하면 속도가 느리고 비용이 많이 든다. 반면, RoBERTa와 같은 소규모 언어 모델(SLM)이나 전통적인 머신러닝 방법을 사용하는 개체 매처는 훨씬 빠른 추론을 제공하지만 태스크별 학습 데이터를 필요로 한다. 본 논문은 LLM이 교사 모델 역할을 하여 학습 쌍에 레이블을 부여하고, 이를 통해 더 작은 학생 모델을 학습시키는 지식 증류 워크플로를 활용함으로써 태스크별 학습 데이터 제공의 필요성을 없앨 수 있는지를 연구한다. 개체 매칭을 위한 지식 증류를 쌍 선택 전략, 교사 모델, 레이블 후처리 방법, 학생 모델의 네 가지 차원에서 분석한다. Abt-Buy, Walmart-Amazon, WDC Products, DBLP-ACM, DBLP-Scholar 벤치마크를 사용하여 워크플로를 평가하고, 기계 레이블 데이터로 학습된 학생 모델의 성능을 벤치마크 학습 세트로 학습된 동일 모델의 성능과 비교한다. 실험 결과, 기계 레이블 세트로 학습된 학생 모델은 벤치마크 학습 세트로 학습된 모델과 거의 동등한 성능을 보이며, 양방향의 나머지 차이는 F1 점수 2점 미만으로 유지됨을 확인했다. GPT-5.2를 사용하여 5개 벤치마크 전체의 학습 세트에 레이블을 부여하는 데 드는 비용은 미화 28.31달러에서 40.88달러인 반면, 동일한 학습 세트를 수동으로 레이블링하는 데는 약 470시간의 작업이 필요한 것으로 추정된다. 추론 시간 측면에서 Ditto는 LLM을 직접 사용하여 매칭 태스크를 수행하는 것보다 41.5배에서 534배 빠르다. 이러한 결과는 현재의 LLM이 적절한 쌍 선택 방법과 결합될 때, 개체 매칭을 위한 유스케이스별 학습 데이터 레이블링에 필요한 수작업을 대폭 줄이거나 완전히 없앨 수 있음을 보여준다.
온-정책 증류(OPD)는 오프라인 증류 및 강화학습(RL)에 없는 특성을 지닌다. 즉, 교사 감독의 품질이 학생의 역량에 따라 달라진다. 비일관적인 롤아웃은 잡음이 많은 그래디언트를 생성하고, 이미 숙달된 토큰은 중복된 그래디언트를 유발한다. 이로 인해 세 가지 규모(토큰, 학습 단계, 프롬프트)에서 낭비가 발생하지만, 기존 방법들은 균일하게 감독한다. 우리는 이 역량 의존적 품질 저하를 세 가지 규모에서 통합 탐침으로 엔트로피를 활용하는 SEAD를 제안한다: (1) 교사-학생 결합 엔트로피가 토큰을 맞춤형 발산을 적용하거나 제로 그래디언트(약 50% 건너뜀)를 부여하는 구역으로 분할하고, (2) 코사인 스케줄이 역량 성장에 따라 순방향 KL에서 역방향 KL로 어닐링하며, (3) 역량 게이팅 커리큘럼이 쉬운 것부터 어려운 순으로 프롬프트를 도입한다. 이 구성 요소들은 상호 의존적으로 필요하다. 토큰 선택은 일관된 롤아웃(커리큘럼)을 필요로 하고, 어닐링은 단조로운 향상(마찬가지로 커리큘럼)을 필요로 한다. OLMo-3(7B에서 32B)에서 SEAD는 여섯 개의 수학 벤치마크에서 일반 OPD 대비 평균 +4.8의 정확도 향상을 달성했으며, 소거 실험을 통해 초가산적 상호작용이 확인되었다.
컬러 안저 사진(Color Fundus Photography, CFP)은 허혈성 심장질환(IHD) 스크리닝을 위한 저비용 비침습적 방법을 제공하지만, 현재 연구들은 공개 벤치마크의 부족과 망막 이미지와 희소한 임상 변수 간의 비효과적인 융합이라는 한계를 지닌다. 우리는 교차 모달 증류 집계기(Cross-Modal Distillation Aggregator, CDA)를 갖춘 멀티모달 프레임워크 IDNet을 제안한다. CDA는 학습 가능한 쿼리를 사용하여 왼쪽 눈, 오른쪽 눈, 임상 특징을 순차적으로 통합함으로써 고차원 시각적 특징과 저차원 표형(tabular) 입력 간의 불균형을 완화한다. 또한 오픈소스 큐레이션 및 품질 관리 파이프라인을 통해 재현 가능한 UK Biobank 벤치마크를 구축하였으며, 이를 통해 25,205명의 피험자로부터 50,410장의 이미지를 확보하였다. 이 벤치마크에서 IDNet은 이미지 단독, 임상 단독, 그리고 여러 멀티모달 기반 모델들을 능가하며, CDA는 플러그인 융합 모듈로서 다수의 시각 인코더 성능을 일관되게 향상시킨다.
온-정책 지식 증류(OPD)는 학생이 샘플링한 궤적을 밀집된 토큰 수준 신호로 지도함으로써 우수한 역량 전이를 제공한다. 고품질 감독 소스를 확보하여 증류의 성능 한계를 높이기 위한 직관적인 방향은 교사 또는 학생 자체에 특권 정보를 주입하는 것이다. 그러나 이러한 추가 입력은 우리가 '특권 환상(privilege illusion)'이라 명명한 잠재적 실패 모드를 유발한다: 이는 학생이 좁혀야 할 전이 가능한 역량 격차와, 모방할 수는 있으나 결코 복제할 수 없는 정보 비대칭 격차를 혼동하는 패턴이다. 이 문제는 토큰 수준 감독의 본질적인 비균일성으로 인해 더욱 심화되는데, 소수의 토큰만이 핵심적인 역량 관련 신호를 담고 있다. 이를 위해 우리는 DOPD를 제안한다. DOPD는 어드밴티지 격차와 상대적 확률에 기반하여 특권이 부여된 교사 정책과 학생 정책 사이에서 토큰 수준 감독을 동적으로 라우팅하는 어드밴티지 인식 이중 증류 패러다임이다. 각 토큰은 교사 또는 학생 자체로부터 서로 다른 강도, 목표, 전략의 감독을 받으며, 이를 통해 신뢰할 수 있는 역량을 전이하는 동시에 보조 신호를 수신하여 특권 환상을 완화한다. 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 설정 모두에서 수행한 광범위한 실험은 DOPD가 Vanilla OPD 및 다른 대응 방법들을 일관되게 능가함을 보여준다. 안정성, 강건성, 연속 학습, 분포 외(out-of-distribution) 태스크에 대한 추가 결과는 그 우수성을 검증한다.
A rapidly growing class of LLM agents is multi-party: the agent acts for a principal (who briefs it, sends follow-ups, and receives results) while also conversing in a separate channel with a counterparty whose interests may diverge (negotiating with a vendor, screening inbound requests, or mediating between employees). Here "help whoever you are talking to" is the wrong objective. The agent must stay loyal to the principal it represents without over-refusing the principal's own cooperative asks. We study this multi-party loyalty problem and contribute a measurement instrument, two mechanisms, and a structural lesson. PrincipalBench is a 75-item multi-turn benchmark with leak probes, dual judges, and an integrity-audit gate. Across 13 frontier subjects it exposes a sharp split (<=20% vs. 53.6-75.3% harm) invisible to single-turn safety evaluations: a selective cluster that declines adversarial probes while still following the principal's legitimate requests, and an over-refusing cluster that refuses broadly. (M1) A prompt-time loyalty scaffold (a fixed system prompt of seven prioritized rules, open-coded from 50+ failure trajectories) holds Claude-Sonnet to 19.4% harm and all nine selective subjects to <=20%. (M2) A per-token-KL distillation recipe transfers a prompted Qwen3-32B teacher into 8B Qwen3 and Llama-3.1 students, the strongest open-weight recipe we measure. (Lesson) Both mechanisms only move along a common leak/over-refusal trade-off rather than crossing it: improving one axis costs the other, and the jointly favorable outcome stays out of reach.
On-policy self-distillation (OPSD) trains a reasoning model on rollouts sampled from its own policy by matching a privileged teacher that also sees verified reference solutions. Existing OPSD objectives supervise only the output distribution, so privileged context affects training through a token-level divergence without directly supervising the internal computation that produced that distribution. We propose Privileged Hidden Flow (PHF), which additionally distills how a privileged teacher's hidden states move along the same rollout. Rather than forcing each student hidden vector to match the teacher vector at the same token position, PHF aligns token-to-token transition directions and trajectory geometry over selected generated positions. The all-layer recipe also includes an adjacent-layer relation computed from these same transitions, without pointwise hidden-state imitation. Under the same 100-step training schedule, PHF improves the Average@12 aggregate over our reproduced OPSD baseline on Qwen3-1.7B, 4B, and 8B, with observed gains of about +2.2, +1.5, and +1.7 points. The transport objective is exactly invariant to shared trajectory offsets; its local geometry term is also invariant to orthogonal transformations of transition directions. Ablations distinguish the fixed PHF recipe from pointwise hidden-state matching, single-channel transition losses, and layer-subset choices, supporting PHF as a compact hidden-flow extension to OPSD.
Light curves describe temporal variations in the brightness of celestial objects. Learning robust representations of light curves is essential for large-scale automatic discovery in the dynamic universe, but existing time-series foundation models often struggle with the uneven sampling, complex noise, and wide range of physical timescales that characterize astronomical observations. We propose a domain-informed representation learning framework for irregular astronomical time series with Joint-Embedding predictive architecture (JEPA), combining semantics-preserving views, uncertainty-aware tokenization, and multi-view self-distillation. The encoders are trained with multi-view self-distillation using LeJEPA regularization on the LEAVES dataset and evaluated on the StarEmbed classification benchmark. On StarEmbed, our model outperforms hand-crafted features on 15 of 16 classification metrics. In few-shot linear probing, it achieves macro-F1 scores of 42.56 $\pm$ 7.21 with one sample per class and 63.58 $\pm$ 1.20 with 100 samples per class, consistently improving over hand-crafted features. Beyond variable-star classification, the learned representation supports similarity search, parameter estimation, and photometric zero-point drift detection. We further evaluate cross-domain adaptation on 12 heterogeneous irregular time-series datasets from PYRREGULAR, where the adapted variant matches or exceeds previous state-of-the-art performance on 5 datasets, compared with at most 3 wins by any single prior baseline. These results demonstrate that domain-informed multi-view self-distillation is an effective strategy for learning representations of irregular time series, while also highlighting that successful time-series representation learning requires domain-specific inductive biases rather than a universally optimal architecture.
지식 증류(KD)는 더 큰 교사 모델의 지도 하에 더 작은 학생 모델을 학습할 수 있게 하며, 널리 사용되는 TRL 라이브러리가 이를 구현한다. 그러나 TRL은 두 모델을 대칭적으로 취급하여, 메모리 사용량과 통신 요구사항에서의 뚜렷한 비대칭성을 활용할 기회를 놓친다. 본 논문은 교사와 학생의 분할을 효율적으로 분리하는 HPC 인식 지식 증류 방법론을 제안한다. 본 접근법은 불필요한 교사 모델 데이터 구조를 제거하고 최적의 분할 전략을 선택함으로써 TRL 대비 초당 처리 샘플 수를 최대 67% 높였다. 모델의 수직 및 수평 분할을 결합하고, 분할 방식 간 변곡점의 존재를 식별하는 분석적 표현식을 도출한다. 이러한 결과는 토폴로지 인식 병렬화를 통해 교사-학생 비대칭성을 활용하는 것이 당사의 프로덕션 HPC 클러스터에서 GKD 학습을 눈에 띄게 가속한다는 것을 보여주었다.
트랜스포머 모델은 장거리 의존성을 포착하기 위해 어텐션 메커니즘에 의존하지만, 이차 복잡도로 인해 긴 시퀀스로의 확장성(scaling)이 제한된다. 커널 기반 선형 어텐션은 이러한 복잡도를 줄이지만, 일반적으로 고정되거나 약하게 학습 가능한 커널에 의존하여 표현력과 성능을 제한한다. 본 연구에서는 어텐션 커널을 완전히 데이터 기반으로 학습하는 유연한 선형 트랜스포머인 Flexformer를 제안한다. Flexformer는 무작위 푸리에 특징(random Fourier feature) 기반 선형 어텐션을 기반으로 하며, 스펙트럼 주파수를 학습 가능한 파라미터로 취급하여 모델이 광범위한 어텐션 커널 계열을 학습할 수 있게 한다. 우리는 정상(stationary) 변형과 비정상(nonstationary) 변형을 모두 개발했으며, 후자는 엄밀히 더 큰 표현력을 제공한다. 언어 모델링과 시퀀스 분류에 대한 광범위한 실험은 Flexformer가 베이스라인을 일관되게 능가함을 보여준다. 더 나아가 Flexformer는 사전학습(pre-training)된 트랜스포머로부터 효과적으로 지식 증류(distillation)되어 소프트맥스 어텐션을 복원할 수 있으며, 도메인 간 강한 커널 전이 가능성을 보여 긴 시퀀스 작업에서 높은 효율성과 경쟁력 있는 성능을 모두 달성한다.
온-정책 증류(On-Policy Distillation, OPD)는 교사로부터의 밀집적인 토큰 수준 지도를 통해 표준 강화학습의 학습 효율을 향상시킨다. OPD의 표준 KL 목적함수에서는 토큰 수준 손실이 균일하게 평균화되어 모든 토큰에 동등한 가중치가 부여됨을 의미한다. 그러나 모든 토큰이 동등하게 생성되는 것은 아님을 발견한다. 학생(student) 롤아웃이 길어질수록 교사의 분포로부터 더 멀어지며, 이로 인해 후반 위치에서의 지도 품질이 저하된다. 그 결과, 전체 토큰을 사용하는 것과 비슷한 성능을 내기 위해 OPD에서 토큰의 처음 30%만 사용해도 충분하며, 반면 마지막 30%의 토큰만 사용하는 OPD는 거의 학습하지 못한다. 본 연구에서는 제약 최적화(constrained optimization)의 관점을 통해 이 문제에 대한 원칙적인 이해를 제공한다. 이러한 통찰을 바탕으로, 각 토큰에 부여되는 가중치가 학생과 교사 분포 간 누적 불일치에 따라 결정되어 자연스럽게 초기 토큰의 가중치를 높이고 편차가 큰 후반 토큰의 가중치를 낮추는 중요도 가중 온-정책 증류(Importance-Weighted On-Policy Distillation, IW-OPD)를 도출한다. IW-OPD가 OPD보다 현저히 빠르게 수렴하며 더 나은 학습 효율을 보이고, 동일 규모 및 교차 규모 설정 모두에서 표준 OPD보다 더 나은 최종 성능을 달성함을 보인다. AIME-2025에서 최대 6.9점의 성능 향상을 이룬다.
대규모 언어 모델(LLM) 학습은 합성 응답부터 추론 trace, 도구 사용 시연에 이르기까지 교사가 생성한 지도(supervision)에 점점 더 의존하고 있다. 현재 관행은 학생 학습 데이터 생성을 위해 성능이 가장 높은 교사를 선택하며, 암묵적으로 교사의 테스트 성능을 교수 품질의 대리 지표로 삼는다. 우리는 이 가정이 실패할 수 있음을 보인다. 여러 교사가 동일한 질문에 대해 올바른 답을 제공하더라도, 가장 강한 교사의 답이 주어진 학생에게 최적의 지도일 필요는 없다. 이 공백을 해소하기 위해, 검증된 교사 생성 답변 중 추정된 학생 중심 학습 비용에 따라 선택하는 프레임워크인 Student-Centric Answer Sampling(SCAS)을 제안한다. 토큰 단위 그래디언트 분해에서 출발하여, 이 비용에 대한 효율적인 forward-only 프록시를 도출하고 학습 중 답변 선택을 유도하는 데 이를 사용한다. 30개 교사 모델, 6개 학생 기본 모델, 6개 태스크에 걸친 실험에서 SCAS는 학생 성능을 일관되게 향상시키며, 효과적인 지식 증류(distillation)는 교사의 강도만이 아니라 현재 학생에 맞는 지도를 우선해야 함을 시사한다.
마스킹 확산 모델(MDM)의 병렬 디코딩 한계와 흐름 언어 모델(FLM)의 다단계 추론 취약성을 동시에 극복하기 위해, 연속 확률 보간(continuous stochastic interpolant)으로 부분 마스킹 시퀀스와 클린 시퀀스를 연결하는 Masked Language Flow Models(MLFM)을 제안한다. 사전학습된 MDM을 경량 적응으로 MLFM으로 변환하고, 연속 디노이징과 확신 토큰의 이산적 언마스킹을 교대하는 새로운 샘플러를 통해 GSM8K와 MT-Bench에서 흐름 기반 언어 모델이 추론 및 인스트럭션 수행 과제를 처음으로 스케일링하여 해결할 수 있음을 입증하였다.
비디오 기반 원격 생리 신호 측정(RPM)은 접근성이 높지만, 조명 변화, 피부색, 움직임 등의 조건에서 여전히 취약하다. 무선 주파수(RF) 레이더는 조명과 외관 변화에 대체로 불변하여 상보적인 심폐 호흡 미세 운동 단서를 제공하지만, 추론 시 레이더를 필요로 하는 것은 보급률이 낮고 배포 부담이 커 실용적이지 못한 경우가 많다. 우리는 RPM-Distill을 제안한다. 이는 학습 시에만 동기화된 레이더를 활용하면서 비디오만으로 추론하는 생리학 기반 크로스모달 지식 증류 프레임워크이다. 핵심 관찰은 RGB와 RF 파형이 감지 물리학과 시간 영역 형태는 다르지만, 주파수 영역에서 유사한 잠재적 주기 리듬을 공유한다는 것이다. 따라서 (i) 기본 피크를 고정하고, (ii) 피크 외 배경 분포를 맞추며, (iii) 스펙트럼 형태와 선명도를 보존하는 손실을 통해 생리학적 구조를 갖춘 스펙트럼 증거를 증류하여 강건성을 향상시킨다. 샘플 수준 교사 모델 품질과 정렬 불확실성으로 인한 부정적 전이를 피하기 위해, 스펙트럼 정책 네트워크가 학생-교사 스펙트럼 관계 맵으로부터 샘플 수준 증류 게이트와 구성 요소 가중치를 예측하며, 이는 소규모 레이블 검증 분할에 대한 메타 이별(bilevel) 목표로 학습된다. 까다로운 조건과 크로스 데이터셋 설정에서 광범위한 실험을 통해 RPM-Distill은 단일 모달리티 기준선 대비 MAE 81%, 상관 21% 개선을 달성한다. 코드는 https://github.com/WJULYW/RPM-Distill 에 있다.
기반 비전-언어(vision-language) 인코더를 특화된 검색 작업에 적응시키면 근본적인 트레이드오프가 생긴다. 목표 분포에서의 성능 향상은 기반 모델의 넓은 일반화를 희생하는 대가로 얻어지며, 패션 검색은 이 문제의 까다로운 사례이다. 우리는 이 트레이드오프를 간단한 방법으로 해결하는 패션 특화 SigLIP2-base 모델인 ZooClaw-FashionSigLIP2를 제시한다. 큐레이션된 도메인 내 데이터에 대한 지식 증류를 동반한 전체 미세조정(full fine-tuning) 후, 기반 모델과의 \wiseft~\citep{wortsman2022wiseft} 가중치 보간(weight interpolation)을 수행하는 방식이며, LoRA, 더 큰 백본(최대 10억 파라미터), 외부 학습 데이터보다 우수하다. 공정한 평가 하에서 ZooClaw-FashionSigLIP2는 우리 벤치마크 스위트의 모든 벤치마크에서 모든 베이스라인을 능가한다. 또한 고품질 패션 검색 벤치마크인 ZooClaw-Fashion과, 널리 사용되는 벤치마크에 대한 체계적 품질 분석을 공개하며, 후자는 공개 ground truth의 구조적 편향을 드러내고 완화한다. 향후 연구를 촉진하기 위해 모델 가중치와 모든 평가 아티팩트를 오픈소스로 공개한다.
교차 도메인 진단은 기관 간 뚜렷한 도메인 이동과 질병 단계 간 미묘한 시각적 차이가 모델 일반화를 함께 저해하기 때문에, 자궁경부 세포 병리학에서 여전히 주요한 과제로 남아 있다. 이러한 문제를 해결하기 위해 본 논문은 교차 도메인 자궁경부 세포 검출을 위한 2단계 프레임워크를 제안한다. 1단계에서는 Spatially-Continuous Unpaired Neural Schrödinger Bridge(SC-UNSB)를 제안하며, 이는 이미지 변환을 엔트로피 정규화 최적 수송(entropy-regularized optimal transport) 과정으로 모델링하여 교차 도메인 분포 이동을 완화하기 위해 합성 중간 도메인을 구성한다. 2단계에서는 지식 증류 내 이중 수준 특징 정렬 전략을 제안하며, 이는 얕은 구조적 특징과 깊은 의미 표현을 점진적으로 정렬하여 소스 모델에서 타깃 모델로 도메인 불변 지식의 전이를 촉진한다. 실험 결과, 제안 방법이 도메인 이동과 범주 모호성을 효과적으로 완화하여 교차 도메인 검출 성능을 향상시킴을 보여준다.
본 논문은 Qwen-Image-2.0-RL을 제시한다. 이는 인간 피드백 강화학습(RLHF)과 온-정책 증류(OPD)를 적용하여 Qwen-Image-2.0 디퓨전 모델의 시각적 품질과 지시 따르기(instruction-following) 능력을 모두 향상시키는 사후 학습 파이프라인이다. 신뢰할 수 있는 보상 신호를 제공하기 위해, 점수 기반(pointwise scoring) 패러다임과 사고의 연쇄(Chain-of-Thought) 추론으로 비전-언어 모델을 미세조정하여 작업별 복합 보상 모델을 구축한다. 텍스트-이미지(T2I) 생성의 경우, 보상 모델은 정렬(alignment), 미학(aesthetics), 초상화 충실도(portrait fidelity) 차원을 다룬다. 이미지 편집 작업의 경우, 보상 시스템은 지시 따르기 정확도와 얼굴 동일성(identity) 보존을 다룬다. 이 보상 시스템을 기반으로, 사전학습 지식을 보존하기 위한 하이브리드 classifier-free guidance(CFG) 전략, 그룹 내 보상 범위 필터링을 통한 프롬프트 큐레이션, 카테고리별 보상 가중치 보정을 통합한 확장 가능한 GRPO 기반 강화학습 학습 프레임워크를 개발한다. T2I와 편집을 위한 작업 특화 강화학습 정책을 통합하기 위해, 최종 학습 단계로 온-정책 증류를 제안한다. 이는 궤적 수준(trajectory-level) 속도 매칭을 통해 여러 교사 모델을 단일 학생 모델로 통합한다. 광범위한 평가에 따르면 Qwen-Image-2.0-RL은 Qwen-Image-Bench에서 57.84 전체 점수(기본 모델 대비 +2.61), 텍스트-이미지 아레나에서 Elo 레이팅 1193(+78), 이미지 편집 아레나에서 1349(+93)를 달성하여, 미학적 품질, 프롬프트 준수, 편집 정확도에서 일관된 향상을 보여준다.
대규모 언어 모델(LLM)은 대규모 텍스트 사전학습을 통해 폭넓은 개념적 지식을 갖추고 있지만, 다른 모달리티의 모델을 지도할 잠재력은 아직 충분히 탐구되지 않았다. 본 연구에서는 LaViD(Language-to-Visual Knowledge Distillation)를 제안한다. 이는 언어 전용 교사로부터 시각 전용 학생 모델로 고수준 의미 지식을 전이하는 간단하고 효과적인 프레임워크이다. 페어링된 멀티모달 데이터에 의존하는 대신, LaViD는 LLM에 시각 클래스 간 의미적 구분을 탐색하는 다지선다(MCQ) 문제를 생성하도록 프롬프트함으로써 개념적 신호를 도출한다. 각 클래스는 이러한 MCQ에 대한 소프트 레이블 분포로 매핑되어 풍부한 개념적 시그니처를 형성하며, 이는 보조 지식 증류 손실을 통해 학생 모델을 안내한다. 주목할 점은, 이미지 데이터에 접근할 수 없는 언어 전용 교사를 사용함에도 불구하고 LaViD가 여러 세밀한 벤치마크에서 비전-언어 모델로부터 증류하는 MaKD와 같은 최근 방법들을 일관되게 능가한다는 것이다. 또한 DKD, MLKD와 같은 최첨단 시각 증류 방법과 비교해 경쟁력 있거나 우수한 성능을 달성하며, 로짓 표준화와 결합하면 추가 이득을 얻는다. Waterbirds 데이터셋에서 LaViD는 최악 그룹 정확도를 크게 향상시켜, 증류를 통한 허위 상관(spurious correlation)에 대한 강건성이 향상됨을 보여준다. 코드는 https://github.com/lliangthomas/lavid 에서 이용할 수 있다.
확산(diffusion) 기반 데이터셋 증류는 최근 대규모 데이터셋을 압축된 합성 세트로 응축하는 유망한 패러다임으로 부상했다. 사전학습된 생성 사전지식(pretrained generative priors)을 활용함으로써, 이러한 방법들은 전통적인 매칭 기반 접근법보다 더 효율적으로 사실적인 클래스 조건부 샘플을 생성할 수 있다. 그러나 기존 확산 기반 방법의 대부분은 여전히 경직된 ``Generate-and-Use'' 전략을 채택하며, 생성된 샘플을 고정된 클래스당 이미지 수 예산 하에서 최종 증류 세트로 직접 취급한다. 이러한 설계는 후보 생성과 최종 예산 할당을 밀접하게 결합하여, 제한된 예산의 중복 낭비 또는 정보가 불충분한 샘플을 초래할 수 있다. 본 논문에서는 할당 인식 생성형 데이터셋 증류를 위한 2단계 프레임워크인 ``Pool-Select-Refine''을 제안한다. 먼저, 고정된 수의 생성 샘플을 직접 사용하는 대신 과완전(over-complete) 후보 풀을 구성하고 목표 예산 하에서 소형 부분집합을 선택한다. 둘째, 교사 모델에서 유도된 소프트 레이블(soft-label) 지도를 사용하여 잠재 공간(latent space)에서 선택된 샘플을 정제(refine)함으로써, 생성 사전지식을 보존하면서 의미 정렬(semantic alignment)을 개선한다. 이러한 설계는 생성, 선택, 정제를 명시적으로 분리하여 증류 예산을 더 효과적으로 활용할 수 있게 한다. 대규모 및 세밀한(fine-grained) 이미지 분류 벤치마크에서의 실험은 제안된 프레임워크가 확산 기반 베이스라인 대비 일관된 성능 향상을 달성함을 보여준다. 결과는 정제 전에 큐레이션(curation) 단계를 도입하는 것이 확산 기반 데이터셋 증류를 개선하는 간단하면서도 효과적인 방법임을 시사한다.
비전-언어 모델(VLM)은 강력한 멀티모달 성능을 달성하지만 배포 비용이 크며, 사후 학습 양자화는 종종 상당한 정확도 손실을 유발한다. 잠재력에도 불구하고 VLM에 대한 양자화 인식 학습(quantization-aware training, QAT)은 아직 충분히 탐구되지 않았다. 우리는 정보 병목(Information Bottleneck) 원리 아래 지식 증류와 QAT를 통합하는 프레임워크인 GRACE를 제안한다. 양자화는 정보 용량을 제한하고, 지식 증류는 이 예산 내에서 무엇을 보존할지를 안내한다. 교사 모델을 과제 관련 정보의 대리(proxy)로 간주하여, 신뢰도 게이트 분리형 지식 증류(confidence-gated decoupled distillation)로 신뢰할 수 없는 지도 신호를 걸러내고, 관계 중심 커널 정렬(relational centered kernel alignment)로 시각 토큰 구조를 전달하며, 라그랑주 완화(Lagrangian relaxation)를 통한 적응형 제어기로 충실도와 용량 제약 간 균형을 맞춘다. LLaVA 및 Qwen 계열에 대한 광범위한 벤치마크에서, 우리의 INT4 모델은 FP16 기준선을 일관되게 능가한다(예: SQA에서 LLaVA-1.5-7B 70.1 vs. 66.8; MMBench에서 Qwen2-VL-2B 76.9 vs. 72.6). 교사 모델 성능에 거의 근접한다. 실제 INT4 커널을 사용하면 처리량 3배와 메모리 54% 절감을 달성한다. 이 원칙 기반 프레임워크는 기존 양자화 방법을 크게 능가하며, GRACE는 자원 제약 환경에서의 배포를 위한 설득력 있는 해결책이 된다. 코드와 데이터는 https://github.com/ForeverBlue816/GRACE 에서 이용할 수 있다.
Visual Question Answering (VQA) is the task of answering questions about images, requiring the integration of multimodal input and reasoning. Modular approaches that incorporate logic-based representations into the reasoning component offer clear advantages over end-to-end trained systems, particularly in terms of interpretability. However, adapting or extending these representations when task requirements change can place a significant burden on developers. To address this challenge, we present an approach for distilling rules from Large Language Models (LLMs). Our method prompts an LLM to extend an initial VQA reasoning theory, expressed as an answer-set program, to meet new requirements of the task. Examples from VQA datasets guide the LLM, validate the results, and help correct erroneous rules by leveraging feedback from the ASP solver. We demonstrate that our approach is effective across diverse VQA datasets. Notably, only a few examples are needed to elicit correct rules from LLMs. Our experiments suggest that rule distillation from LLMs is a promising alternative to traditional data-driven rule learning approaches. Under consideration in Theory and Practice of Logic Programming (TPLP).