Knowledge Cascade(KCas)는 작고 저비용인 student 모델에서 얻은 정보를 teacher 모델 학습에 되돌려 전달하는 역방향 지식 증류 프레임워크로, RKHS 기반 smoothing spline의 다중 평활화 파라미터 선택 병목을 부분표본 학습과 점근적 스케일링 전이로 완화한다. 커널 밀도 추정과 딥러닝 하이퍼파라미터 전이로도 확장했으며, 시뮬레이션과 실데이터 실험에서 계산 비용을 크게 줄이면서 통계 성능을 유지하거나 때로는 전체 표본 튜닝보다 더 나은 결과를 보였다.
비전-언어-행동(VLA) 모델의 온라인 적응에서 희소 보상만으로는 고차원 자기회귀 행동 정책을 안정적으로 학습하기 어렵고, 텍스트 기반 특권 교사는 저수준 로봇 행동과의 모달리티 격차로 효과가 제한적임을 보인다. ROAD-VLA는 보정된 advantage로 action-token 로짓을 교란해 행동 공간에 proximal 교사를 만들고 희소 보상을 토큰 단위 지도로 바꾸는 advantage-guided 자기증류(self-distillation) 프레임워크이며, 7개 로봇 조작 환경에서 분포 이동(in/out-of-distribution) 조건 대부분에서 PPO를 능가한다.
지식 증류(KD) 학습 비용을 줄이기 위해 영향 함수(influence function) 기반 샘플 점수와 Beta 분포로 파라미터화한 학습 가능 샘플링 정책을 결합한 IF-Beta를 제안하고, 교사 feature space에서의 이분법(bilevel) 최적화로 프루닝 정책을 KD 목표에 맞게 효율적으로 학습한다. CIFAR-10/100과 ImageNet에서 다양한 프루닝 비율에서 기존 baseline을 일관되게 능가하며, 더 적은 데이터와 계산으로 전체 데이터 증류 성능을 넘어선다.
Most Vision-Language-Action (VLA) models build on a Vision-Language Model (VLM) backbone by attaching an action module and optimizing the full policy jointly. This design inherits strong visual and linguistic priors from the VLM, but leaves the action module to learn physical motion almost from scratch. As a result, the policy lacks an explicit motion prior, forcing early optimization to simultaneously discover temporal action dynamics and cross-modal alignment, a challenge further amplified in cross-embodiment settings. In this work, we propose to pretrain the action module with motion priors before cross-modal VLA alignment. Specifically, we introduce a two-stage training framework that equips the action module with cross-embodiment temporal motion structure before VLA training begins. In Stage~1, a lightweight flow-matching-based encoder-decoder action module efficiently learns temporal motion structure solely from unconditioned action trajectories, without processing visual or language tokens. In Stage~2, this learned prior is transferred to VLA training through decoder reuse and early-stage latent distillation, aligning visual-language features with the action embedding space while still allowing end-to-end policy refinement. In addition, the trained encoder serves as a compact history compressor, summarizing state-action histories into a single temporal context token for history-aware modeling at negligible cost. Extensive experiments across 13 diverse cross-embodiment tasks on both simulated and real-world platforms validate the effectiveness of our approach. Compared with VLA training without action priors, our model achieves faster convergence, higher success rates, and substantially stronger performance on data-scarce real-world tasks. Moreover, scaling up the action data in Stage~1 yields a more generalizable action prior that directly improves downstream VLA performance.
Vision-Language-Action (VLA) models are often constrained by the imitation ceiling imposed by sub-optimal data. While Reinforcement Learning (RL) fine-tuning can surpass this limit, it is notoriously sample inefficient. This challenge arises from two core issues: (1) catastrophic initial unlearning due to an unstable Q-function and (2) inefficient policy updates caused by low-quality exploration data, often forcing a reliance on costly human interventions. We introduce FORCE, a 3-stage framework that stabilizes fine-tuning by tackling both issues. FORCE first incorporates a Value-Calibrated Warm-Up phase, utilizing on-policy rollouts to mitigate the distributional shift of the Q-function. Subsequently, during the online stage, this calibrated Q-function acts as a filter for both the policy's own action proposals and expert data, ensuring only high-value actions are used for the policy update. We evaluate FORCE on various simulation and real-world tasks, and the result shows that FORCE achieves a 79% absolute improvement in success rates and outperform prior RL methods by 10%, while accelerating training by 32.5%. Critically, it mitigates the common success rate drop and achieves this robust performance without human intervention, marking a significant step towards deploying capable and autonomous robotic agents.
Small ($\sim$2B) GUI-grounding agents are attractive for on-device deployment, accessibility tooling, and low-cost iteration, but at this scale they face two open recipe questions: how to obtain bounding-box training data without expensive human annotation, and how to combine supervised fine-tuning with reinforcement learning. We address both, with the explicit goal of pushing small-model performance rather than scaling up. WinDOM is a $54{,}425$-record grounding corpus harvested by driving an open-source Windows 11 web reimplementation under headless Playwright, with bounding boxes read directly off the DOM and no OCR or human annotation. Self-Family Distillation (SFD) is a single rejection-sampling cold-start parameterised only by the teacher choice: either an EMA of the student (no external model) or a frozen larger same-family teacher. We then treat the saturation depth of the SFD cold-start as an explicit GRPO hyperparameter. On a Qwen3.5-2B student, the under-saturated cold-start is a better GRPO initialiser than the converged one: SFD-4B with Early-init RL gains $+5.4$ OOD-mean ($+3.5$ ScreenSpot-Pro, $+7.0$ OSWorld-G, $+5.8$ ScreenSpot-V2) over the base. The same-size EMA mode lands within roughly one OOD-mean point of the cross-size $4$B variant ($65.2$ vs $66.3$) without an external teacher.
Black-box LLMs (accessible only via API) are vulnerable to distillation attacks, in which an attacker queries the model and trains a student on its outputs. A recent line of work proposes output perturbation defenses that modify the teacher's output to reduce student performance while preserving utility for legitimate users. As a relatively new family of approaches, output perturbation defenses lack a shared threat model, making it difficult to compare them, reason about composing them with other attacks, or evaluate their robustness against realistic adversaries. This underspecification matters beyond technical evaluation: when defenses are deployed to protect intellectual property or justify regulatory compliance, an imprecise threat model can create a false sense of security. We propose a threat model framework that describes attackers along three dimensions: a query budget, a data budget, and an interface profile that captures how attackers interact with the API. Using antidistillation sampling as a case study, we show that whether the defense is considered effective depends on the assumed threat model. We argue that future work on distillation defenses, along with any governance or policy frameworks built around them, should explicitly specify and stress-test attacker capabilities along our three dimensions.
Voice control offers an intuitive alternative to manual drone piloting, yet most existing systems rely on rigid command vocabularies that fail to handle the spontaneous, disfluent speech of naive users. This paper addresses this gap by proposing an End-to-End Spoken Language Understanding architecture for real-time human-drone interaction in French. Our model combines a frozen Self-Supervised Learning acoustic encoder with a lightweight LSTM-based classification head, augmented by a cross-modal knowledge distillation objective that aligns acoustic representations with semantic embeddings from a text teacher, without requiring transcription at inference time. We evaluate our approach on VoiceStick, a novel French corpus of spontaneous speech collected during real teleoperation sessions with 29 nonexpert dyads. On simple voice commands, our best configuration achieves 93% accuracy at 7 ms inference latency, outperforming cascade baselines (79%, 202 ms) with a 29x speedup. On the full spontaneous speech test set, our architecture reaches 82% accuracy, with crossmodal distillation consistently improving robustness across all configurations. These results demonstrate that End-to-End architectures are not only feasible but preferable for spontaneous voice-guided UAV teleoperation, combining semantic robustness, low latency, and calibrated confidence.
Handling repeated characters in text can be tricky, since they can represent either the correct spelling of a word or informal character elongation often seen in social media posts. We present CANDLE, a lightweight system for character-level Arabic noise deduplication that addresses this challenge without relying on handcrafted rules, dictionaries, or morphological analyzers. At the heart of CANDLE is a novel application of Connectionist Temporal Classification (CTC) to this task, a formulation not previously explored for character deduplication, which frames normalization as a sequence alignment problem over a character-based encoder. Evaluated on three benchmarks spanning clean newspaper, manually curated ambiguous cases, and real-world social media text, the CTC model achieves a Sentence Error Rate (SER) as low as $5.37\%$ and consistently outperforms a classification-based baseline by a large margin. To reduce inference overhead, we distill the 6-layer CTC model into a 2-layer student, achieving a $3\times$ depth reduction with minimal performance degradation. Beyond deduplication accuracy, normalization yields a practical downstream benefit: a relative reduction in tokenizer fertility of up to $12.8\%$ across a diverse set of Arabic LLM tokenizers, directly lowering inference costs and improving context window utilization. We release all code and models publicly to support reproducibility and advance future research\footnote{https://github.com/abjadai/candle}.
전체 self-attention으로 인해 메모리·연산 비용이 시퀀스 길이에 따라 제곱으로 증가하는 디코더 전용 자기회귀 TTS(AR-TTS) 모델의 효율 문제를 해결하기 위해 WAND(Windowed Attention and Knowledge Distillation)를 제안하며, 조건 토큰에는 전역 어텐션을, 생성 음성 토큰에는 슬라이딩 윈도우 어텐션을 적용하고 커리큘럼 학습과 full-attention 교사 모델의 지식 증류로 적응을 안정화합니다. CosyVoice 2, IndexTTS 1.5, SparkTTS 등 세 AR-TTS 모델에서 음질을 유지하면서 KV cache 메모리를 최대 66.2% 줄이고 길이에 무관한 거의 일정한 단계별 지연과 상수 복잡도 추론을 달성합니다.
텍스트·코드 생성에서 단일 대규모 언어 모델(LLM)의 출력 불일치, 편향, 폐쇄형 제약을 완화하기 위한 앙상블(ensemble) 기법을 weight merging, knowledge fusion, 전문가 혼합(MoE), reward ensemble, output ensemble, routing, cascading 등 7가지로 분류해 검토한 서베이이다. 방법별 역량과 텍스트·코드 생성 적용 사례를 분석한 결과 다양성·출력 품질·적용 유연성 향상이 확인되며, 다중모달 LLM으로의 확장 가능성도 논의한다.
Task-vector 기반 모델 병합은 작업별 지식이 task vector에만 있다고 가정하지만, 사전학습 가중치에 남아 있는 LBW(Load-Bearing Wall) 차원을 무시하면 작업 충돌과 성능 저하가 발생할 수 있음을 보인다. PACT는 task vector의 직교여공간을 사전학습 부분공간과 정렬해 간섭 성분을 제거하고 작업별 앵커 코어를 보존하며, 기존 병합 방법과 결합해 여러 벤치마크에서 성능을 일관되게 높였다.
이종 지식 증류(HKD)는 다양한 아키텍처 간(예: 트랜스포머에서 CNN으로) 지식을 전달하는 것을 목표로 하지만, 본질적으로 심각한 학습 불안정성 문제를 겪는다. 우리는 이 불안정성이 두 가지 강하게 결합된 과제에서 비롯됨을 밝힌다: 최적화 지연을 유발하는 대규모 특징 노름 불일치, 그리고 서로 다른 귀납적 편향으로 인해 발생하는 주 목적 함수와 증류 목적 함수 간의 심각한 그래디언트 충돌. 안정적인 증류를 달성하기 위해, 우리는 새로운 특징 및 그래디언트 이중 안정화 메커니즘에 기반한 프레임워크인 SPOFA를 제안한다. 구체적으로, 특징 수준에서는 특징 크기와 방향을 명시적으로 분리하여 의미론적 정렬을 위한 경계적이고 안정적인 공간을 생성하는 LayerNorm 기반 분리 프로젝터를 도입한다. 그래디언트 수준에서는 모멘텀 기반 지수 이동 평균(MEMA) 동적 스케일러를 제안한다. MEMA는 최적화 궤적의 강건한 과거 기준선을 구축함으로써 순간적인 그래디언트 충돌을 능동적으로 평가하고 해로운 증류 신호를 적응적으로 억제하여 안정적인 수렴을 보장한다. 중요하게도, SPOFA는 이러한 이중 안정화를 극도로 경량화된 매개변수 크기로 달성한다. 두 가지 주류 벤치마크에서의 광범위한 실험을 통해 SPOFA가 최첨단 정확도를 달성하며, 표준 기준선 대비 최소한의 계산 오버헤드만을 추가하면서 계산 비용이 높은 방법들보다 크게 뛰어남을 보여준다.
텍스트 기반 참조 비디오 객체 분할(RVOS)은 자연어가 주어졌을 때 비디오에서 대상 객체를 위치 파악하고 분할하는 것을 목표로 한다. 그러나 기존 모델들은 일반적으로 단순한 분할 손실을 사용하여 2D 이미지 또는 비디오 데이터셋에서 학습되어, 프레임 간 기하학적 일관성을 간과하고 공간적 이해가 약해지는 문제가 있다. 본 논문에서는 텍스트 기반 비디오 분할을 향상시키기 위해 이미지로부터 3D 기하학적 지식을 증류하는 2단계 프레임워크인 기하학 강화 언어 유도 비디오 분할(GeoLaV)을 제안한다. 첫 번째 단계에서는 단안 새로운 시점 합성을 통한 단안 기하학 사전학습을 수행하여, 대규모 단일 이미지 데이터셋에서의 공간 정렬을 통해 모델이 기하학적으로 일관된 시각적 표현을 획득할 수 있도록 한다. 두 번째 단계에서는 기하학 인식 지식 증류를 도입하고 비디오 분할 데이터셋에서 모델을 미세조정하여, 일반적인 3D 사전 모델로부터 3D 구조 지식을 전이한다. 이 과정은 3D 인식을 강화하고 분할에서의 시공간 일관성과 언어 그라운딩을 모두 향상시킨다. 광범위한 실험을 통해 이미지 분할 데이터만을 사용한 우리의 방법이 이미 RVOS에서 눈에 띄는 제로샷 일반화 성능을 제공함을 확인하였다. 비디오에 대한 미세조정을 위한 기하학 인식 지식 증류와 결합하면, 우리의 방법은 다수의 RVOS 벤치마크에서 최첨단 성능을 달성한다. 코드는 https://github.com/Tony1882880/GeoLaV 에서 확인할 수 있다.
스테레오 매칭 분야의 최근 발전은 놀라운 정확도를 달성했지만, 대형 모델이나 높은 연산량, 또는 추가적인 파운데이션 모델 사전 정보에 의존하는 경우가 많아 자원이 제한된 플랫폼에 배포하기 어렵다. 반면, 효율적인 스테레오 모델은 더 빠른 추론을 제공하지만 강력한 제로샷 일반화 능력이 부족하다는 인식이 일반적이다. 본 논문에서는 이러한 가정에 도전하여, 효율적인 제로샷 스테레오 매칭을 위해 설계된 초고속 모델 시리즈인 Lite Any Stereo V2(LAS2)를 제안한다. LAS2는 아키텍처와 학습 두 가지 관점에서 개발되었다. 아키텍처 측면에서, 실제 배포 환경을 고려한 효율적인 스테레오 설계를 재검토하고, 이론적 MAC 수치만이 아닌 실제 추론 지연 시간을 최적화한 2D 전용 비용 집계(cost aggregation) 프레임워크를 제안한다. 학습 측면에서는, 합성 데이터 지도 학습, 자기 증류(self-distillation), 그리고 실세계 지식 증류를 결합한 3단계 학습 전략을 개발한다. 실세계 유사 지도(pseudo supervision)의 신뢰성을 높이기 위해, 유사 레이블 필터링과 오류 클램핑(error-clamping) 연산을 추가로 도입하여 합성-실세계 전이를 더욱 원활하게 한다. LAS2는 다양한 효율성 예산을 위한 피드포워드 변형 모델과 더 높은 정확도를 위한 반복적 변형 모델을 포함하는 모델 패밀리로 구성된다. 광범위한 실험을 통해 LAS2가 효율적인 스테레오 방법들 중 최첨단 정확도를 달성하면서도 현저히 낮은 지연 시간을 유지함을 보인다. 특히, LAS2-H는 반복적 방법인 Fast-FoundationStereo보다 전반적으로 더 강한 제로샷 성능을 달성하며, H200과 Orin에서 각각 1.8배 및 2.7배 빠른 추론 속도를 보인다. 프로젝트 페이지, 데모, 코드는 https://tomtomtommi.github.io/LiteAnyStereoV2/ 에서 확인할 수 있다.
비전 파운데이션 모델(VFM)은 밀집 특징(feature) 매칭을 크게 발전시켰으나, 심각한 평면 내 회전(in-plane rotation)은 여전히 핵심적인 난제로 남아 있다. 기존 해법들은 근본적인 딜레마에 직면해 있는데, 데이터 기반 방법은 회전을 암묵적으로 학습하기 위해 비효율적인 매개변수(parameter) 스케일링을 필요로 하는 반면, 엄격한 등변(equivariant) 네트워크는 최신 VFM의 시맨틱(semantic) 표현 능력을 갖추지 못한다. 이에 따라 현재 프레임워크들은 대체로 VFM을 고정(freeze)한 채 회전 일반화의 부담 전체를 다운스트림 디코더에 전가한다. 이러한 구조적 병목을 해소하기 위해, 우리는 새로운 회전 등변 지식 증류(Rotation-Equivariant Distillation, REDI) 패러다임에 기반한 효율적 프레임워크 REDI-Match를 제안한다. REDI는 회전 대응 관계를 확립하기 위한 데이터 증강(data augmentation)에 의존하는 대신, VFM의 비등변 시맨틱 표현을 경량의 엄격한 회전 등변 인코더로 증류하며, 등변 기하학적 아키텍처를 활용하여 강건한 고차원 시맨틱을 제약한다. 이 특징(feature)들을 최대한 활용하기 위해, 디코더에는 엔트로피 기반 공간 정렬 모듈을 장착한다. 이산 회전 가설을 평가함으로써 이 메커니즘은 정준 좌표계(canonical coordinate system)를 명시적으로 고정하고, 연속적인 정밀화에 앞서 전역적 모호성을 제거한다. 다양한 벤치마크에서의 광범위한 실험을 통해 REDI-Match가 새로운 최첨단(SOTA) 성능을 확립함을 입증한다. 특히 난이도 높은 SatAst 데이터셋(dataset)에서 절대 포즈 정확도를 13.89% 향상시키면서, 현재 SOTA인 RoMa v2 대비 1.9배 빠르게 동작하여 단일 RTX 4090 GPU에서 실시간 추론(inference)(~41 FPS)을 가능하게 한다. 코드: https://github.com/YinjiGe/REDI-Match.
이벤트 기반 객체 검출(EvDet)은 생물학적으로 영감을 받은 시각 지각 패러다임으로, 높은 시간 해상도와 넓은 동적 범위가 요구되는 시나리오에서 우수한 성능을 보인다. 그러나 이벤트 데이터의 본질적인 희소 표현과 불충분한 시각적 의미론으로 인해 EvDet와 프레임 기반 객체 검출 간에 상당한 성능 격차가 발생한다. 기존 연구들은 지식 증류를 통해 이러한 크로스 모달 불일치를 완화하고자 했으나, 공간적 시각 의미론이나 쌍별(pair-wise) 관계 정보에만 집중하여 더 복잡한 시나리오에서 성능이 제한된다. 이러한 문제를 해결하기 위해 본 논문은 EvDet를 위한 다중 도메인 및 다중 차수 크로스 모달 지식 증류 프레임워크인 M^2C-EvDet를 제안한다. 주파수 학습과 하이퍼그래프 연산을 기반으로 구축된 M^2C-EvDet는 두 가지 특화 모듈인 적응형 주파수 분리 특징 증류(AF^2D^2, Adaptive Frequency-Decoupled Feature Distillation)와 다중 차수 관계 증류(MORD, Multi-Order Relational Distillation)를 통합한다.
3D 생성 분야의 최근 혁신은 텍스트-이미지 확산 모델(text-to-image diffusion model)의 발전과 함께 눈에 띄게 진보하였다. 그러나 기존 방법들은 두 가지 실용적인 과제를 안고 있다. (1) 주로 단일 3D 객체를 생성하는 데 집중하며, 합리적인 상호작용 내 가우시안 프리미티브(Gaussian primitives) 모델링의 부재로 인해 다중 객체 구성적 3D 에셋 생성에 어려움을 겪는다. (2) Score Distillation Sampling이 본질적으로 각 단일 시점에서 수행되기 때문에 3D 최적화 과정에서 교차 시점 불일치(cross-view inconsistency)가 발생하며, 이는 필연적으로 교차 시점 환각(hallucination)으로 이어진다. 위 문제들을 해결하기 위해, 우리는 합리적인 상호작용을 갖춘 다중 시점 일관적 구성적 3D 에셋을 생성하는 새로운 최적화 기반 방법인 I2C-3D를 제안한다. 구체적으로, 가우시안 프리미티브가 합리적인 상호작용 영역에 자연스럽게 나타나도록 유도하는 포괄적 상호작용 충돌(Inclusive Interactive Collisions) 전략을 제안하여, 구성적 장면 내 객체들이 물리적으로 그럴듯하고 시각적으로 일관된 방식으로 상호작용하도록 보장한다. 또한, 다중 시점 일관성을 강화하기 위해, 사전학습된 확산 모델에서 시점 전반에 걸친 인스턴스 토큰(instance token)과 공간 토큰(spatial token)의 어텐션 맵을 조절하여 다중 시점 일관성 사전정보와 레이아웃 사전정보를 증류하는 다중 시점 적응적 Score Distillation Sampling을 고안하였다. 위의 정교한 설계들 덕분에, I2C-3D는 고품질의 다중 시점 일관적 구성적 3D 에셋을 생성할 뿐만 아니라 유연한 3D 편집을 지원하여 복잡한 장면 생성을 용이하게 한다. 광범위한 실험을 통해 I2C-3D가 생성 품질과 다중 시점 일관성 면에서 기존 방법들을 능가함을 입증한다.
프롬프트 증류(Prompt distillation)는 레이블이 없는 도메인 이미지에서 교사의 예측을 매칭함으로써 CLIP과 같은 대규모 비전-언어 모델(VLM)을 경량 학생 모델로 압축한다. PromptKD(CVPR 2024)는 단일 PromptSRC 파인튜닝된 ViT-L/14 교사와 ViT-B/16 학생으로 이 패러다임을 확립하였다. 우리는 고정된 두 교사 앙상블—도메인 파인튜닝된 PromptSRC ViT-L/14 교사와 데이터셋별로 로짓이 사전 계산된 제로샷 EVA-CLIP-L/14 교사—으로부터 증류하는 다중 교사 확장 모델인 TheProfessor를 제안한다. 우리는 네 개의 베이스-투-노블(base-to-novel) 데이터셋인 Caltech-101, DTD, UCF101, EuroSAT에서 단일 교사 PromptKD, 동등 확률 앙상블, 신뢰도 가중 앙상블을 평가한다. 12회 단일 시드 스윕에서 신뢰도 가중 앙상블은 평균 HM을 87.52에서 89.28로 향상시키며(+1.77점), 동등 평균화는 평균 HM을 88.88로 향상시킨다(+1.37점). 성능 향상은 데이터셋에 따라 다르게 나타나는데, Caltech-101에서는 미미하고(신뢰도 가중 기준 +0.16 HM), UCF101에서는 중간 수준이며(+0.62), 도메인 이동이 발생한 EuroSAT에서 가장 크다(+5.78). 이 결과는 우리의 이전 Caltech 전용 분석을 갱신하며, 다중 교사 프롬프트 증류가 두 번째 교사가 도메인 이동 하에서 상호 보완적인 감독(supervision)을 제공할 때 가장 유용함을 보여준다.
비전 파운데이션 모델(VFMs)을 활용한 카메라-라이다 지식 증류(knowledge distillation)는 실제 자율 주행(AD) 환경의 광범위한 기하학적 및 운동학적 다양성을 표현하는 데 필요한 레이블링된 데이터 부족 문제에 대한 유망한 해결책을 제공합니다. 그러나 기존 접근 방식은 일반적으로 VFMs를 블랙박스 교사로 간주하여 프레임 단위 특징(feature) 유사성에만 의존합니다. 결과적으로, 교사 모델의 층별 의미론적 구조와 전역 컨텍스트(global context), 그리고 라이다 시퀀스에 내재된 풍부한 시공간 정보를 완전히 활용하지 못합니다. 본 논문에서는 주행 작업에 필요한 의미론적 '무엇(what)'과 기하학적 '어디(where)'를 더 잘 포착하는 라이다 백본을 위한 자기 지도 사전학습 프레임워크인 HilDA를 제안합니다. HilDA는 점진적 의미론적 정렬을 위한 다층 지식 증류와 장면 수준 의미론을 위한 전역 컨텍스트 지식 증류로 구성된 계층적 지식 증류와, 시공간 일관성을 강화하는 시간적 점유율 확산(diffusion) 목적 함수를 결합합니다. HilDA로 사전학습된 모델은 교차 모달 지식 증류 벤치마크에서 최첨단(SOTA) 결과를 달성했으며, 3D 객체 검출(object detection), 장면 흐름(scene flow), 의미론적 점유율 예측 작업에서 기존 지식 증류 접근 방식으로 훈련된 모델들을 능가했습니다. 코드는 https://maxiuw.github.io/hilda 에서 확인할 수 있습니다.