Segment Anything Model(SAM)과 같은 대규모 기반 모델을 자원이 제한된 지구 관측 플랫폼에 배포하는 것은 과도한 계산 비용과 자연 이미지와 원격 탐사 이미지 간의 도메인 불일치로 인해 어려움을 겪고 있다. 이러한 문제를 해결하기 위해 우리는 효율적인 온보드 원격 탐사 분할을 위해 설계된 경량의 프롬프트 없는 분할 프레임워크인 Geospatial Segment Anything Model-Lite(GeoSAM-Lite)를 제안한다. GeoSAM-Lite는 두 가지 핵심 혁신을 포함한다: (1) 도메인 인식 사전학습 전략으로, 도메인 격차를 해소하기 위해 특화된 교사 모델에서 지리공간적 사전 지식을 증류하는 Geospatial-Domain Initialization(Geo-Init), (2) 경량 백본의 용량 병목 현상을 극복하기 위해 공간 특징을 재보정하고 고주파 경계 단서를 복원하는 Feature Fusion Layers(FFL). 대규모 스케일 변화와 복잡한 경계에서의 성능 평가를 위해 구름 시나리오에 중점을 두어 대표적인 데이터셋에서 수행한 실험에서 GeoSAM-Lite는 중량급 모델인 RSAM-Seg 대비 파라미터를 92.8% 줄이면서 경쟁력 있는 정확도를 달성함을 보여준다. 효율성과 충실도 사이의 우월한 파레토 프론티어를 확립함으로써 GeoSAM-Lite는 엣지 디바이스에서의 실시간 분할을 위한 실용적인 솔루션을 제공한다.
무인 항공기(UAV) 타겟 분할은 객체의 작은 크기, 외관 변화, 복잡한 배경, 그리고 밀집 어노테이션 데이터의 부족으로 인해 여전히 어려운 과제이다. 이러한 요인들은 실제 UAV 응용에서 경량 분할 모델의 성능과 실용적 배포를 저해한다. 이 문제를 해결하기 위해, 본 논문은 경량 분할 네트워크 학습을 위한 의사 레이블(pseudo-label) 생성기로서 SAM3(Segment Anything Model 3)의 활용을 연구한다. 구체적으로, 두 가지 감독 패러다임을 탐구한다: (i) 변경되지 않은 SAM3 생성 마스크를 사용하는 직접 의사 감독, 그리고 (ii) 향상된 마스크 품질을 위해 지역화된 이미지 패치에 SAM3를 재적용하는 정제 전략. 이러한 패러다임을 기반으로, 두 단계의 SAM3 기반 의사 레이블 생성 프레임워크를 제안한다. 첫 번째 단계에서 SAM3는 초기 객체 지역화를 위한 거친 마스크를 생성한다. 지역화된 영역은 이후 패치로 잘려 SAM3에 의해 다시 처리되어 정확한 객체 경계를 가진 세밀한 마스크를 생성하고 오탐지를 제거한다. 생성된 거친 마스크와 세밀한 마스크는 경량 네트워크인 IPS-Seg를 최적화하기 위한 의사 레이블로 사용되며, IPS-Seg는 세 가지 구성 요소로 이루어진다: 특징 추출을 위한 IdentityFormer 백본, 다중 스케일 문맥 집합을 위한 아트러스 공간 피라미드 풀링(Atrous Spatial Pyramid Pooling) 모듈, 그리고 공간 해상도 복원을 위한 PixelShuffle 기반 디코더. 다양한 감독 설정 하에서의 광범위한 실험은 제안된 프레임워크의 효과를 입증한다. 결과는 IPS-Seg가 분할 정확도와 계산 효율성 간의 유리한 트레이드오프를 달성하면서 제안된 의사 레이블 생성 전략으로부터 일관된 이점을 얻음을 보여준다. 이러한 발견은 저레이블 비전 도메인에서 경량의 태스크별 분할 네트워크 학습을 위한 어노테이션 소스로서 대규모 파운데이션 모델의 잠재력을 강조한다.
이 논문은 비전-언어 모델(VLM)이 고정된 패치 기반 2D 비전 특징을 필요로 한다는 가정에 도전한다. 파인튜닝된 비전 인코더를 분석한 결과, VLM 학습 과정에서 표현이 점점 더 추상적으로 변하고 공간적 일관성이 감소함을 발견하였다. 특히, 이미지-텍스트 정렬로 학습된 모델(예: SigLIP2)은 전체 이미지 내용을 효과적으로 요약하는 소수의 특화된 토큰을 형성한다. 이를 기반으로, 우리는 다중 교사 지식 증류와 오토인코더 설계를 활용하여 이미지를 간결한 가변 길이 1D 토큰 시퀀스로 압축하는 RADIO1D를 제안한다. 생성된 표현은 강력한 계층적 요약 능력을 나타내어, 단일 토큰만으로도 정확한 장면 이해를 가능하게 하며 향상된 구성 인식 이미지 검색을 지원한다. VLM에서 RADIO1D는 조정 가능한 토큰 수를 통해 유연한 정확도-효율성 트레이드오프를 제공하며, 낮은 연산 비용과 더 나은 정확도로 다양한 멀티모달 벤치마크에서 경쟁력 있는 성능을 달성한다.
연속 비디오 이상 탐지는 시공간 특징을 스칼라 점수로 압축하는 반응형 다중 인스턴스 학습(MIL, Multiple Instance Learning)에 의해 지배되고 있다. 우리는 두 모듈로 구성된 연속 의미론적 월드 모델 파이프라인인 PULS(Predictive Unified Latent Space)를 제안한다: 4억 9천만 매개변수의 KSD Bridge(키네마틱-의미론 증류, Kinematic-to-Semantic Distillation)와 1,680만 매개변수의 예측적 상태 예측기(ASP, Anticipatory State Predictor). KSD Bridge는 UCF-Crime의 일부 데이터로 학습되어, V-JEPA 2의 물리적 텐서를 2048차원의 Qwen3-VL-Embedding-2B 텍스트 정렬 초구(hypersphere)로 매핑한다. 이 변환만으로도 MIL이나 계층적 융합 없이 UCF-Crime에서 청크 수준 AUROC 0.8994, 분포 외(out-of-distribution) XD-Violence에서 0.8162를 달성한다. 우리는 잠재 명료성 가설(Latent Clarity Hypothesis)을 도입하고 검증한다: JEPA의 시간적 예측기가 키네마틱스를 보존하면서 우발적(aleatoric) 픽셀 노이즈를 제거하기 때문에, 예측된 미래 표현이 관측된 현재 표현보다 의미론적으로 더 분리 가능하다. ASP는 이러한 예측된 미래 잠재 표현을 더욱 선명하게 하여, 14-way 제로샷 시각 질의응답(VQA) 정확도 평균 44.5%를 달성한다(관측 기준선 대비 +9.6 pp 초과). ASP를 관측 텐서에 적용하면 정확도가 7.3%(무작위 수준)로 떨어지며, 이는 예측과 관측이 서로 다른 하위 다양체(sub-manifold)를 차지함을 증명한다. L1 서프라이즈 게이트를 갖춘 트리플-트랙 리드-타임 프로토콜은 T-0.5s에서 최대 +8.9 pp의 예측적 이점을 산출하여(p < 0.001, N = 1,000 순열), 물리적 예측을 정적 장면 사전 정보(static scene priors)와 분리한다. XD-Violence로의 제로샷 전이는 뉴턴 불변 키네마틱 표현이 분포 외 환경에서도 일반화됨을 확인한다.
소수 단계로 증류된 확산 학생 모델은 텍스트-이미지 추론을 약 50회에서 1~8회의 네트워크 평가로 줄이지만, 품질 차이는 대개 단일 FID/CLIP 스칼라로 요약되어 조건화 응답의 어떤 축이 변했는지, 혹은 특정 동작이 아키텍처에서 비롯된 것인지, 증류 목표에서 비롯된 것인지, 아니면 단순히 확산 모델이기 때문인지를 설명하지 못한다. 우리는 이 스칼라를 분해 가능한 프로브로 대체하며, 이 프로브는 세 가지 모드(평균, 분산, 스케일)와 여섯 가지 강도 하에서 세 개의 층(프롬프트 인코더, 디노이저 입력, 디노이저 출력)을 따라 제어된 섭동을 주입하고, Inception 특징에 대한 부트스트랩 중앙값 Bures W2^2 선택성 비율을 보고한다. 다섯 개의 교사 모델과 다섯 개의 백본 패밀리(SDXL, SD1.5, SD3.5, PixArt-alpha, FLUX), 세 개의 아키텍처 클래스(UNet, DiT, MMDiT), 다섯 개의 증류 패러다임에 걸친 18개의 증류 학생 모델을 포함하는 23개의 모델 전체에 단일 매칭 추정기를 적용한 결과, 세 층은 경험적으로 분리 가능한 세 가지 요인을 읽어낸다: 프롬프트 층은 보편적인 프롬프트 평균 응답(판별자가 아닌 온전성 채널)이고, 잠재 변수 층은 예측 유형을 읽으며, 스코어 층은 증류 목표를 읽는다. 주요 결과: 이 탐색 범위 내에서 잠재 변수 층은 정류 흐름(rectified-flow) 백본의 이진에 가까운 검출기이다. 그 비율은 정류 흐름 모델(SD3.5, FLUX)에 대해서만 지속적인 낮은-중간 강도 구간에 걸쳐 1을 초과하며, 엡실론(epsilon) 예측 모델은 이를 충족하지 못한다. 매칭된 엡실론 예측 대조군(PixArt-alpha)은 광역 T5 조건화를 배제하며, 지문은 교사와 학생 모두로서 적대적(ADD) 증류에서도 유지된다. 두 가지 부차적 스코어 층 발견은 더 좁은 범위에서 성립한다: 비-ADD 기준선이 있는 UNet 패밀리에 대한 표준 4단계 ADD 대 나머지 대조, 그리고 UNet과 DiT 모두에서 CI로 분리된 궤적-롤아웃 초기 강도 스코어 스파이크. 모든 비율은 단일 추정기 하에서 CI로 인용 가능하며, 우리는 셀별 테이블과 추정기를 공개한다.
노인 낙상은 그 발생 빈도, 결과, 사회적 부담으로 인해 중요한 공중 보건 문제입니다. 심층 학습(deep learning)이 낙상 감지를 개선했지만, 충격 순간(개인이 지면에 닿는 시점)을 정확히 식별하는 것은 여전히 어려운 과제입니다. 또한 현재 알고리즘들은 높은 계산 요구량을 가진 복잡한 모델에 의존하는 경우가 많아 실시간 배포 가능성이 제한됩니다. 본 연구에서는 세 가지 핵심 혁신을 통해 이러한 문제를 해결하는 충격 낙상 감지용 새로운 아키텍처 DistillH-Mamba를 제안합니다. 첫째, 여러 관절 간의 고차 관계를 동시에 포착하는 하이퍼그래프 기반 접근법을 도입하여 충격 낙상 시 복잡한 상호작용을 보다 정확하게 모델링합니다. 둘째, 충격 감지를 위해 Mamba 아키텍처와 하이퍼그래프를 통합하여 처리 속도를 크게 향상시키면서 장기 의존성과 갑작스러운 골격 동작 변화를 모두 효율적으로 포착합니다. 셋째, 실시간 충격 낙상 감지를 위한 계산 요구량을 줄이면서 중요한 공간-시간적 관계를 보존하는 관계형 지식 증류(knowledge distillation)를 적용합니다. 3D Skeletons UP-Fall 및 UMAFall 데이터셋에서 평가한 결과, DistillH-Mamba 모델은 낙상 이벤트 내 충격 감지에서 97.38%의 정확도를 달성했으며, 교사 모델(teacher model) 대비 추론(inference) 시간을 73.8% 단축하여 정밀도(precision)와 효율성 모두에서 최신 기법들을 능가했습니다.
다중 피시아이 카메라 리그를 이용한 전방위 깊이 추정은 가시성 충돌로 인해 복잡해진다. 광폭 기선(wide baseline)은 카메라마다 동일 객체의 서로 다른 부분, 심지어 다른 면을 관측하게 만들어, 고정 투영 방식으로 이들 특징을 통합 등장방형(ERP) 표현으로 집계하면 폐색 경계 및 얇은 구조물 근처에서 모호한 매칭 근거가 발생한다. 기존 방법들은 신뢰도 낮은 뷰의 가중치를 줄여 이를 완화하지만, 컨텍스트 형성과 교차 뷰 융합이 여전히 고정된 피시아이-ERP 샘플링에 종속되어 있어 근본적인 불일치는 해소하지 못한다. 본 논문에서는 동적 컨텍스트 융합과 합의 기반 다중 뷰 유사도를 결합함으로써 경직된 집계 방식을 대체하는 반복적 깊이 정제 프레임워크 OmniDS를 제안한다. 이중 스트림 인코더는 기하학적 세부 정보를 위한 경량 CNN과 의미론적 사전(prior) 제공을 위한 고정된 DINOv3를 결합하며, 각 정제 단계에서 학습된 뷰 가중치와 기하학적 왜곡 바이어스를 적용한 변형 가능 교차 어텐션을 통해 특징을 ERP 공간으로 재투영한다. 동시에, 다중 뷰 합의 볼륨은 그룹별 상관관계와 특징 분산을 통해 카메라 간 전역 합의를 포착하며, 3D U-Net으로 정규화된다. 효율적인 배포를 위해 이중 스트림 표현을 단일 MobileNet 기반 인코더로 지식 증류한다. OmniDS는 OmniThings, OmniHouse, Sunny 벤치마크에서 최첨단 성능을 달성하는 동시에 경쟁력 있는 추론 속도를 유지한다. 프로젝트 페이지 및 코드는 https://parkchaesong.github.io/omnids 에서 확인할 수 있다.
멀티모달 대규모 언어 모델(MLLM)은 눈부신 발전을 이루었지만, 다단계 지각과 논리적 추론을 요구하는 복잡한 시각적 추론 과제에서는 여전히 어려움을 겪고 있습니다. 명시적 시각 생성은 과도한 계산 비용을 수반하며, 기존의 잠재적 접근 방식은 외부 전문가 모델에 의존하거나 엄밀한 인지 논리가 부족한 경우가 많습니다. 본 논문에서는 MLLM이 연속적인 잠재 공간에서 구조화된 시각적 추론을 수행할 수 있도록 하는 프레임워크인 ProLaViT(Progressive Latent Visual Thought)를 제안합니다. 이종 외부 모델에 의존하는 기존 연구와 달리, ProLaViT는 내생적 자기 증류(self-distillation) 메커니즘을 활용하여 모델 자체의 시각 인코더로 잠재 사고를 지도합니다. 이를 위해 모델이 추론 시 도구 없이 알고리즘적 정밀도를 내재화할 수 있도록 하는 확장 가능한 프로그래밍 방식의 합성 파이프라인을 구축합니다. 두 가지 추론 패러다임을 설계합니다: (1) 공간적 과제를 위한 Coarse-to-Fine 인과 연쇄로, 전역 문맥에서 지역 대상으로 어텐션을 유도합니다. (2) 논리적 과제를 위한 변증법적 추론 연쇄로, 검증을 위한 반사실적(counter-factual) 사고를 통합합니다. 나아가, 위상 인식 제약을 부과하여 의미론적 고유성을 강제함으로써 특징 퇴화를 방지하는 거리 가중 다양성 손실(Distance-Weighted Diversity Loss)을 제안합니다. 광범위한 실험을 통해 ProLaViT가 시각 중심 벤치마크에서 기준 모델들을 능가하며, 높은 효율성을 유지하면서 우수한 정확도와 해석 가능성을 달성함을 입증합니다.
지식 증류(KD)는 대규모 교사 모델의 감독을 활용하여 경량 모델을 학습시키는 방법으로 널리 사용되고 있으나, 출력 토큰 분포에만 의존하는 방식은 멀티모달 대규모 언어 모델(MLLM) 압축에 불충분한 것으로 밝혀졌다. 출력 토큰은 모델이 시각적 입력에 어텐션을 적용한 결과물이므로, 선행 연구들은 직접적인 감독 신호를 제공하기 위해 어텐션을 명시적으로 증류하는 방법을 탐구해 왔다. 이 접근법은 유망하지만, 어떤 어텐션 신호를 증류해야 하는지에 대한 정확한 효용성은 충분히 탐구되지 않은 상태이다. 본 연구에서는 프롬프트-시각 어텐션에 대한 기존의 의존 방식에 의문을 제기하며, 다운스트림 성능이 교사 모델과의 응답-시각 어텐션 유사도와 강한 상관관계를 보이는 반면, 프롬프트 조건부 어텐션과는 거의 상관관계가 없음을 밝힌다. 또한 어텐션 분포가 개별 토큰에 걸쳐 상당한 분산을 보임을 관찰하였으며, 이는 균일한 증류 목표가 최적이 아님을 시사한다. 이를 해결하기 위해, 우리는 토큰 수준 응답-시각 어텐션 가이던스(TRAG)를 제안한다. TRAG는 1) 응답-시각 신호에 초점을 전환하고, 2) 어텐션 엔트로피를 기반으로 Kullback-Leibler 발산을 적응적으로 가중하는 토큰별 목표를 적용함으로써, 학생 모델이 교사 모델의 정확한 시각적 집중을 효과적으로 모방하도록 유도하는 증류 목표이다. 다수의 벤치마크에서 수행한 광범위한 실험 결과, TRAG가 기존 증류 기법들을 크게 능가함을 확인하였다.
온-정책 지식 증류(OPD)는 최근 학생 모델이 생성한 궤적에 감독을 제공하는 효과적인 사후 학습 패러다임으로 부상하였다. 그러나 멀티모달 추론을 위한 기존 OPD 방법들은 대체로 정적 교사 라우팅에 의존하여, 모달리티 또는 태스크 유형에 따라 각 샘플을 단일 교사에 할당한다. 이는 시각적 그라운딩과 추상적 추론이 서로 다른 디코딩 단계에서 주도적 역할을 할 수 있다는 점을 간과하는 것으로, 단일 교사만으로는 전체 궤적을 충분히 커버하기 어렵다. 이를 해결하기 위해 H-OPD를 멀티모달 추론을 위한 신뢰도 인식 이종 다중 교사 OPD 프레임워크로 제안한다. 동일한 추론 과정에서 이종 교사들의 상호 보완성을 검증함으로써, H-OPD는 태스크 또는 샘플 수준의 교사 라우팅을 공유 학생 궤적을 따르는 토큰 수준의 교사 중재로 대체한다. H-OPD는 텍스트 전용 교사가 핵심 시각적 의미론에 접근할 수 있도록 비전-언어 설명 전이를 도입하고, 각 토큰에서 비전-언어 교사와 텍스트 전용 교사를 동적으로 결합하기 위해 신뢰도 인식 중재 메커니즘을 활용한다. 11개의 널리 사용되는 추론 벤치마크에 대한 광범위한 평가를 통해 본 방법의 우수한 성능을 입증하였다.
많은 조작 작업은 자유 공간 어포던스(affordance)에 대한 추론을 필요로 한다: 파지(grasping)를 위한 표면 접촉 어포던스와 상호보완적으로, 확장된 강체 도구가 안전하게 이동할 수 있는 부피를 탐색하는 것이다. 로봇 수납은 이러한 작업의 대표적인 예로, 블레이드가 혼잡한 천 소재 빈(bin) 내부에서 물건들을 옆으로 밀어 삽입 공간을 만들어야 한다. 실제 생산 수납 시스템은 수백만 건의 에피소드를 생성하지만, 단일 모달 데이터를 사용하는 표준 접근법은 어포던스를 SE(3) 포즈 분포로 추론하며, 이는 잘못된 영역에서 제기된 기하학적 질문이다. VulcanVoxel은 추론을 공간적으로 유지한다: 3D 점유 필드에 대한 마스크드 오토인코더(masked autoencoder)가 장면 기하학에 조건화하여 블레이드 점유를 재구성하고, 각 복셀(voxel)에서 국소적으로 실현 가능성을 계산하며, 단일 모달 데이터로부터 다중 모달 예측을 복원한다. 블레이드 어포던스는 기하학적 실현 가능성으로 정의된 3D 공간의 부분집합인 공간적 객체이다. 포즈 파라미터는 관측되지 않은 배치의 실현 가능성을 추론하기 위한 구조를 담고 있지 않으며, 플로우 매칭(flow matching)을 포함한 표준 생성 목적 함수는 실행 정책이 생성하는 단일 모달 분포를 충실하게 학습하여 기하학적 대안을 복원할 수 없다. 인간 어노테이션 없이 실제 창고 수납 에피소드 10,000건으로 학습된 VulcanVoxel은 최고 포즈 기반 기준선(baseline)의 0.71 대비 상위 5개 커버리지 0.89를 달성하며, 지식 증류된 학생 모델이 복셀-투-복셀 방식의 1.4초 대비 30ms의 RGB-투-복셀 추론(inference)을 제공한다. 실제 블레이드 삽입 사이클의 RGB-D 관측 및 포즈 궤적이 포함된 데이터셋(dataset)을 https://www.armbench.com/blade_insertion.html에 공개하였다.
AI 에이전트의 역량이 빠르게 향상됨에 따라 코드 생성 비용은 급격히 낮아지고 있지만, 생성된 프로그램의 품질 보증은 이에 발맞추지 못하고 있다. 형식 검증(formal verification)은 가장 강력한 수준의 보장을 제공하지만, 검증 인식 언어(verification-aware language)로 작성된 인간 예제의 희소성으로 인해 AI 모델이 이러한 언어를 다루는 능력이 제한된다. 이러한 만연한 데이터 희소성 문제를 해결하기 위해, 우리는 Formal Disco를 제안한다. 이는 대규모 오픈엔드 합성 데이터 생성에 손쉽게 적용할 수 있는 대규모 언어 모델(LLM) 기반 워커 조율을 위한 분산 시스템이다. 우리는 Formal Disco를 사용하여 세 가지 유형의 워커 간에 태스크와 프로그램을 공유한다: 오픈소스 저장소의 임의 README와 문서 스니펫을 읽어 관련 검증 프로그램의 초안을 작성하는 "initiator", 컴파일러 및 검증기 피드백을 받아 문제를 해결하는 "fixer", 그리고 동작하는 프로그램을 받아 이를 확장하는 패치를 제안하는 "extender"이다. Formal Disco는 에이전트가 생성한 모든 트레이스를 기록하고, 이를 더 강력한 모델로부터의 초기 지식 증류(distillation)와 자기 개선 모두에 활용한다. 또한 합성 프로그램 생성을 위한 최대 엔트로피 원칙을 제안하고, 반복적인 지도 미세조정(supervised fine-tuning)을 통한 엔트로피 최대화를 사용하여 시간이 지남에 따라 점점 더 다양한 프로그램을 생성하도록 학습한다. Dafny, Verus, Frama-C 세 가지 언어로 작성된 대규모 합성 검증 프로그램 데이터셋을 공개하고, 검증 관련 태스크를 위한 오픈 모델을 미세조정하여 Claude Opus 4.5의 성능과 동등하거나 이를 초과하는 결과를 자주 달성한다. 전반적으로, 우리의 연구는 형식 추론 도메인에서 대규모 합성 데이터를 생성하고 오랫동안 지속되어 온 데이터 장벽을 극복하는 경로를 제시한다.
우리는 인터랙티브 배포에 최적화된 Nemotron-3-Super의 압축 변형 모델인 Nemotron-Labs-3-Puzzle-75B-A9B를 소개합니다. 이 모델은 높은 사용자 처리량 제약 조건 하에서 서버 처리량을 극대화하도록 설계되었습니다. 단일 8xB200 노드에서의 인터랙티브 서빙 워크로드에서, Puzzle-75B-A9B는 동일한 사용자 처리량 제약 조건 하에 Nemotron-3-Super 대비 약 2배 높은 서버 처리량을 달성합니다. 단일 H100 GPU에서의 초장문 컨텍스트 배포에서, 압축된 모델은 100만 토큰 동시 처리 요청 수를 1개에서 8개로 늘립니다. Puzzle-75B-A9B는 Iterative Puzzle 압축 프레임워크와 지식 증류, 강화학습, 양자화, 멀티-토큰 예측 헤드를 결합한 다단계 파이프라인을 사용하여 구성됩니다. 압축 과정은 이기종 전문가 혼합(MoE) 가지치기, 활성 매개변수 예산, Mamba 가지치기를 공동으로 최적화하여 모델 품질을 유지하면서 추론 효율성을 향상시킵니다. 우리는 Puzzle-75B-A9B를 추론, 코딩, 다국어, 장문 컨텍스트, 에이전트 벤치마크를 포함한 광범위한 평가 스위트에서 평가합니다. 상당한 압축에도 불구하고, 이 모델은 다양한 태스크에서 부모 모델 대비 강력한 다운스트림 정확도를 유지합니다. 이러한 결과는 대규모 하이브리드 MoE 모델이 강력한 다운스트림 성능을 유지하면서 배포 효율성을 위해 대폭 최적화될 수 있음을 보여줍니다.
온-폴리시 자기 증류(OPSD)가 long-CoT 추론 모델에 적용될 때 성능을 오히려 저하시키는 근본 원인을 분석한 결과, 교사 모델의 감독 신호가 문제 해결에 전이 불가능한 참조 답안 암기 성분에 지배되고 있음을 규명했다. 이를 해결하기 위해 참조 답안만으로 조건화된 교사를 활용해 비전이 성분을 제거하고, 점별 상호정보량(PMI)으로 전이 가능한 교정 신호만을 추출하는 Purified OPSD를 제안하여, 4개의 long-CoT 모델에서 표준 OPSD 대비 일관된 성능 향상과 반성적 추론 능력 보존을 달성했다.
CNN에서 Transformer까지 이종(heterogeneous) 모델 간 지식 증류 시 공간 분포 불일치 문제를 해결하기 위해, SFKD 프레임워크는 다중 레벨 이산 웨이블릿 변환(MDWT)으로 공간 정보를 명시적으로 분리하고 이중 스트림 이중 단계 정제 모듈(DS²SR)과 가우시안 필터링 주파수 손실(GFFL)을 결합해 공간-주파수 공동 인식 기반의 효과적인 지식 전이를 수행한다. CIFAR-100 및 ImageNet-1K 벤치마크에서 동종·이종 모델 설정 모두에 걸쳐 기존 이종 증류 방법 대비 우수한 성능을 달성했다.
MASt3R(6억 8,800만 파라미터)를 달 표면 스테레오 재구성에 특화한 지식 증류 프레임워크를 제안하며, SVD 기반 디코더 가중치 초기화를 통해 교사-학생 간 차원 불일치를 해소한다. 증류된 학생 모델(ViT-Small)은 모델 크기를 최대 7.3배 줄이면서 교사의 재구성 정확도를 대부분 유지하며, 희소 정답 레이블로 직접 학습한 기준선보다 Chamfer 오차를 약 18% 낮추는 성능을 보인다.
협력 인식(Co-Perception)의 성능을 자차 전용 인식(Eo-Perception)으로 전이하는 새로운 C2E 패러다임을 제안하며, 다중 교사 대조적 지식 증류(Multi-Teacher Contrastive Distillation) 프레임워크인 M2S를 통해 추론 시 통신 비용 없이 V2XSet 등 데이터셋에서 3D mAP를 최대 8.64% 향상시켰다.
최근 멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 분야를 크게 발전시켰으나, 고정된 입력 토큰 예산 하에서 장형 비디오 QA는 여전히 어려운 과제로 남아 있으며, 균일한 샘플링은 증거 위치 파악에 비효율적일 수 있다. 본 논문에서는 선택적 연산을 통해 질문 의도와 관련 비디오 콘텐츠를 정렬하는 불확실성 기반, 질문 적응형 키프레임 선택 파이프라인인 ReQuest를 제안한다. ReQuest는 (i) MLLM이 생성한 감독 신호로부터 지식 증류된 경량 질문 인식 선택기, (ii) 길이 적응 기준으로 모델이 불확실할 때만 추가 추론을 유발하는 재사고 라우팅(Re-thinking Routing), (iii) 질문 난이도에 따라 간격을 조정하며 시간적으로 다양한 프레임을 선택하는 불확실성 기반 적응형 비최대 억제(non-maximum suppression)를 통합한다. 플러그 앤 플레이 방식으로서 ReQuest는 기반 MLLM을 수정하거나 미세조정하지 않고도 장형 비디오 QA 성능을 향상시킨다. Video-MME, MLVU, LongVideoBench에서의 실험 결과, 경쟁력 있는 연산 비용으로 일관된 정확도 향상을 보여주며, 특히 중간 및 긴 비디오 구간에서 두드러진 성능 개선을 달성하였다.
비전-언어-액션(VLA) 모델은 엔드투엔드 자율주행을 위한 유망한 패러다임으로 부상하고 있다. 그러나 기존 VLA의 학습은 언어적 추론을 강조하는 텍스트 중심의 시각적 질의응답 및 사고의 연쇄(Chain-of-Thought) 추론 데이터에 크게 의존하며, 행동 기반 계획 수립 능력이 부족하다. 그 결과, 학습된 표현은 의미론적 지식을 포착하지만 신뢰할 수 있는 경로 예측에 필수적인 공간적 의존성이 결여되어 있다. 우리는 VLA 모델에게 무엇을 보고 어디를 볼지를 명시적으로 가르치는 프레임워크인 DriveTeach-VLA를 제안한다. 주행 인식 비전 증류(Driving-aware Vision Distillation, DVD)는 비전 인코더에 주행 특화 지각 사전 지식을 주입하고, 2D 경로 유도 프롬프트(2D Trajectory-Guided Prompts, 2D-TGP)는 실현 가능한 주행 경로에 정렬된 공간적 조건화를 제공한다. 이 두 요소는 함께 비전 유도 학습 파이프라인을 구성한다: 무엇을 볼 것인가(DVD 사전학습) - 어디를 볼 것인가(TGP 유도 SFT) - 어떻게 행동할 것인가(TGP 유도 GRPO). DriveTeach-VLA는 NAVSIM 및 nuScenes에서 최첨단 성능을 달성한다. 코드는 https://github.com/ShivaTeam/DriveTeach-VLA 에서 확인할 수 있다.
V-JEPA(비디오 결합 임베딩 예측 아키텍처)를 자율주행에 적용하여 대규모 주행 비디오로 ViT 인코더를 사전학습하고, 시뮬레이터 생성 멀티모달 궤적을 인간 궤적과 함께 증류하는 제안 중심 계획기를 결합한 Drive-JEPA 프레임워크를 제안한다. NAVSIM v1에서 93.7 PDMS, v2에서 87.8 EPDMS를 달성하며 새로운 최고 성능을 기록했고, 인지 없는 설정에서도 기존 방법 대비 PDMS 3점 향상을 보였다.