악천후 이미지 복원은 비, 연무, 눈 및 기타 기상 유발 인공물로 인해 열화된 이미지를 복구하여 야외 비전 시스템의 강건성을 향상시키는 것을 목표로 합니다. 기존의 통합 복원 모델들은 합성 지도(synthetic supervision)에 의존하고 의미적 제약이 불충분하여 실제 환경 장면에 대한 일반화 성능이 제한적입니다. 본 논문에서는 두 가지 문제를 모두 해결하는 새로운 학생-교사(student-teacher) 준지도 프레임워크를 제안합니다. 구체적으로, 대조 학습을 위한 정보성 높은 음성 샘플(negative samples)로서 실패한 교사 예측을 보존하는 신뢰할 수 없는 데이터베이스를 도입하는 한편, 신뢰할 수 있는 데이터베이스에는 고품질 교사 예측을 양성 샘플(positive samples)로 저장합니다. 신뢰할 수 있는 의사 실측값(pseudo-ground truths)과 신뢰할 수 없는 교사 출력을 함께 활용함으로써, 제안된 프레임워크는 흔히 발생하는 실패를 피하면서 바람직한 복원 특성을 강화하도록 학습합니다. 나아가 계산 비용이 큰 텍스트 기반 지도를 효율적이며 자연스럽게 정렬된 의미적 사전 정보로 대체하는 위상 스펙트럼 기반 의미적 제약을 제안합니다. 또한 열화의 심각도에 따라 열화된 입력과 교사의 의사 실측값 간의 지도를 동적으로 균형 맞추는 적응형 위상 일관성 손실(adaptive phase consistency loss)을 설계했습니다. 실제 벤치마크에 대한 광범위한 실험을 통해 제안하는 방법이 실제 악천후 조건에 대해 더 강력한 일반화 성능을 보이는 동시에, 복원 품질과 지각적 충실도 측면에서 기존의 최고 수준(SOTA) 접근법들을 일관되게 능가함을 입증합니다.
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
오픈 멀티모달 추론 모델은 대규모 추론 지도(supervision)를 통해 발전해 왔으나, 고르지 않은 데이터 품질, 비효율적인 지도 구성, 불균형한 난이도, 교차 도메인 간섭으로 인해 신뢰할 수 있는 사후 학습(post-training)은 여전히 까다로운 과제로 남아 있습니다. 본 연구에서는 세 가지 구성 요소로 이루어진 공개 데이터 사후 학습 레시피인 MMVistaReason(MVR)을 소개합니다: (1) 구조화된 추론 대 시각적 지각 및 공간적 그라운딩(spatial grounding)을 강조하며 상호 보완적인 분석적(Analytical) 및 실세계(Real-World) 추론 그룹 전반에 걸친 더 넓은 역량 커버리지, (2) 단계별 정제 및 주석을 통해 이종 공개 데이터를 표준화하고 난이도 인식 계단식 교사 증류와 정답 가능도(likelihood) 기반 궤적 선택을 결합하여 MVR-SFT-528K를 구축하며 스케일별 프론티어 필터링을 적용해 MVR-RL-63K를 구축하는 효율적인 SFT 및 강화학습(RL) 데이터 구성, (3) 상호 보완적인 RL 전문가를 학습(training)시키고 다중 교사 온-정책 증류(MOPD)를 통해 역량을 통합하는 '전문화 후 통합(specialize-then-integrate)' 학습. 본 연구의 분석을 통해 지도 난이도, 궤적 품질, 모델(model) 용량 간의 용량 의존적 상호작용이 밝혀졌습니다. 즉, 더 작은 학생 모델은 엄선된 지도 신호로부터 더 많은 이점을 얻는 반면, 더 큰 학생 모델은 궤적 변동 및 혼합 도메인 간섭에 강건합니다. 혼합 도메인 RL은 벤치마크 수준의 부정적 전이(negative transfer)를 유발하는 반면, MOPD는 일관된 역량 통합을 제공하며 선호되는 KL 방향은 모델 스케일에 따라 달라집니다. 15개 멀티모달 벤치마크 전반에서 MVR-4B는 평균 점수 72.8을 달성하여 MMFineReason 대비 약 70% 적은 샘플을 사용하면서도 Qwen3.5-9B(Instruct) 및 MMFineReason-8B를 능가했습니다. 9B로 스케일링하면 평균 74.4로 향상되어 Qwen3.5-35B-A3B(Instruct)를 능가합니다. 전반적으로 MMVistaReason은 체계적인 공개 데이터 구축과 용량 인식 사후 학습이 신뢰할 수 있는 멀티모달 추론을 향한 실용적이고 확장 가능한 경로를 제공함을 입증합니다.
정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.
장시간 비디오 질의응답(long-video question answering)은 비주얼 토큰의 높은 비용과 현재 VLM(비전-언어 모델)의 고정된 컨텍스트 폭(context width)으로 인해 제약을 받는다. 장시간 비디오에 대한 질문은 넓은 시간적 범위(temporal coverage)를 요구할 수 있지만, 정답은 흔히 소수의 압축된 순간들(moments)에 의해서만 뒷받침된다. 이러한 순간들을 효율적으로 찾아내기 위해, 우리는 토큰 예산이 제한된 비디오 증거 인덱싱(token-budgeted Video Evidence Indexing, VEI)을 제안한다: 조밀한 저해상도 비디오 프리뷰(Video Preview)가 주어지면, 모델은 최종 추론을 위한 압축된 고해상도 증거 집합(Evidence Set)을 구성한다. 우리는 VEI를 질문과 관련된 순간을 찾는 증거 위치 추정(evidence localization)과, 제한된 고해상도 프레임 예산을 어디에 사용할지 결정하는 예산 계획(budget planning)을 함께 해결해야 하는 정책(policy)으로 다룬다. 우리는 이 아이디어를 하나의 추론 파이프라인으로 구현한다: 비디오 프리뷰는 저비용의 전역적 커버리지를 제공하고, 비디오 증거 인덱싱은 증거 집합을 구성하며, 답변 생성(Answer Generation)은 최종 VQA를 위해 두 입력을 결합한다. 프레임 수준의 감독(supervision)이 부재한 문제를 해결하기 위해, 우리는 특권적 자기 증류(privileged self-distillation)를 채택하는데, 여기서는 정답을 아는 교사(answer-aware teacher)가 학생이 생성한 인덱싱 흔적(indexing trace)에 대해 일반적인 테스트 시점(test-time) 정책을 지도한다. 우리는 프레임당 1, 6, 12, 24개의 비주얼 토큰을 가진 프리뷰를 탐구하며, 이 네 가지 해상도를 모두 지원하는 단일 정책을 학습시킨다. 실험 결과, 비디오 증거 인덱싱은 제한된 비주얼 예산 하에서 정확도를 향상시키며, 자기 증류는 QA 정확도와 시간적 증거 위치 추정(temporal evidence localization) 모두를 추가로 향상시킨다.
추측 디코딩(Speculative decoding)은 대규모 언어 모델(LLM)에서 상당한 무손실 속도 향상을 달성했으나, 경량 드래프터(drafter)가 풍부한 멀티모달 정보를 활용하는 데 어려움을 겪는 대형 비전-언어 모델(LVLM)에서는 여전히 효과가 떨어집니다. 또 다른 한계점은 표준적인 지식 증류(distillation)가 드래프터 자체의 제안 이후 타깃 예측이 어떻게 변화하는지 모델링하지 않고, 오직 원래의 학습(training) 궤적을 따라서만 드래프터를 지도한다는 점입니다. 드래프팅이 이 궤적에서 벗어남에 따라 드래프터와 타깃 간의 불일치가 점차 커져 이후 단계에서의 수락률이 감소할 수 있습니다. 본 논문에서는 이 두 가지 한계를 모두 해결하기 위해 HAWK를 제안합니다. HAWK는 표현 유사도를 활용하여 정보량이 많은 타깃 레이어를 선택하고 이들의 은닉 상태(hidden state)를 결합하는 방법을 학습합니다. 시각 정보의 경우, 원시 시각 토큰(raw visual token) 대신 타깃 모델에서 압축된 시각 은닉 상태를 드래프터에 직접 제공함으로써 얕은 드래프터가 시각 정보를 더 쉽게 활용할 수 있도록 합니다. 또한 HAWK는 드래프터가 자체 제안 이후 타깃 예측이 어떻게 변하는지 포착하도록 학습시켜, 다단계 드래프팅 과정에서 타깃 모델과의 일치도를 향상시킵니다. 10개의 멀티모달 벤치마크에 걸쳐 SmolVLM-256M을 평가한 결과, HAWK는 그리디 디코딩(greedy decoding) 환경에서 EAGLE-3 대비 평균 수락 길이를 3.32에서 4.08로, 속도 향상을 2.19배에서 2.60배로 끌어올렸으며, 샘플링 환경에서는 2.89에서 3.41로, 1.92배에서 2.19배로 향상시켰습니다.
다중모달 온-정책 증류(Multimodal On-Policy Distillation, OPD)는 언어 모델의 강력한 추론 능력을 보존하면서 시각적 그라운딩(visual grounding)을 향상시키는 것을 목표로 합니다. 최근의 다중 교사(multi-teacher) 접근 방식은 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 교사를 결합하여 상호 보완적인 지도 신호를 제공합니다. 그러나 VLM의 전체 예측 분포를 직접 사용하면 시각적 그라운딩 신호가 VLM 자체의 언어 사전 분포와 뒤얽혀, 그라운딩 정보가 독립적으로 전이되지 못하게 됩니다. 반대로 시각적 지도 신호의 강도를 높이면 인지 성능은 향상될 수 있으나, 시각적 증거를 과도하게 강조하여 언어 추론 성능을 저하시킬 수 있습니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 언어 전문가(Language Expert)와 그라운딩 전문가(Grounding expert)의 요인들을 하나의 교사 분포로 선택 결합하는 다중모달 OPD 방법인 LEGO-OPD를 제안합니다. 일반화된 베이시안(Bayesian) 정식화 아래에서, 언어 전문가는 후보 토큰에 대한 사전 분포(prior)를 제공하고, 그라운딩 전문가는 전체 예측 분포를 전이하는 대신 이 사전 분포를 업데이트하는 시각적 가능도(likelihood)를 제공합니다. 이러한 요인화된 결합을 통해 언어 추론과 시각적 그라운딩을 독립적으로 제어할 수 있습니다. 나아가 각 디코딩 접두 문맥(prefix)에서 시각적 가능도가 언어 사전 분포를 얼마나 강하게 업데이트해야 하는지 결정하는 적응형 보정(adaptive calibration)을 도입합니다. 구체적으로 LEGO-OPD는 그라운딩 전문가의 이미지 유도 예측 변화(prediction shift)를 접두 문맥 의존적인 기준점으로 활용하여, 시각적 지도의 부족과 과도함을 모두 방지합니다. Qwen3 모델을 사용한 실험 결과, LEGO-OPD는 다중모달 및 텍스트 전용 추론 태스크 모두에서 평가된 단일 및 다중 교사 OPD 베이스라인보다 일관되게 우수한 성능을 보였습니다. 또한 초기 학생(student) 모델의 텍스트 전용 추론 능력을 보존하면서 시각적 인지 능력을 향상시킵니다.
온라인 학습(online training)은 컴퓨터 사용 에이전트(computer-use agent, CUA)가 실행 가능한 환경과의 상호작용을 통해 성능을 개선할 수 있게 한다. 그러나 기존 방법들은 주로 희소한 결과 보상(sparse outcome reward)에 의존하여 중간 행동에 대한 감독(supervision)을 제공하지 못한다. 온-정책 자기 증류(on-policy self-distillation, OPSD)는 특권적 재점수화(privileged rescoring)를 통해 토큰 수준의 학습 신호를 제공하지만, 이를 CUA 온라인 학습에 직접 적용하면 두 가지 문제가 발생한다: 고정된 가이던스(guidance)가 학생(student) 모델의 현재 상태와 어긋날 수 있다는 점, 그리고 가이던스로 인해 유발된 확률 변화가 단계 수준의 정확성(step-level correctness)과 충돌할 수 있다는 점이다. 본 논문에서는 실행된 GUI 전환으로부터의 실시간 피드백을 정책 학습을 위한 가이던스로 변환하는 CUA용 온라인 자기 증류 방법인 ComputerSD를 소개한다. 미세조정된(fine-tuned) GUI 분석기는 각 행동 이후 가이던스와 단계 수준의 가치 점수(value score)를 생성한다; 가이던스는 특권적 맥락(privileged context)을 제공하고, 점수는 그 결과로 생성되는 OPSD 신호를 조절한다. ComputerSD는 완전히 비동기적인(asynchronous) 학습 프레임워크에서 토큰 수준의 OPSD와 궤적(trajectory) 수준의 GRPO를 공동으로 최적화한다. OSWorld-Verified에서 ComputerSD는 범용 Qwen3-VL-8B-Thinking과 특화된 EvoCUA-8B 백본에서 각각 결과 전용(outcome-only) GRPO보다 1.9%p 및 4.1%p 더 높은 성능을 보인다. 분포 외(out-of-distribution) 환경에서의 평가는 ComputerSD의 일반화 가능성(generalizability)을 추가로 뒷받침한다. 이러한 결과는 CUA를 위한 온라인 자기 증류를 통한 실시간 피드백 학습의 효과를 입증한다.
교차 모달 지식 증류(cross-modal knowledge distillation)는 교사 모달리티에서 학생 모달리티로 지식을 전달한다. 기존의 특징 수준 정렬(feature-level alignment) 방법들은 일반적으로 교사와 학생의 특징이 구조적으로 정렬 가능한 표현 공간에 존재한다고 가정한다. 그러나 2D 공간 시각 그리드와 1D 시간 오디오 시퀀스처럼 교차 모달 특징이 구조적으로 이종이며 명확한 단위 수준 대응 관계가 결여된 경우에는 이러한 가정이 성립하지 않아 특징 수준 정렬의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 본 논문에서는 벡터 양자화(vector-quantized) 코드북을 통해 구조적으로 이종인 특징 공간 전반에서 효과적인 지식 전달을 가능하게 하는 교차 모달 증류 프레임워크를 제안한다. 구체적으로, 교사 특징은 본래의 특징 구조와 무관하게 일련의 벡터 형태 코드로 추상화되며, 선택된 코드는 학생 학습을 위한 개념 수준의 앵커(anchor) 역할을 한다. 코드 선택은 태스크 관련성과 학생 호환성 모두에 의해 유도되므로, 학생은 직접적인 단위 수준 특징 정렬 없이도 전달 가능한 교사 지식을 습득할 수 있다. 다양한 교차 모달 증류 시나리오에 걸친 실험 결과는 분류(classification) 및 시맨틱 분할(semantic segmentation) 태스크에서 제안된 프레임워크의 효과를 입증한다.
해상도 간 지식 증류(cross-resolution knowledge distillation)는 고배율 표현을 전이하여 저배율 전슬라이드(whole-slide) 분석을 개선하는 것을 목표로 하지만, 유용한 전이가 일어나는 조건은 여전히 불분명합니다. 본 연구에서는 교사 접근성(teacher access), 표현 손실(representation loss), 모델 과잉(model excess)에 대한 분해 기반 분석을 개발하고, 세 가지 질문을 제시합니다: (a) 교사 타깃이 과제에 도움이 되는지, (b) 저배율 학생 모델이 이를 예측할 수 있는지, (c) 슬라이드 모델이 해당 예측으로부터 이점을 얻는지 여부입니다. 우리는 분류, 병기 분류(grading), 생존 예측에 걸친 10개의 병리 코호트에 대한 통제된 실험을 통해 이를 조사합니다. 주요 비교 결과, 고유한 저배율 특징과 함께 교사의 영역별 평균을 제공하는 것은 10개 코호트 전체에서 다운스트림 성능을 향상시켰습니다. 직접 예측은 잔차 예측보다 낮은 재구성 오차를 달성하지만, 예측된 특징은 교사 타깃의 변동성을 과소표현합니다. 더욱이 재구성이 더 잘된다고 해서 다운스트림 점수가 일관되게 향상되지는 않으며, 예측된 교사 특징이 일정하게 유지되는 경우에도 고유 특징을 유지하는지 여부에 따라 성능이 달라집니다. 종합적으로 이러한 발견은 교사 표현을 재구성하는 것과 그것의 다운스트림 가치를 실현하는 것 사이의 간극을 드러냅니다. 이는 해상도 간 전이의 척도로서 재구성 오차의 충분성에 의문을 제기하며, 전이가 어디에서 실패하는지 검토하기 위한 진단 프레임워크를 제공합니다. 향후 증류 설계는 학생 모델이 무엇을 예측할 수 있는지와 슬라이드 모델이 이러한 예측을 어떻게 활용하는지를 모두 고려해야 합니다.
시각 토큰 감축(visual token reduction)은 멀티모달 대규모 언어 모델(MLLM)을 가속화하는 효과적인 방법이지만, 극도로 낮은 토큰 예산에서는 성능이 급격히 저하됩니다. 기존 연구에서는 시각 토큰 선택과 축소된 시각 입력에 대한 학습 기반 적응을 모두 탐구해 왔습니다. 본 연구는 한 걸음 더 나아가, 극도로 압축된 MLLM이 자신이 생성한 결과로 유도된 상태로부터 어떻게 학습해야 하는지 질문을 던집니다. 이러한 설정은 자연스럽게 온-정책(on-policy) 자기 증류를 요구합니다. 즉, 극도로 압축된 모델이 자신의 생성으로 유도된 상태에서 지도학습을 받는 동시에, 전체 토큰을 사용하는 동일 모델이 정보가 풍부한 교사 역할을 수행하는 것입니다. 이러한 통찰을 바탕으로, 극단적인 시각 토큰 감축을 위한 학습 프레임워크인 LT-OPD를 제안합니다. 학생 모델은 극히 일부의 시각 토큰만으로 응답을 롤아웃하고, 동일한 MLLM의 동결된 전체 토큰 복사본이 이러한 학생 생성 궤적을 따라 분포적 지도를 제공합니다. 시각적 단서가 심각하게 제한될 때 온-정책 학습을 안정화하기 위해, 학습 중 토큰 예산을 점진적으로 줄여나가는 예산 수준 커리큘럼(budget-level curriculum)도 도입합니다. Qwen3.5-4B 기반의 9개 벤치마크 전반에서 LT-OPD는 5%의 시각 토큰 보존 조건에서 평균 보존 성능을 68.6%에서 82.3%로 끌어올려 동일한 예산의 무학습 기반, 학습 기반 및 강화학습(RL) 베이스라인을 능가했습니다. 이러한 성능 향상은 Qwen3.5-9B, GLM-4.6V-9B, LLaVA-OV-1.5-4B에도 일관되게 전이됩니다. 또한 LT-OPD는 추가적인 추론 오버헤드 없이 KV-캐시 사용량을 85.2%, 프리필(prefill) FLOPs를 85.4% 줄임으로써, 온-정책 학습이 극단적인 시각 토큰 감축으로 손실된 능력을 실질적으로 회복할 수 있음을 입증합니다.
수중 3D 복원(3D reconstruction)은 희소 뷰(sparse view) 조건에서 여전히 어려운 과제로 남아 있는데, 산란(scattering), 흡수(absorption), 부유 입자(suspended particles)가 특징(feature) 대응관계와 기하 추정(geometric estimation)을 저해하기 때문이다. 피드포워드(feed-forward) 기하 파운데이션 모델(foundation model)이 전통적인 Structure-from-Motion의 대안을 제공하지만, 이를 수중 환경에 직접 적용하면 노이즈가 많고 단편화된 기하가 생성되어 이후의 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)을 제한한다. 우리는 피드포워드 기하를 수중 저하(degradation)에 적응시키고 그 밀집 기하학적 사전(dense geometric prior)을 뷰 합성(view synthesis)에 활용하는 희소 뷰 수중 복원 프레임워크를 제안한다. 첫째, LoRA와 교사-학생(teacher-student) 증류(distillation)를 사용하여 VGGT를 적응시키며, 합성적으로 저하된 수중 이미지로 학습(training)하면서도 깨끗한 기하학적 감독(supervision)을 보존한다. 이를 통해 사전학습(pretrained)된 예측 헤드(prediction head)를 수정하지 않고도 수중 외관 왜곡(appearance distortion)에 대한 견고성(robustness)을 향상시킨다. 둘째, 예측된 밀집 기하는 중간 단계의 3DGS 표현을 초기화하여 기하 기반(geometry-guided) 가상 뷰(pseudo-view)를 생성하며, 이는 뷰 중첩(view overlap)을 늘리고 이후의 RUSplatting 최적화를 위한 특징(feature) 트랙을 강화한다. SeaThru-NeRF와 Submerged3D에서의 실험은 희소 뷰 조건에서 복원 품질이 향상됨을 보여준다. SeaThru-NeRF에서 본 방법은 RUSplatting의 PSNR을 24.37에서 27.11 dB로 향상시키고 SSIM을 0.7611에서 0.8634로 증가시키며, Submerged3D에서는 최고의 평균 PSNR과 LPIPS를 달성한다. 이러한 결과는 견고한 희소 뷰 수중 3D 복원을 위한 도메인 적응(domain-adapted) 기하학적 사전의 잠재력을 보여준다.
트랜스포머는 AI의 핵심 동력이지만, 긴 시퀀스를 처리할 때 계산 비용이 감당하기 어려워진다. 우리는 관측 히스토리를 저장·유지하는 것이 특히 비실용적인 장기 호라이즌 스트리밍 비전 및 로보틱스 응용을 대상으로 한다. 순환 트랜스포머는 고정 크기 메모리를 유지하여 이 한계를 해결하지만, 전체 관측 히스토리에 대해 동작하는 트랜스포머에 비해 성능이 뒤처진다. 우리는 이 격차가 아키텍처 한계에서 비롯된 것이 아니라, 이러한 모델들이 과거 정보를 압축하는 방식을 학습하는 과정의 차이에서 비롯된다고 주장한다. 관측 히스토리에 접근할 수 없는 순환 모델은 매 단계에서 메모리에 무엇을 유지할지 명시적으로 결정해야 하며, 이는 훨씬 더 어려운 학습 문제이다. 본 연구에서는 고전적인 전체 히스토리 트랜스포머의 압축 전략을 순환 변형으로 전이하는 증류(distillation) 접근법을 제안한다. 이를 위해 관측 히스토리를 고정 크기 병목 표현으로 명시적으로 압축하는 교사 모델을 설계하고, 이 병목 표현으로 학생의 메모리를 직접 감독하여 두 압축 메커니즘을 효과적으로 정렬한다. 이 접근법이 Mem-RPE 과제에서 선형 시간 복잡도를 갖는 순환 잠재 로봇 메모리를 학습할 수 있게 하면서도 전체 히스토리 트랜스포머와의 성능 격차를 크게 줄인다는 것을 보인다. 또한 스트리밍 시각적 질의응답(VQA)에서도 동일한 원리를 검증하며, 메모리 증류 덕분에 순환 예측이 개선되는 것을 관찰한다.
DINOv2와 같이 비전 트랜스포머(ViT) 백본을 사용하는 비전 파운데이션 모델(VFM)은 객체 인식 및 시맨틱 분할(semantic segmentation)과 같은 다운스트림 작업에 필수적인 요소가 되었다. 백본의 막대한 연산 요구량으로 인해 엣지 배포를 위해서는 더 작은 아키텍처로의 증류가 필요한 경우가 많다. 특징 기반 지식 증류(KD)는 흔히 교사-학생 간 격차(teacher-student gap) 문제를 겪는데, 이는 학생 모델이 제한된 용량으로 인해 교사의 복잡한 특징 맵을 모방하는 데 어려움을 겪기 때문이다. 이러한 병목을 완화하기 위해, 우리는 ViT 특징 기반 지식 증류를 위한 학습 커리큘럼인 Dyna-DINO: 적응형 표현 앵커링을 통한 효율적인 ViT 증류를 제안한다. 교사의 중간 특징 맵을 점진적으로 난이도가 높아지는 일련의 목표로 활용함으로써, 우리의 커리큘럼은 학생이 더 높은 수준의 추상화를 다루기 전에 기초적인 표현을 구축할 수 있도록 한다. 실험 결과는 이 패러다임이 다양한 학생 모델 크기와 데이터셋 규모에 걸쳐 적응적 난이도 선택을 통해 수렴을 크게 가속화함을 보여준다. 우리의 커리큘럼을 적용하면, Dyna-DINO로 증류된 ViT-S는 ImageNet-100에서 90.1%의 정확도를 달성하며, 이는 기준선 대비 +12.24%의 향상이다. ImageNet-1K에서 Dyna-DINO는 Oxford 및 Paris 데이터셋의 인스턴스 검색(instance retrieval) 작업에서 각각 +3.9% 및 +6.09%의 향상을, 시맨틱 분할 작업에서 +1.93%의 향상을 달성했으며, 분류 작업에서도 의미 있는 성능 향상을 보였다. 또한, 이 커리큘럼은 학습 초기 단계에서 교사 추론에 조기 종료(early-stopping)를 적용함으로써 ImageNet-100에서 학습 FLOPs의 25.1%와 학습 시간의 21%를 절감할 수 있게 한다. 코드는 https://github.com/KevinZ0217/Dyna-DINO 에서 확인할 수 있다.
생성형 이미지 모델이 빠르게 발전함에 따라 생성된 이미지와 실제 이미지 간의 지각적 격차가 계속 줄어들고 있으며, 이로 인해 AI 생성 이미지 탐지가 점점 더 어려워지고 있습니다. 기존의 많은 방법은 주파수 영역(frequency-domain) 단서를 탐지에 활용하며, 이는 대개 주파수 영역 아티팩트 또는 고주파 불일치로 설명됩니다. 그러나 구체적이고 반복적으로 나타나는 스펙트럼 규칙성에 대한 이해와 특성 분석은 여전히 미흡한 상태입니다. 본 논문에서는 실제 이미지와 생성된 이미지의 1차원 방사형 로그 파워 스펙트럼(one-dimensional radial log-power spectra)을 체계적으로 분석합니다. 그 결과, 생성된 이미지가 전체 스펙트럼이나 고주파수 대역 전반에서 반드시 더 높거나 낮은 에너지를 나타내는 것은 아님을 발견했습니다. 대신 이들의 스펙트럼은 멱법칙 감쇠(power-law decay)에서 벗어나 초고주파 꼬리 부분에서 변칙적인 상승을 보입니다. 저자들은 이 현상을 '스펙트럼 꼬리 상승(spectral tail uplift)'이라고 명명합니다. 나아가 이 현상이 학습된 생성 모델 내부의 비선형 고조파 누적(nonlinear harmonic accumulation)에 기인함을 밝히며, 이것이 다양한 생성 아키텍처 전반에서 구조적 단서로 작용할 수 있음을 제시합니다. 이러한 관찰을 바탕으로 일반화 가능한 AI 생성 이미지 탐지를 위한 주파수 영역 보조 지도 프레임워크인 STAL(Spectral Tail Auxiliary Learning)을 제안합니다. STAL은 학습(training) 중에 꼬리 인식 주파수 교사(tail-aware frequency teacher)로부터 공간 탐지기로 스펙트럼 꼬리 단서를 전이하며, 추론(inference) 시점에는 모든 주파수 영역 모듈을 제거합니다. 결과적으로 STAL은 추론 오버헤드를 발생시키지 않습니다. 9개의 공개 데이터셋에 대한 광범위한 실험을 통해 STAL이 다양한 생성기, 데이터 분포 및 실제 환경 시나리오 전반에서 뛰어난 일반화 성능과 안정성을 달성함을 입증합니다.
확산 모델은 독립적인 데이터-노이즈 결합을 유발하는 정보성이 낮은 무기억(memoryless) 전방 과정으로 인해, 종종 매우 굽은 궤적과 잡음이 많은 스코어 목표를 산출한다. 우리는 두 단계를 통해 고차원에서 최적 궤적을 복원하는 생성 모델링 프레임워크인 Adjoint Schrödinger Bridge Matching(ASBM)을 제안한다. 첫째, Schrödinger Bridge(SB) 전방 동역학을 결합 구성 문제로 보고, 데이터를 에너지로 정의된 사전분포로 수송하는 data-to-energy 샘플링 관점으로 학습한다. 이어서, 유도된 최적 결합으로 감독되는 간단한 매칭 손실로 후방 생성 동역학을 학습한다. 비-무기억(non-memoryless) 체제에서 동작함으로써, ASBM은 현저히 더 곧고 효율적인 샘플링 경로를 생성한다. 선행 연구와 비교해 ASBM은 현저히 향상된 안정성과 효율로 고차원 데이터에 스케일링된다. 이미지 생성에 대한 광범위한 실험은 ASBM이 더 적은 샘플링 단계로 충실도를 향상시킴을 보인다. 우리는 나아가 1-step 생성기로의 지식 증류를 통해 제안한 최적 궤적의 효과를 보여준다.
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
OpenAI의 Whisper와 같이 대규모 사전학습 트랜스포머(transformer) 기반 자동 음성 인식(ASR) 모델을 가지치기(pruning)하는 기법은 디코더를 가지치기하여 종단간(end-to-end) 전사 속도를 크게 향상시킬 수 있어 널리 채택되어 왔습니다. 일례로 {\tt whisper-large-v3-turbo} 변형 모델은 디코더를 32개 층(layer)에서 4개 층으로 줄였으며, Distill-Whisper 또한 유사하게 디코더를 단 2개 층으로 축소했습니다. 인코더 크기를 줄이기 위한 시도에도 일부 관심이 집중되었으나, 널리 채택된 방식은 없었습니다. 이는 압축된 모델을 활용하기 위해 별도의 커스텀 추론(inference) 구현이 필요했기 때문일 수 있습니다. 본 연구에서는 한 층씩 제외(leave-one-layer-out)했을 때의 단어 오류율(WER) 변화를 기준으로 인코더 층의 순위를 매기는 접근법을 제시합니다. 변화를 가장 적게 유발하는 6개 층을 제거하며, 이는 인코더 스택의 $18.5\%$에 해당합니다. 가지치기된 모델은 단순히 층 수가 적어진 더 얕은 인코더이므로 별도의 커스텀 추론 코드가 필요하지 않습니다. 또한 레이블이 없는 단일 언어 음성 데이터를 사용한 지식 증류(distillation)를 수행하여, 제로샷(zero-shot) 층 가지치기로 인해 발생한 성능 저하를 복원합니다. 4개 언어에 대한 평균 WER은 기준선(baseline) $18.2\%$에서 시작하여 제로샷 $21.9\%$ 대비 지식 증류 후 $20.1\%$로 개선됩니다. 본 연구는 모든 코드(https://github.com/rasgaard/whisper-encoder-layer-prune)와 가지치기된 모델(https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned)을 공개합니다.
능동적 의료 대화(proactive medical dialogue)는 에이전트가 불완전한 환자 정보를 바탕으로 무엇을 질문할지 결정해야 한다. 기존의 정보 탐색 접근법은 일반적으로 진단 불확실성을 가장 많이 줄이는 질문을 우선시하지만, 이 기준은 의료 진단의 중요한 특성, 즉 진단 오류마다 그 결과가 크게 다를 수 있다는 점을 간과한다. 따라서 가장 많은 정보를 주는 질문이 후속 의사결정에 가장 가치 있는 질문과 다를 수 있다. 우리는 각 후보 질문을 심각도를 반영한 최종 위험(severity-aware terminal risk)의 기대 감소량으로 평가하는, 결과 인식 질문 지도(question-supervision) 목적 함수인 Expected-Severity-Risk(ESR)를 제안한다. 질문은 그에 대한 답변이 관측되기 전에 선택되어야 하므로, ESR은 학습 데이터만으로 계산한 모집단 통계를 사용하여 가능한 답변에 대해 주변화(marginalize)한다. 이렇게 얻은 순위는 접두 문맥(prefix)만 사용하는 언어 정책으로 증류되므로, 배포 시에는 교사 측 위험 계산이 필요하지 않다. DDxPlus에서 짝을 맞춘 세 개의 Qwen3-4B 학습 시드에 걸쳐, ESR은 평균 고위험 진단 누락률을 0.0645에서 0.0455로 낮추고(29.5% 상대 감소), 평균 진단 정확도를 0.9123에서 0.9320으로 향상시켰으며, 이때 대화당 추가로 필요한 질문은 0.14개에 불과했다. 고정 예산 분석에서는 질문 수를 통제하더라도 이러한 차이가 유지됨을 보였고, 짝을 맞춘 기대 0/1 위험(expected-0/1-risk) 학생 모델 대조군은 비대칭적 심각도 가중치의 기여를 추가로 분리해 보여준다. 이러한 결과는 능동적 의료 대화를 불확실성 감소에서 벗어나 결과 인식 증거 수집(consequence-aware evidence acquisition)으로 발전시켜야 한다는 주장을 뒷받침한다.