심층 학습 모델은 수십억 개의 후보 화합물 중에서 맞춤형 특성을 가진 분자의 발견을 용이하게 합니다. 그러나 최첨단 모델을 개발하고 배포하는 계산 부하는 지속적으로 증가하여 확장성을 제한합니다. 대부분의 대규모 모델은 본질적으로 단일 모달(unimodal)이며, 상호 보완적인 분자 데이터 모달리티를 활용할 잠재력을 간과합니다. 이러한 단점을 해결하기 위해, 본 논문은 표현을 활용한 화학적 추론 및 탐험을 위한 그래프-언어 정렬(GLACIER) 모델을 소개합니다. 이는 분자 그래프, SMILES 문자열, 물리화학적 디스크립터를 통합하여 풍부한 분자 임베딩(embedding)을 학습하는 스튜던트-티처 프레임워크입니다. 우리의 프레임워크는 세 단계로 구성됩니다: (1) 100,000개의 약물 유사 분자에 대해 세 개의 스튜던트 인코더를 사전학습(pre-training)합니다: 분자 그래프용 메시지 전달 신경망, SMILES 문자열용 트랜스포머 기반 인코더, 물리화학적 디스크립터용 다층 퍼셉트론입니다. (2) 새로운 핀슬러 기하학 인식 모듈을 사용하여 이러한 스튜던트 모달리티를 융합하며, (3) 대조 학습(contrastive learning)을 통해 MiniMol 및 MolFormer를 포함한 대규모 티처 모델로부터 상호 보완적인 지식을 단일 경량화 모델로 증류(distillation)합니다. 우리는 GLACIER가 복잡한 분자 특성 예측 작업에서 높은 예측 성능과 계산 효율성을 제공하는 견고한 프레임워크임을 입증합니다. 우리의 코드는 https://github.com/eemokey/glacier에서 공개적으로 제공됩니다.
최근 파운데이션 모델의 발전은 다단계 추론과 도구 사용을 수반하는 에이전트적 행동으로 전환하고 있다. 그러나 오픈소스 연구는 대체로 텍스트 중심 설정에 집중하여, 장기 지평 멀티모달 과제는 충분히 탐구되지 않은 상태로 남아 있다. 이 격차는 지속적인 시간적 이해와 반복적 상호작용을 요구하는 비디오 과제에서 분명히 드러난다. 본 논문은 Multimodal Contextual Reasoning(MCR)을 통해 이러한 역량을 강화하는 프레임워크인 InternVideo3를 제시한다. MCR은 관찰, 지시, 추론, 도구 행동, 메모리를 포함하는 공유되고 진화하는 컨텍스트 위에서 이해를 폐루프(closed-loop) 과정으로 다룬다. 이는 장영상 이해를 증거 축적과 검증으로 규정한다. 효율성을 확보하기 위해, KV-cache 상태를 압축하면서도 전체 토큰 스트림을 유지하는 토큰 보존 재매개변수화인 Multimodal Multi-head Latent Attention(M^2LA)을 도입한다. 단계적 학습에는 지속적 사전학습, 단기에서 장기로 이어지는 지도 미세조정, 규칙 기반 강화학습, 온-정책 지식 증류가 포함된다. 실험 결과 InternVideo3는 Video-MME, MLVU, EgoSchema 등 벤치마크에서 강력한 성능을 달성한다. 또한 검색 도구를 갖춘 비디오 에이전트로 모델을 구현하여, 견고한 증거 그라운딩 행동을 입증한다. 결과는 효율적인 컨텍스트 처리와 폐루프 추론이 오픈 멀티모달 모델을 장기 지평의 시각적 그라운딩 에이전시로 적응시키는 데 핵심적임을 시사한다.
지식 증류(KD)와 mixup은 클래스 경계에서 평활성을 유도하는 데 효과적임이 입증되었다. KD는 확률 분포에 내재된 클래스 간 관계를 포착하고, mixup은 입력의 볼록 결합을 통해 이를 강제한다. 그러나 이 둘의 상호작용, 특히 mixup이 학생 모델 학습 중에만 적용될 때는 여전히 잘 이해되지 않는다. 이 설정에서 교사 모델은 학습 중 한 번도 보지 못했던 주변(vicinal) 분포에서 추출된 입력에 대해 질의되는데, 이는 지식 전이에 미치는 영향이 아직 특성화되지 않은 통제된 불일치이다. 우리는 이 불일치가 교사의 감독 신호가 클래스 간 구조보다는 분포적 혼란에 의해 지배되게 함을 보인다. 그럼에도 학생 모델은 교사를 단순히 모방하는 것에 그치지 않는다. 학생은 교사가 갖추지 못한 구조적 성질인 주변 영역에서의 더 큰 선형성을 독립적으로 획득하며, 다크 지식 전이를 넘어선다. mixup을 함께 사용하는 KD는 용량이 다른 교사 모델들을 사용한 CIFAR와 ImageNet 전반에 걸쳐, 기준선 대비 학생 모델의 정확도를 일관되게 향상시키고 과신을 한 자릿수 줄인다. 중요하게도, 교정(calibration)은 정확도 전이와 독립적으로 교사에서 학생으로 전파되며, temperature scaling은 주변 학습 하에서 더 두드러지게 되는 측정 가능한 정확도-교정 트레이드오프를 조절한다. 이 결과들은 mixup 증류를 표준 KD의 저하된 버전이 아니라, 판별 성능, 불확실성 추정, 표현 기하를 동시에 형성하는 더 풍부한 전이 채널로 재구성한다.
사전학습된 비디오 생성기는 창발적 과제 해결 능력을 보이는 유망한 시각적 월드 모델이지만, 상세한 텍스트 설명에 의존한다는 점이 계획 및 의사결정에 직접 활용하는 것을 제한한다. 기존 접근법은 이러한 추론을 언어 모델 또는 비전-언어 모델에 위임하거나, 과제 실행 비디오와 짝을 이룬 지도 미세조정에 의존하는데, 이는 수집 비용이 크고 확장하기 어렵다. 우리는 자기 증류(self-distillation)와 강화학습을 결합하여 이러한 모델에서 과제 해결 능력을 이끌어내는 확장 가능한 프레임워크를 제안한다. 라벨 없는 장면 이미지가 주어지면, 비전-언어 모델이 후보 과제와 상세한 단계별 해결책을 생성한다. 이 해결책은 사전학습된 비디오 확산 모델인 Demonstrator를 조건화하며, 우리는 그 행동을 이미지와 짧은 과제 프롬프트만으로 조건화되는 Executor로 증류한다. 이는 큐레이션된 과제-비디오 지도 없이 캡션 기반 생성에서 지시 조건 과제 해결로 실행 지식을 전이한다. 우리는 VLM 피드백으로부터의 강화학습으로 Executor를 더 개선하며, 샘플링된 비디오가 과제를 만족하는지 판단하는 것과 해결책을 생성하는 것 사이의 비대칭을 활용한다. 우리가 제안한 WorldTasks-Benchmark와 DreamGen 로봇 벤치마크에서의 실험은, Executor가 VLM 기반 평가 프로토콜 하에서 Demonstrator를 능가하며 로봇 과제로 경쟁력 있게 전이됨을 보여준다.
우리는 장영상을 신경 지식 표현(Neural Knowledge Representation, NKR)으로 취급하는 새로운 장영상 이해 패러다임을 제안한다. NKR은 영상 콘텐츠를 토큰 스트림이나 사전 구성된 데이터베이스가 아닌, VLM 백본에 부착된 네트워크 가중치의 개별적이고 소규모인 부분으로 표현한다. NKR 가중치는 영상의 의미적 콘텐츠를 캡슐화하도록 최적화되며, 이는 새로운 에이전틱 지식 증류(Agentic Knowledge Distillation, AKD) 과정을 통해 이루어진다. 이 과정에서 에이전트가 밀집된 설명과 질의응답 쌍을 자동으로 합성하여 영상의 지식을 NKR로 증류한다. AKD는 포괄적인 일회성 인코딩 단계로 기능하는 한편, 그 결과로 생성된 NKR은 영상을 휴대 가능하고 재사용 가능한 자산으로 변환한다. 추론 시 경량 NKR이 고정된 비전-언어 모델(Vision-Language Model, VLM)에 장착되어, 원본 영상을 다시 로드하거나 재인코딩하지 않고도 직접적인 쿼리 기반 이해를 가능하게 한다. 이 접근법은 영상 길이와 추론 비용을 분리하여 다중 턴 영상 이해에 높은 상각 효율을 제공한다. LVBench 벤치마크에서의 실험 결과, 우리 방법은 최첨단 접근법과 비교할 만한 성능을 달성하면서 종단간 지연 시간을 두 자릿수 이상 줄였으며, 대화형 장영상 이해의 새로운 가능성을 열어준다.
다중 턴 이미지 편집은 반복적 디자인에 필수적이지만, 현재 모델들은 연속된 편집 단계에서 정체성 드리프트(identity drift)와 오류 누적 문제를 겪는 경우가 많다. 기존 연구는 일관성 유지를 위해 비디오 사전 지식(video priors)을 활용하지만, 양방향 어텐션에 대한 의존성은 인터랙티브 편집의 인과적·순차적 특성과 근본적으로 맞지 않는다. 본 논문에서는 고해상도 장기 다중 턴 편집을 위해 특별히 설계된 최초의 자기회귀(AR) 확산 기반 프레임워크인 AnchorEdit를 제안한다. AnchorEdit는 세 단계 학습 커리큘럼을 통해 비디오 사전 지식과 인과적 추론 간의 간극을 해소한다: 정체성 보존 단일 턴 사전학습, 노출 바이어스 완화를 위한 새로운 자기 롤아웃 전략을 적용한 인과적 AR 강제 미세조정, 그리고 효율적인 4단계 생성을 위한 일관성 증류. 추론 시에는 초기 피사체 정체성을 고정하고 확장된 편집 궤적에 걸쳐 안정적인 외삽(extrapolation)을 보장하기 위한 메모리 메커니즘을 도입한다. 성능 평가를 위해 장기 안정성을 집중적으로 테스트하도록 설계된 새로운 고해상도 다중 턴 편집 벤치마크를 제공한다. 광범위한 실험을 통해 AnchorEdit가 최신 기술 수준의 결과를 달성하며, 10회 이상의 상호작용 라운드에서도 뛰어난 피사체 충실도와 지시 따르기(instruction following) 능력을 유지함을 입증한다.
CLIP과 같은 비전-언어 모델은 오픈 어휘 객체 검출(object detection)을 위해 풍부한 의미적 사전(semantic priors)을 제공할 수 있습니다. 그러나 텍스트와 시각 지식을 검출 아키텍처에 공동으로 통합하는 것은 여전히 어려운 과제입니다. 본 논문에서는 CLIP의 비전-언어 지식을 더 효과적인 활용(exploitation)을 통해 DINO를 강화한 오픈 어휘 검출기인 VL-DINO를 제안합니다. 구체적으로, 쿼리 기반 양성 샘플 구성(QPSC) 모듈을 먼저 개발하여 추가적인 고품질 양성 샘플을 구성합니다. 이는 기본 DINO 프레임워크가 이기종 데이터 소스 간의 혼합 학습(training)을 더 잘 수용하도록 하면서 더 많은 비전-언어 정렬(alignment) 신호를 제공하여, 학습 과정에서 더 풍부한 텍스트 지식을 통합할 수 있게 합니다. 이어 비전 시맨틱 인코더(VSE) 모듈을 도입하여 CLIP 시각 지식을 백본에서 추출된 특징으로 증류(distill)하고, 후속 인코더 정제를 위한 융합 특징을 생성합니다. 융합 특징을 기반으로 객체 영역 시맨틱 정렬(ORSA) 모듈은 객체 중심 영역 특징을 추출하고 이를 해당 텍스트 임베딩과 정렬하여 텍스트 단서를 추가로 통합합니다. 제로샷(zero-shot) 설정에서 VL-DINO-T와 VL-DINO-L은 각각 LVIS 벤치마크에서 36.3과 38.1 AP를 달성하여 기존의 고급 방법들을 일관되게 능가합니다. 광범위한 실험을 통해 제안된 설계의 효과와 경쟁력 있는 성능을 입증합니다.
긴 입력 시퀀스는 대규모 언어 모델(LLM)에서 문서 이해와 다단계 추론의 핵심이지만, 어텐션의 이차적 비용으로 인해 추론이 메모리 집약적이고 느려집니다. 컨텍스트 증류는 문맥 정보를 모델 파라미터로 압축하여 이 문제를 완화하며, Doc-to-LoRA와 같은 최근 연구는 문서별로 하나의 LoRA 어댑터를 생성하는 단일 순전파로 컨텍스트 증류를 상각합니다. 그러나 모든 쿼리에 대해 단일 통합 어댑터를 생성하는 것은 무관한 쿼리 간섭, 제한된 구성적 재현율, 그리고 장문 문서 추론에 대한 낮은 확장성을 초래합니다. 이러한 문제를 해결하기 위해 우리는 각 문서를 의미적으로 유형화된 지식 원자로 분해하는 구성적 파라메트릭 메모리 프레임워크인 Doc-to-Atom (Doc2Atom)을 제안합니다. 각 원자는 독립적인 마이크로 LoRA 어댑터와 출처 검색 키로 컴파일됩니다. 추론 시 경량 쿼리 라우터는 관련 원자만 선택하여 쿼리 특화 어댑터로 조립한 다음, 이를 동결된 기본 모델에 주입합니다. 전체 시스템은 다목적 증류 프레임워크를 통해 엔드 투 엔드로 학습됩니다. 6가지 다양한 QA 벤치마크에 대한 실험에서 Doc2Atom은 문서 내면화의 메모리 비용을 줄이면서 Doc-to-LoRA 기준선을 능가하는 것으로 나타났습니다.
자기회귀(AR) 언어 모델의 순차적 디코딩 비효율을 해결하기 위해 단일 순전파로 다음 K개 토큰을 공동 생성하는 K-Forcing 방법론을 제안한다. 이 방법은 기존 AR 모델을 지식 증류하여 배치 서빙 환경에서 최대 3.5배의 속도 향상을 달성하면서도 품질 저하를 최소화했다.
소형 언어 모델(SLM)의 다국어 성능 저하 문제를 해결하기 위해 온라인 시퀀스 수준 신호와 토큰 수준 신호를 결합하고 교차 언어 버벌라이저를 활용하는 DuDi 프레임워크를 소개한다. SEA-HELM 벤치마크에서 수행된 실험 결과, DuDi는 다양한 설정에서 기존 증류 기법보다 일관되게 우수한 성능을 달성했다.
텍스트 의미와 목표 감정이 충돌할 때 품질이 저하되는 문제를 해결하기 위해, 텍스트 감정과 명시적 음성 감정 간의 불일치 정도에 기반한 동적 스케일을 적용한 Cross-modal Consistency Guided Classifier-Free Guidance (CCG-CFG) 방법을 제안한다. CosyVoice2 모델에 하드 샘플 마이닝을 통한 지식 증류를 적용한 결과, 감정 인식 정확도와 주관적 점수에서 기존 모델들보다 우수한 성능을 달성했다.
경량 멀티모달 대규모 언어 모델(MLLM) 기반의 멀티 에이전트 협업 프레임워크를 통해 지식 증류와 테스트 타임 적응(TTA)을 적용한 사회적 지능 추론 방법을 제안한다. 롱테일 이벤트를 명시적 텍스트로 변환하여 처리하고 적은 양의 학습 데이터로도 최첨단(SOTA) 성능을 달성했다.
멀티모달 대규모 언어 모델(Multimodal Large Language Models)의 등장으로 음성 토크나이저로서의 신경망 오디오 코덱의 인기가 급증했습니다. 의미론적 및 음향적 분리(semantic and acoustic disentanglement)를 갖춘 새로운 코덱 아키텍처가 등장했습니다. 코덱 모델에 의미 정보를 도입하는 주요 접근 방식은 두 가지가 있습니다. 하나는 SSL(자기지도 학습) 표현에서 의미 정보를 증류하여 첫 번째 RVQ 층에 넣는 것이고, 다른 하나는 의미 및 음향 특징에 대해 별도의 스트림을 유지하는 것입니다. 우리는 두 가지 패러다임을 결합한 통합 아키텍처인 HybridCodec을 제안합니다. 이는 의미 및 음향 분기를 별도로 사용하면서 SSL 표현을 의미 스트림으로 증류합니다. 이 설계는 추론(inference) 과정에서 SSL 모델을 요구하지 않으면서도 강력한 분리를 보장합니다. HybridCodec은 도메인 내 테스트 셋에서 우수한 의미적 특화(RVQ-1)를 보이고 경쟁력 있는 재구성(RVQ-all) 성능을 보여줍니다. 우리는 도메인 외(out-of-domain) 및 제로샷 교차 언어(zero-shot cross-lingual) 설정에서의 견고함을 입증했으며, 기존 이중 스트림 모델 대비 3배의 속도 향상을 달성했습니다.
우리는 자기회귀 모델(ARLM)을 디퓨전 언어 모델(DLM)로 변환하는 것을 연구합니다. 처음부터 사전 학습하는 대신, 기존 연구는 ARLM의 인과적 어텐션(causal attention)을 양방향 어텐션(bidirectional attention)으로 대체한 다음 DLM 목적 함수(objective)를 사용하여 결과 모델을 학습합니다. 그러나 이러한 접근 방식들은 두 가지 분포 변이(distribution shift)를 초래합니다. 첫째, 다음 토큰 예측(next-token prediction) 목적에서 DLM 목적으로 전환하는 것은 학습 과정에서 ARLM이 습득한 지식을 잃을 수 있습니다. 둘째, 표준 DLM은 학습-추론 불일치(train-inference mismatch) 문제를 겪는데, 이는 학습 손실이 신뢰도 기반 디코딩(confidence-based decoding)에 의해 생성된 추론 시점의 궤적(trajectories)이 아닌 무작위로 마스킹된 시퀀스에서 정의되기 때문입니다. 이러한 두 가지 과제를 해결하기 위해, 우리는 ARLM에서 DLM으로의 변환을 위해 온-정책 증류(On-Policy Distillation, OPD)가 사용되는 온-정책 디퓨전 언어 모델(On-Policy Diffusion Language Model, OPDLM)을 제안합니다. 구체적으로, OPDLM은 셀프-OPD(self-OPD)를 통해 학습되는데, 여기서 학생(student)인 양방향 어텐션을 가진 ARLM은 자신만의 궤적을 생성하고, 교사(teacher)인 원본 동결된 ARLM은 이 궤적에 대한 타겟 로짓(target logits)을 제공함으로써 지식을 증류합니다. 온-정책 방식으로 직접 학습함으로써 OPDLM은 DLM의 학습-추론 불일치를 제거하고, 원본 모델로부터의 증류는 ARLM으로부터의 지식 보존을 향상시킵니다. 실험 결과는 OPDLM이 다양한 작업에서 강력한 성능을 유지하면서 15배에서 7,000배 더 적은 학습 토큰을 필요로 함을 보여줍니다. OPDLM은 DLM 사전 학습의 과도한 비용을 피하고, DLM 변환을 ARLM 사후 학습(post-training)의 한 형태로 자리매김합니다.
추론 모델은 급속도로 발전했으나, 검증 가능한 보상에 의한 강화학습(RLVR)이라는 지배적인 방식은 놀랍게도 매우 제한적입니다. 즉, 많은 응답을 샘플링하고 최종 답변의 정답 여부를 나타내는 단일 비트로 각 응답에 보상을 부여하는 방식입니다. 그러나 많은 설정에서는 실행 추적, 도구 출력, 전문가 수정, 모델 자체 평가 등 풍부한 피드백이 제공됩니다. 본 연구에서는 고전적인 모방 학습 알고리즘인 DAgger의 분포형(distributional) 변형을 통해 이러한 피드백을 활용하는 방법을 연구합니다. 여기서 학습자는 현재 정책이 방문한 상태들에 대한 전문가 분포(expert distribution)에 지역적으로 접근할 수 있습니다. 이를 통해 블랙박스 전문가를 활용할 수 있는 간단한 순방향 교차 엔트로피(forward cross-entropy) 목적 함수가 도출되며, 해당 함수의 시퀀스 수준 그래디언트(gradient)는 미래의 전문가-학생 간 불일치를 이전 결정들로 전파하여 풍부한 신용 할당(credit assignment)을 수행합니다. 우리는 역방향 KL(reverse KL)이나 Jensen-Shannon(JS) divergence에 기반한 자기 증류(self-distillation) 목적 함수를 사용하는 기존 강화학습 방식이 단조적 정책 개선을 보장하지 못함을 보여줍니다. 전문가가 더 높은 보상을 받는 경우에도, 해당 방식의 업데이트는 더 나쁜 행동에 대한 확률을 증가시킬 수 있기 때문입니다. 반면, 순방향 교차 엔트로피는 단조적 정책 개선을 보장하며 regret에 대한 이론적 보장도 제공함을 입증합니다. 또한, 제안하는 목적 함수가 교사 가중 성공 가능도(teacher-weighted likelihood of success)의 하한을 최적화함을 통해 Pass@N 성능을 향상시킴을 보여줍니다. 실험 결과, 우리의 접근 방식인 DistIL은 과학적 추론, 코딩, 난해한 수학 문제 해결 등 다양한 도메인에서 RLVR 및 자기 증류 베이스라인을 포함한 강화학습 방식보다 우수한 성능을 보였습니다.
비지도 계속 학습(UCL)은 신경망이 레이블이나 과거 데이터에 대한 접근 없이 순차적 작업을 학습할 수 있도록 하는 것을 목표로 합니다. 이 설정에서의 주요 도전 과제는 치명적 망각으로, 모델이 새로운 작업을 학습할 때 이전에 학습한 작업을 잊어버리는 현상입니다. 학습과 기억 유지를 안내하는 레이블이 부족하기 때문에 이러한 도전 과제는 UCL에서 더욱 심화됩니다. 지식 증류 및 리플레이 버퍼와 같은 기존의 완화 전략은 종종 메모리 및 프라이버시 우려를 야기합니다. 더욱이, 현재의 UCL 방법들은 클러스터링 특화 목적을 대부분 간과합니다. 이러한 격차를 해소하기 위해, 우리는 비지도 계속 클러스터링(UCC)을 소개하고 계속 클러스터링을 위한 순방향-역방향 지식 증류(FBCC)를 제안합니다. FBCC는 클러스터링 프로젝터와 가벼운 작업별 학생 모델을 갖춘 계속 학습 교사 네트워크를 사용합니다. 이중 단계 순방향-역방향 증류 과정을 통해, 교사는 과거 데이터를 저장하지 않고 이전에 발견된 클러스터 구조를 보존하면서 새로운 클러스터를 학습합니다. FBCC는 UCC에 대한 선구적인 접근법을 나타내며, 순차적 작업 전반에 걸쳐 향상된 클러스터링 성능을 보여줍니다. 4개의 벤치마크 데이터셋에 대한 실험은 FBCC가 치명적 망각을 크게 줄이면서 클러스터링 정확도 면에서 기존 계속 학습 기준선을 일관되게 능가함을 입증합니다.
최첨단 텍스트-음악 생성 시스템들은 대규모 독점 데이터셋과 산업 규모의 연산 자원에 의존하여, 아키텍처의 기여도를 자원 우위와 분리해내는 것이 불가능합니다. 우리는 파이프라인 전반에 걸쳐 오디오-캡션 정렬 점수를 직접적인 지도 신호로 활용하는 점수 인지 학습(Score-Aware Training)을 제안합니다. 저점수 세그먼트를 폐기하는 대신, 우리는 이들을 고노이즈 학습 영역으로 라우팅하는 CLAP 조건부 Beta 노이즈 타임스텝 스케줄을 통해 재활용하여 효과적인 암묵적 정규화(implicit regularization) 역할을 하게 합니다. 보완적으로, 세그먼트 수준 필터링은 가장 정렬되지 않은 예제를 제거하고, 2단계 캡션 절차는 장황한 학습 캡션과 간결한 추론 프롬프트 간의 분포 격차를 해소합니다. REPA 보조 손실은 추가 데이터 없이 사전학습된 CLAP 및 MuQ 인코더로부터 구조화된 의미론적 지식을 추가로 전이합니다. ICME 2026 ATTM 그랜드 챌린지 효율성 트랙에 제출된 우리의 450M 매개변수 FluxAudio 기반 시스템은 객관적 평가에서 두 트랙 모두 2위를 차지했으며, 최종 MOS 평가에서 효율성 트랙 3위를 기록했습니다.
온-정책 지식 증류(OPD)는 대규모 언어 모델(LLM)의 추론을 향상시키는 데 점점 더 많이 사용되고 있지만, 그 학습 역학은 여전히 잘 이해되지 않고 있다. 우리는 매개변수 공간에서 OPD 업데이트의 궤적을 특성화하고, 이를 지도 미세조정(SFT) 및 검증 가능한 보상을 갖는 강화학습(RLVR)과 비교한다. 매개변수 공간 진단 도구 모음은 OPD를 일관되게 완화된 비주성분 영역에 위치시킨다: SFT와 비교할 때 그 업데이트는 더 적은 가중치에 영향을 미치고 주성분 방향을 더 강하게 피하는 반면, RLVR과 비교할 때는 덜 엄격하게 제약된다. 이 정적 국소화를 넘어, OPD는 부분공간 고정(subspace locking)을 보인다: 누적 업데이트가 빠르게 좁은 저차원 채널에 진입한다. 학습 초기에 형성된 업데이트 부분공간에 학습을 제한하면 OPD 성능은 유지되지만 SFT는 크게 저하되며, 이는 고정된 부분공간이 OPD에 기능적으로 충분함을 나타낸다. 대조 실험은 또한 업데이트 토큰을 희소화하고 롤아웃 생성을 오프-정책으로 전환하는 것이 랭크(rank) 역학을 보존하는 반면, OPD 목적함수를 RLVR과 혼합하면 이를 바꾼다는 것을 보여준다. 전체적으로, 이러한 결과는 OPD가 SFT와 RLVR 사이의 단순한 중간 지점이 아니라, 매개변수 공간에서 고유한 업데이트 기하학을 유발한다는 것을 시사한다.
다중 인스턴스 학습(MIL)은 밀집 주석 없이 슬라이드 수준 예측을 가능하게 하므로 디지털 병리학에서 전체 슬라이드 이미지(WSI) 분석을 위한 표준 패러다임이 되었습니다. 기존 MIL 방법들은 일반적으로 고해상도 패치의 전수 추출 및 인코딩에 의존합니다. 그러나 이 방식은 실제 임상 환경에서 두 가지 치명적인 제한 사항이 있습니다. 저배율에서 전역적 시각적 단서를 포착하는 데 어려움을 겪으며, 슬라이드당 고해상도 패치의 수가 방대하여 상당한 계산 오버헤드를 유발합니다. 이러한 제한 사항을 해결하기 위해, 우리는 고해상도 지식을 저해상도 표현으로 전이하는 효율적인 저해상도 다중 인스턴스 학습(LRMIL) 프레임워크를 제안합니다. LRMIL은 2단계 증류 전략을 채택합니다. 첫째, 패치 수준 교차 해상도 증류는 저해상도 패치 임베딩을 고해상도 표현과 정렬합니다. 둘째, 슬라이드 수준 지식 증류는 슬라이드 수준 감독과 교사 지도 모두 하에서 저해상도 학생 MIL 모델을 학습시킵니다. 추론 시 LRMIL은 저해상도 패치에서만 작동하여 데이터 전처리 및 계산 비용을 크게 줄입니다. 여러 WSI 벤치마크에 대한 광범위한 실험을 통해 LRMIL이 더 효율적인 추론을 달성하면서도 최첨단 MIL 방법들을 일관되게 능가함을 입증했습니다. 이러한 결과는 LRMIL이 임상 병리학의 WSI 분석을 위한 실용적이고 확장 가능한 솔루션임을 강조합니다.
우리는 연속적인 힘 입력을 통해 물리적 그라운딩(physically grounded) 제어를 가능하게 하는 스트리밍 비디오 생성 프레임워크인 StreamForce를 소개한다. 서로 다른 힘 유형마다 별도의 모델을 학습하거나, 고정된 힘을 가정하거나, 비인과적 처리에 의존하는 기존 비디오 모델들과 달리, StreamForce는 국소적·전역적이며 시간에 따라 변하는 힘 모두에 즉각적이고 일관되게 반응하는 인과적이고 통합된 모델이다. 이를 위해, 제어 신호로서 통합된 힘 표현을 설계하고, 힘 제어 가능한 비디오 생성을 위한 지식 증류(distillation) 파이프라인을 개발한다. 우리 모델은 자기회귀(autoregressive) 효율성과 힘 반응성을 결합하여, 안정적인 광도적(photometric) 및 동적 사실성을 유지한다. StreamForce는 단일 GPU에서 최대 16.6 FPS로 실행되며, 힘 준수와 모션 사실성 모두에서 최첨단 성능을 달성한다. 프로젝트 웹사이트: https://neu-vi.github.io/StreamForce/