PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19364v1cs.LG

사회-의미적 격차 해소: 클라우드 대규모 언어 모델(LLM) 추론에서 엣지 기반 프롬프트 압축을 위한 SPSD

Closing the Social-Semantic Gap: SPSD for Edge-Based Prompt Compression in Cloud LLM Inference

대규모 언어 모델(LLM) 추론의 프리필(prefill) 단계는 클라우드 규모의 에너지 비용 증가에 기여하는 요인이 되고 있습니다. 많은 소비자 지원 및 대화형 프롬프트에는 사회적 비계(social scaffolding)가 포함되어 있습니다. 여기에는 인간 의사소통에서는 중요하지만 기계 추론에는 낮은 한계 정보만을 전달하는 정중함 표시, 사과의 서문, 반복, 유대감 형성 언어 등이 포함됩니다. 우리는 이러한 불일치를 사회-의미적 격차(Social-Semantic Gap)라고 부릅니다. 우리는 SPSD(Sentiment Preserving Semantic Distillation)를 제안합니다. 이는 클라우드에 배포된 LLM으로 전송하기 전에 4비트 양자화된 소형 언어 모델(SLM)을 사용하여 사용자 프롬프트를 압축하는 엣지 기반 파이프라인입니다. Gemma-2-2B-Instruct (Q4_K_M)를 SLM으로, Llama-3.1-8B-Instruct를 클라우드 평가 모델로 사용하여 248개 프롬프트 말뭉치(corpus)에 대해 평가한 결과, 증류된 호출(distilled call)당 평균 99.9개의 입력 토큰이 절감되었으며, 146개의 증류된 호출 모두에서 양의 절감 효과가 나타났습니다. 121쌍에 대한 블라인드 LLM 심사(LLM-as-judge) 점수로 평가된 응답 품질은 15점 루브릭(rubric)에서 사전 지정된 1점 마진(margin) 이내로 원본 경로(raw path)보다 열등하지 않은(non-inferior) 것으로 나타났습니다. 심사 결과 43% 무승부, 28% 증류 승, 29% 원본 승으로 집계되었습니다. 코사인 유사도는 혼재된 결과를 보였습니다: 평균 0.682, 중앙값 0.712이며, 쌍의 54.1%가 0.70 기준 임계값(reference threshold) 이상이었습니다. 안전에 민감한 도메인(safety-critical domains)은 규칙 기반 게이트(rule-based gates)를 통해 보수적으로 통과(passthrough)되도록 라우팅됩니다. 명시된 가정 하에 호출당 순 에너지 절감량은 70-270 uWh로 추정됩니다. SPSD는 온디바이스 프롬프트 증류(on-device prompt distillation)가 실용적인 비열등성 마진 내에서 응답 품질을 유지하면서 클라우드 LLM 입력 토큰 비용을 줄일 수 있음을 보여줍니다.

arXiv:2606.19363v1cs.LG

언제 신뢰하고, 어떻게 증류할 것인가: 경량화되고 강건한 과학 시계열 예측을 위한 다중 파운데이션 모델 가이드

When to Trust, How to Distill: Multi-Foundation Model Guidance for Lightweight, Robust Scientific Time Series Forecasting

물리 과학 분야에서 시계열 파운데이션 모델(TSFMs)의 배포는 중요한 상충 관계로 인해 제한받습니다. 이러한 모델들은 풍부하고 보편적인 시간적 역학을 인코딩하지만, 특정 과학 도메인에 제로샷(zero-shot)으로 적용될 때 심각한 분포 불일치를 겪으며, 연산 비용으로 인해 엣지 컴퓨팅 센서 네트워크에 배포를 제한합니다. 우리는 근본적인 과제를 해결합니다: 불일치하는 파운데이션 모델(FM)에서 잠재 구조적 지식을 추출하여 경량화되고 전문화된 예측 모델을 학습시키는 방법은 무엇인가요? 우리는 다중 교사 증류(multi-teacher distillation)를 두 가지 적응형 메커니즘을 갖는 인스턴스별 의사 결정 프로세스로 재정의하는 새로운 프레임워크인 게이티드 불확실성 인식 라우팅 증류(Guard)를 제안합니다: (1) 로컬 입력 통계를 기반으로 가장 관련성 높은 교사를 동적으로 선택하여 다양한 파운데이션 모델 간의 상호 보완성을 활용하는 컨텍스트 라우터(Contextual Router); (2) 교사의 확신이 도메인 현실과 달라질 때 증류 강도를 자동으로 감쇠시키는 "차단기(circuit-breaker)" 역할을 하는 불확실성 게이팅 온도 메커니즘. 우리는 제안한 경량화 프레임워크를 기상학, 생태계 탄소 플럭스, 토양 수분, 에너지 그리드 등 4가지 기후 중요 도메인에서 평가했습니다. 우리의 방법은 고정 가중치 다중 교사 증류 기준선(baseline)에 비해 RMSE를 유의미하게 감소시켰으며, 원본과 타겟 데이터 도메인 간의 분포 변화로 인해 최적이 아닌 제로샷 정확도를 보이는 경우에도 사전 학습된 FM(교사)로부터 지식을 성공적으로 증류했습니다. 우리는 이러한 도메인 불일치 교사들이 여전히 중요한 교정 수단이 될 수 있음을 입증했으며, 가장 어려운 인스턴스의 28.5%에서 전반적으로 우수한 FM보다 뛰어난 성능을 보였습니다. 궁극적으로 이는 자원이 제한된 엣지 배포(edge deployment)에 적합한 고정밀 과학 예측을 가능하게 합니다. 코드는 https://github.com/RupasreeDey/GUARD-KDD2026에서 확인할 수 있습니다.

arXiv:2606.19659v1cs.CL

SAGE-OPD: 멀티-턴 온-정책 증류를 위한 선택적 에이전트-안내 개입

SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation

온-정책 증류(OPD)는 학생 모델을 자신의 정책에 의해 생성된 궤적에서 학습시킴으로써 개선하며, 이는 에이전트 학습에서 노출 바이어스를 완화하는 유망한 접근 방식입니다. 그러나 대부분의 OPD 연구는 단일 턴 설정에 초점을 맞추고 있지만, 현실적인 대규모 언어 모델(LLM) 에이전트는 여러 턴에 걸쳐 환경과 상호작용합니다. 이러한 설정에서 초기 오류는 미래 관측을 변경하고 궤적 전체에 걸쳐 누적될 수 있으며, 표준 조밀 토큰 수준 OPD는 의미적으로 유효한 대안에 과도하게 페널티를 부여하거나, 반복되는 행동과 같은 국소적 퇴화를 강화하고, 분포 밖 이력에 대해 신뢰할 수 없는 교사 감독을 전파할 수 있어 취약해질 수 있습니다. 우리는 멀티-턴 OPD에 특별히 설계된 검증기 없는 선택적 개입 프레임워크인 SAGE-OPD를 제안합니다. 모든 턴에 걸쳐 교사 감독을 균일하게 적용하는 대신, SAGE-OPD는 먼저 환경 피드백을 관찰하고 교사 판단을 사용하여 각 학생 응답을 건너뛸지 아니면 개입할지 결정합니다. 누적 오류를 추가로 해결하기 위해, SAGE-OPD는 교사 신뢰도에 따라 토큰 수준 증류에 가중치를 부여하여 손상되었거나 모호한 이력에 대한 불확실한 교사 분포의 영향을 줄입니다. 마지막으로, SAGE-OPD는 선택적 턴 수준 가중치를 유지하면서 표준 OPD의 전체 손실 규모를 보존하기 위해 손실 정규화를 적용합니다. 에이전트 작업에 대한 실험에서 SAGE-OPD는 기준선(baselines)보다 일관되게 개선되었으며, 표준 OPD 대비 ALFWorld 보이지 않는(unseen) 성공률에서 최대 13.3%의 상대적 향상을 달성했습니다. 제거 연구(ablation studies)는 턴 수준 개입, 교사 신뢰도 가중치, 그리고 손실 정규화가 상호 보완적인 이점을 제공함을 추가로 보여줍니다. 우리의 결과는 효과적인 멀티-턴 OPD는 온-정책을 유지해야 하지만, 교사 감독은 개입이 필요하고 신뢰할 수 있는 턴에 선택적으로 할당되어야 함을 시사합니다.

arXiv:2605.16865v3cs.CL

MixSD: 지식 주입을 위한 혼합 문맥 자기 증류

MixSD: Mixed Contextual Self-Distillation for Knowledge Injection

지도 미세조정(SFT)은 언어 모델에 새로운 지식을 주입하는 데 널리 사용되지만, 추론 및 일반 도메인 성능과 같은 사전학습된 능력을 저하시키는 경우가 많습니다. 우리는 이러한 망각이 인간이나 외부 시스템의 미세조정 타겟이 모델의 자기회귀 분포와 달라서, 옵티마이저가 낮은 확률의 토큰 시퀀스를 모방하도록 강요하기 때문에 발생한다고 주장합니다. 이 문제를 해결하기 위해 우리는 분포 정렬 지식 주입을 위한 간단한 외부 교사 없는(external-teacher-free) 방법인 MixSD를 제안합니다. 고정된 타겟으로 학습하는 대신, MixSD는 기본 모델 자체의 두 조건부(conditional)에서 토큰을 혼합하여 동적으로 감독(supervision)을 구성합니다: 문맥에서 주입된 사실을 관찰하는 전문가 조건부와 모델의 원래 사전(prior)을 반영하는 순진한(naive) 조건부입니다. 결과적으로 생성된 감독 시퀀스는 기본 모델의 분포에 실질적으로 더 가까워지면서 사실적 학습 신호를 보존합니다. 우리는 통제된 환경에서 사실적 재현율과 산술 함수 습득을 연구하기 위해 구성한 두 개의 합성 말뭉치와, 개방형 도메인 사실적 질의응답 및 지식 편집을 위한 확립된 벤치마크에서 MixSD를 평가합니다. 여러 모델 규모와 설정에 걸쳐, MixSD는 SFT 및 온-정책(on-policy) 자기 증류 기준선과 비교하여 더 나은 암기-유지 트레이드오프를 일관되게 달성하며, 거의 완벽한 학습 정확도를 유지하면서 기본 모델의 제외된(held-out) 능력을 최대 100%까지 유지하는 반면, 표준 SFT는 1%만 유지합니다. 또한 MixSD는 기본 모델에서 실질적으로 더 낮은 NLL(음의 로그 우도) 감독 타겟을 생성하고, 피셔 민감(Fisher-sensitive) 매개변수 방향을 따르는 해로운 이동을 줄인다는 것을 보여줍니다. 이러한 결과는 감독을 모델의 고유 생성 분포와 정렬하는 것이 치명적 망각을 완화하는 지식 주입을 위한 간단하고 효과적인 원칙임을 시사합니다.

arXiv:2604.00626v4cs.LG

대규모 언어 모델을 위한 온-정책 지식 증류에 대한 조사

A Survey of On-Policy Distillation for Large Language Models

대규모 언어 모델(LLM)이 능력과 비용 면에서 계속 성장함에 따라, 최첨단 능력을 더 작고 배포 가능한 학생 모델로 이전하는 것은 중요한 공학적 문제가 되었으며, 지식 증류는 이러한 이전을 위한 여전히 일반적인 기법으로 남아 있습니다. 산업 파이프라인에서 지배적인 방식인 교사가 생성한 텍스트의 정적 모방은 작업이 길어지고 추론 집약적일수록 더 심각해지는 구조적 약점을 내포하고 있습니다. 학생 모델은 완벽한 교사 접두사로 학습되지만 추론 시에는 자체적으로 생성하기 때문에, 작은 오류가 회복하도록 학습된 적이 거의 없는 궤적으로 누적되는 경향이 있으며, 그 결과 발생하는 노출 바이어스는 시퀀스 길이의 제곱에 비례하여 증가하는 것으로 나타났습니다. 온-정책 지식 증류(On-Policy Distillation)는 교사가 학생 모델이 실제로 생성한 결과에 대해 피드백을 제공하도록 하여 이러한 관찰을 중심으로 학습 루프를 재구성하며, 이는 복합 항을 선형에 가깝게 줄이고 증류를 단일 패스 모방이 아닌 반복적인 수정 과정으로 재정의하는 것을 목표로 합니다. 이로 인해 발산 설계, 보상 기반 최적화, 셀프 플레이를 따라 문헌이 확장되었으나, 기여들은 지식 증류, RLHF(인간 피드백 강화학습), 모방 학습 커뮤니티에 걸쳐 분산되어 있어 통합적으로 다루어지지 않았습니다. 본 조사는 그러한 통합된 처리를 제공합니다. 우리는 OPD를 학생 샘플링 궤적에 대한 f-발산 최소화로 형식화하고, 세 가지 설계 축(무엇을 최적화할 것인가, 신호가 어디서 오는가, 실제로 학습을 안정화하는 방법)을 따라 분야를 체계화하며, 성공 조건, 반복되는 실패 모드, 그리고 OPD와 KL 제약 강화학습 간의 연결을 통합합니다. 마지막으로, 증류 스케일링 법칙, 불확실성 인식 피드백, 에이전트 수준 증류, 그리고 지식 증류와 강화학습 간의 증가하는 중복을 포함하여 이러한 종합에서 비롯된 미해결 문제들을 제시합니다.

arXiv:2603.16606v3cs.CL

Omnilingual SONAR: 대규모 다국어 텍스트와 음성을 잇는 교차 언어 및 교차 모달 문장 임베딩

Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech

교차 언어 문장 인코더는 일반적으로 수백 개의 언어만 다루며, 더 강력한 정렬(alignment)을 위해 다운스트림 품질을 희생하는 경우가 많아 그 채택이 제한됩니다. 본 논문에서는 텍스트, 음성, 코드, 수학 표현식을 단일 의미 공간에 기본적으로 임베딩(embedding)하면서, 고자원(high-resource)에서 극저자원(extremely low-resource) 언어에 이르기까지 수천 개 언어 규모에서 최첨단(SOTA) 다운스트림 성능을 제공하는 새로운 전언어(omnilingual), 교차 언어 및 교차 모달 문장 임베딩 모델 계열인 OmniSONAR를 소개합니다. 표현 붕괴(representation collapse) 없이 이 규모에 도달하기 위해 우리는 점진적 학습(progressive training)을 사용합니다. 먼저 대규모 언어 모델(LLM)로 초기화된 인코더-디코더를 사용하여 200개 언어에 대한 강력한 기초 공간을 학습하며, 여기에 토큰 수준 디코딩을 새로운 분할 소프트맥스(split-softmax) 대비 손실(contrastive loss) 및 합성 하드 네거티브(synthetic hard negatives)와 결합했습니다. 이 기초를 바탕으로 2단계 교사-학생 인코더 증류(distillation) 프레임워크를 통해 수천 개의 언어 변종으로 확장했습니다. 마지막으로, 177개의 구어(spoken) 언어를 이 공간에 매끄럽게 매핑함으로써 해당 공간의 교차 모달 확장성을 입증했습니다. OmniSONAR는 200개 언어 FLORES 데이터셋(dataset)에서 교차 언어 유사도 검색 오류를 절반으로 줄였으며, 1,560개 언어 BIBLE 벤치마크(benchmark)에서는 오류를 15분의 1 수준으로 감소시켰습니다. 또한 강력한 번역 성능을 발휘하여 다국어 벤치마크에서 NLLB-3B를 능가했고, 1,560개 언어에서 영어로의 BIBLE 번역에서는 이전 모델(훨씬 더 큰 LLM 포함)보다 15 chrF++ 포인트 더 높은 성과를 보였습니다. OmniSONAR는 MTEB 및 XLCoST에서도 우수한 성능을 보였습니다. 음성(speech) 분야에서 OmniSONAR는 유사도 검색 오류를 43% 감소시켰으며, 번역에 대해 제로샷(zero-shot)임에도 불구하고(ASR 데이터로만 학습됨) SeamlessM4T의 음성-텍스트 품질의 97%에 도달했습니다. 마지막으로, OmniSONAR 임베딩 시퀀스를 처리하는 영어 텍스트에 대해서만 인코더-디코더 LM인 Spectrum을 학습시킴으로써, 복잡한 다운스트림 작업에 대해 수천 개 언어와 음성으로의 고성능 전이(transfer)를 가능하게 했습니다.

arXiv:2508.04266v4cs.CL

ShoppingBench: LLM 기반 에이전트를 위한 실제 의도 기반 쇼핑 벤치마크

ShoppingBench: A Real-World Intent-Grounded Shopping Benchmark for LLM-based Agents

기존 전자상거래 벤치마크는 주로 제품 검색이나 구매와 같은 기본적인 사용자 의도에 초점을 맞춥니다. 그러나 실제 사용자는 바우처 적용, 예산 관리, 다중 제품 판매자 찾기와 같은 더 복잡한 목표를 추구하는 경우가 많습니다. 이러한 격차를 해소하기 위해, 우리는 점점 더 어려워지는 수준의 그라운딩된 의도를 포괄하도록 설계된 새로운 엔드투엔드 쇼핑 벤치마크인 ShoppingBench를 제안합니다. 구체적으로, 샘플링된 실제 제품에서 파생된 다양한 의도를 기반으로 사용자 지시사항을 시뮬레이션하는 확장 가능한 프레임워크를 제안합니다. 일관되고 신뢰할 수 있는 평가를 용이하게 하기 위해, 우리는 250만 개 이상의 실제 제품을 포함하는 대화형 시뮬레이션 환경인 대규모 쇼핑 샌드박스를 제공합니다. 실험 결과, 최신 언어 에이전트(예: GPT-4.1)조차도 우리의 벤치마크 작업에서 50% 미만의 절대 성공률을 기록하여, ShoppingBench가 제시하는 상당한 도전을 강조합니다. 또한, 우리는 궤적 증류 전략을 제안하고 합성 궤적에 대한 강화학습과 함께 지도 미세조정을 활용하여 대형 언어 에이전트의 능력을 소형 에이전트로 증류합니다. 그 결과, 우리가 학습시킨 에이전트는 GPT-4.1과 비교하여 경쟁력 있는 성능을 달성합니다.

arXiv:2606.20031v1cs.RO

로봇 모바일 이행 시스템에서 효율적인 경로 탐색을 위한 뉴로모픽 강화학습 프레임워크

A Neuromorphic Reinforcement Learning Framework for Efficient Pathfinding in Robotic Mobile Fulfillment Systems

동적인 환경 변화, 협소한 작업 공간, 엄격한 실시간 제약 조건으로 인해 로봇 모바일 이행 시스템(RMFS)에서의 경로 탐색은 기존 검색 기반 및 규칙 기반 방법들에게 어려운 문제입니다. 이러한 방법들은 일반적으로 높은 계산 복잡도와 긴 결정 지연 시간이라는 문제를 겪습니다. 강화학습(RL)이 강력한 대안으로 등장했지만, 자원이 제한된 하드웨어에서 학습된 정책을 극도의 에너지 효율성으로 배포하는 것은 여전히 해결되지 않은 과제입니다. 본 논문에서는 SDQN-RMFS를 제안합니다. 이는 고정밀(full-precision) 인공 신경망(ANN)에서 뉴로모픽 칩에 이르기까지 강화학습으로 학습된 정책을 높은 충실도로 배포하는 엔드투엔드 프레임워크입니다. 희소 이벤트에 의해 트리거되었을 때만 계산함으로써, 이 프레임워크는 초저전력 RMFS 경로 탐색을 실현합니다. 우리의 풀스택 파이프라인은 다음과 같이 작동합니다. ANN 정책은 먼저 유익한 궤적의 밀도를 높이기 위해 충돌 허용 전략을 통해 효율적으로 학습되고, 그 다음 하드 라벨 지식 증류 접근 방식을 통해 스파이킹 신경망(SNN)으로 변환됩니다. 이는 출력 분포 불일치를 효과적으로 해결하여, ANN-to-SNN 파이프라인 전반에서 정책 능력을 보존하는 동시에 추론 지연 시간을 크게 줄입니다. 하드웨어 실험 결과, 고성능 GPU 기준선(baseline)과 비교하여 최대 11,281배의 에너지 절약 효과와 거의 2배의 지연 시간 감소를 보여주었으며, 원래 학습된 정책과 대등한 결정 품질을 유지했습니다. 이러한 결과는 물리적 뉴로모픽 추론이 대규모 RMFS 운영을 위한 실용적이고 에너지 지속 가능한 경로임을 입증합니다.

arXiv:2606.19729v1cs.RO

VOiLA: POMDP 에이전트를 위한 학습된 디퓨전 모델을 활용한 벡터화된 온라인 계획

VOiLA: Vectorized Online Planning with Learned Diffusion Model for POMDP Agents

불확실성 하의 계획(Planning)은 자율 로봇에게 필수적인 능력입니다. 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)은 이러한 능력을 위한 강력한 프레임워크를 제공합니다. POMDP 기반 계획법은 상당히 발전했지만, 충실한 POMDP 모델을 확보하는 어려움으로 인해 실제 문제에의 적용이 종종 제한됩니다. 본 논문에서는 불확실성 하의 온라인 계획을 위해 작업 비의존적(task-agnostic) POMDP 모델을 학습하는 프레임워크인 VOiLA(Vectorized Online planning wIth Learned diffusion model for POMDP Agents)를 제안합니다. VOiLA는 조건부 디퓨전 모델을 사용하여 상태 전이(transition) 및 관측(observation) 샘플러를 학습하고, 파티클 기반 신뢰도(belief) 업데이트를 위해 관측 가능도(observation-likelihood) 모델을 학습합니다. 효율적인 온라인 계획을 가능하게 하기 위해, 디퓨전 샘플러는 압축된 피드포워드 생성기로 증류(distillation)되며, GPU 병렬화를 활용하도록 설계된 온라인 POMDP 계획기인 VOPP(Vectorized Online POMDP Planner)와 통합됩니다. 실험 결과, 이 증류 전략은 샘플링 비용을 최대 거의 3자릿수(orders of magnitude)까지 줄여주어, 학습된 생성형 POMDP 모델을 온라인 계획에 실용적으로 만들어줍니다. 세 가지 벤치마크 문제에 대한 VOiLA의 평가 결과, VOiLA는 학습 데이터의 10% 미만을 사용하면서도 Recurrent Soft Actor Critic과 동등하거나 더 우수한 성능을 달성하고, 보이지 않은 환경 구성(unseen environment configurations)에 훨씬 더 잘 일반화함을 보여줍니다. 실제 로봇 평가 결과, VOiLA는 시뮬레이션 데이터만을 사용하여 학습된 모델을 활용하며, 10번의 실행 모두에서 작업을 성공적으로 완수하는 정책을 생성함을 나타냅니다.

arXiv:2606.20559v1cs.CV

UNIEGO: 통합 자기중심적 비디오 표현 학습을 위한 프록시 중재자

UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

웨어러블 카메라의 좁은 시야로 인해 자기중심적 비디오 이해는 본질적으로 제한됩니다: 단일 시점, 단일 모달리티, 단일 모델로는 인간 행동의 완전한 풍부함을 포착할 수 없습니다. 우리는 진정으로 표현력 있는 자기중심적 표현은 시점, 모달리티, 파운데이션 모델 표현에 걸친 상호 보완적인 지식을 포함해야 하지만, 자기중심적 비디오만으로도 배포 가능해야 한다고 주장합니다. 이를 위해 우리는 UNIEGO라는 통합 자기중심적 인코더를 생성하는 계층적 다중 교사 증류 프레임워크를 소개합니다. 이 인코더는 자기중심-제3자 시점, RGB, 깊이, 스켈레톤 모달리티, 그리고 4개의 파운데이션 모델에 걸친 9개의 교사로 학습되었습니다. 호환되지 않는 아키텍처와 특징 기하학으로 인해 충돌하는 그라디언트를 유발하는 이질적인 교사로부터 직접 증류하는 대신, 우리의 프레임워크는 다양한 교사 지식을 동질적인 자기중심적 공간으로 변환하는 표현 특정 프록시 모델 층을 개재시킵니다. 그 다음 두 번째 증류 단계인 선택적 프록시 증류(SPD)는 각 학습 샘플에 대해 정확하고 확신 있는 프록시의 부분 집합을 적응적으로 선택하여, 신뢰할 수 있는 감독에서만 증류하고 오류 신호를 억제합니다. SPD는 프록시 파라미터의 학습된 볼록 결합으로 UNIEGO를 초기화하여 증류가 시작되기 전에 통합 모델을 손실 지형의 조건이 양호한 영역에 배치함으로써 더욱 안정화됩니다. UNIEGO는 세 가지 도전적인 자기중심-제3자 벤치마크에서 행동 인식, 비디오 검색, 행동 분할이라는 세 가지 자기중심적 비디오 이해 작업에 걸쳐 최첨단 성능을 달성했으며, 단순한 다중 교사 증류 기준 모델을 능가하여 구조화된 프록시 매개 지식 전이가 더 풍부하고 식별력 있는 자기중심적 표현을 생성함을 입증했습니다.

arXiv:2606.20303v1cs.CV

GEN-Guard: 배포 가능한 연합 수술 AI의 일반화 실패 교정

GEN-Guard: Correcting Generalization Failures for Deployable Federated Surgical AI

수술 비디오 AI에서의 연합 학습(FL)은 민감한 데이터를 공유하지 않고 협업적 모델 학습을 가능하게 합니다. 그러나 참여 병원의 검증 데이터만을 기반으로 "최상의" 전역 모델을 선택하는 표준 평가 관행은 최적이지 않은 배포 선택으로 이어질 수 있습니다. 우리는 이러한 중요한 실패 모드를 성능 누출(performance leakage)로 식별했으며, 여기서 선택된 모델은 내부 연합 데이터에 과적합되어 보이지 않는 기관에 대해 일반화하지 못합니다. 우리는 연합 수술 AI에서 일반화 실패를 감지하고 교정하는 실용적인 사후(post-hoc) 프레임워크인 GEN-Guard를 제안합니다. 이는 성능 누출을 방지하기 위해 격리된 클라이언트 분포에서 성능을 검증하는 클라이언트 차단 평가(Client-Blocked Evaluation, CBE)를 통한 일반화 감지와, 기관 간 견고성을 위한 적응형 특징(feature) 수준 교정을 학습하는 불일치 인식 증류(Disagreement-Aware Distillation, DAD)를 통한 일반화 교정을 통합합니다. 두 구성 요소는 모두 표준 FL 수렴(convergence) 후에 작동하며, 보이지 않는 환경에 대한 제로샷(zero-shot) 적응을 위한 견고한 지원을 제공합니다. 우리는 먼저 성능 누출의 심각성을 정량화하여, 표준 평가 하에서 모델 선택 실패(Model Selection Failures, MSFs)가 80%를 초과함을 관찰했습니다. GEN-Guard는 복강경 담낭 절제술의 수술 단계 인식과 대장 내시경 검사의 용종 분할이라는 두 가지 다기관 임상 챌린지에서 평가되었습니다. 두 데이터셋 모두에서 GEN-Guard는 이러한 실패를 일관되게 교정하여, 연합 내 F1 점수를 최대 2점, 보이지 않는 기관 성능을 최대 3점, 최악의 기관 성능을 3-9점 향상시켰습니다. 성능 누출은 연합 수술 AI에서 체계적이지만 이전에 간과되었던 위험을 나타냅니다. GEN-Guard는 이러한 실패를 감지하고 교정하는 실용적인 솔루션을 제공합니다. 기관 간 견고성과 제로샷 일반화를 향상시킴으로써, 실제 수술 배포를 위한 FL의 신뢰성을 강화합니다.

arXiv:2606.20130v1cs.CV

세밀한 GOOSE 2D 의미 분할을 위한 SAM3 자기 증류

SAM3 Self-Distillation for Fine-Grained GOOSE 2D Semantic Segmentation

우리는 ICRA 2026 GOOSE 2D 세밀 의미 분할 챌린지에서 4위를 기록한 참가 작품을 설명하며, 공식 1,815장 테스트 세트에서 복합 평균 Intersection-over-Union(mIoU) 69.73%를 달성했다. 우리 모델은 최근 시각 기초 모델(visual foundation model)인 Segment Anything Model 3(SAM3)의 이미지 인코더를 경량 디코더와 함께 적응시킨다. 이를 넘어, 우리는 두 가지 기법과 하나의 실증적 발견을 제시한다: (i) 우리 모델보다 성능이 더 좋은 클래스에서 정답 바운딩 박스로 프롬프트한 SAM3 자체를 교사로 재사용하는 자기 증류 방식; (ii) 모델 입력이 아닌 이미지를 재스케일함으로써 고정 입력 크기 모델의 다중 스케일 추론을 복원하는 이미지 수준 다중 스케일 테스트 시간 증강 방식; (iii) 2025 GOOSE 2D 우승 작품의 공격적 광도 왜곡(photometric distortion)을 우리 파이프라인에 이식했을 때 그것이 단일 최대 개선 원천임을 밝힌 발견.

arXiv:2606.20108v1cs.CV

EFIQA: 해부학적 사전지식 기반 설명 가능한 안저 이미지 품질 평가

EFIQA: Explainable Fundus Image Quality Assessment via Anatomical Priors

이미지 품질 관리는 다양한 후속 응용에 필수적이다. 심층 학습 기반 이미지 품질 평가 방법은 일반적으로 데이터셋별 품질 레이블로 분류기를 학습하며, 두 가지 한계를 안고 있다: (1) 일반화 성능이 학습 데이터셋의 라벨링 기준에 종속되고, (2) 이러한 방법은 품질이 저하된 위치에 대한 공간적 피드백을 제공할 수 없어 설명 가능성이 부족하다. 본 연구에서는 품질 관련 감독이 필요 없고 설계상 공간적 품질 맵을 생성하는 프레임워크인 EFIQA를 제안한다. 사람이 주석한 레이블로부터 "저하가 무엇인지"를 학습하는 대신, EFIQA는 해부학적 사전지식을 활용하여 "무엇이 있어야 하는지"를 학습한다. 안저 사진에 대해 이를 2단계 접근법으로 구현하며, 먼저 마스크 해부학적 인페인팅을 통해 비지도 이상 탐지기를 학습하여 혈관 구조가 누락된 영역을 식별하고, 이어서 이러한 사전지식을 얕은 어댑터에 지식 증류하여 동결된 파운데이션 모델의 특징을 정밀한 품질 맵으로 매핑한다. 외부 데이터셋 평가에 따르면, 최소한의 적응만으로 라벨 없이 수행하는 이 접근법은 서로 다른 품질 기준을 갖는 벤치마크 전반에서 감독 학습 방법 대비 더 나은 성능과 설명 가능성을 달성하며, 실제 응용에서의 잠재력을 보여준다.

arXiv:2606.05833v2cs.CV

공간 지능형 멀티모달 대규모 언어 모델을 위한 비디오에서 기하학적 표현 학습

Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 2D 의미 이해에 탁월하지만 내재된 3D 인식이 부족하여, 비디오 프레임 간에 기하학적 및 공간적 일관성을 유지하지 못하는 표현을 생성합니다. 대규모 3D 데이터의 희소성을 고려하여, 우리는 순수한 2D 비디오 시퀀스를 사용하여 기하학적 표현을 학습하는 새로운 프레임워크인 GeoVR을 제시합니다. 이 접근 방식은 MLLM 내부의 의미 잠재 공간을 효과적으로 재구성하여 공간 지능을 발휘할 수 있게 합니다. 표면적인 특징 혼합을 사용하는 대신, GeoVR은 사전 학습된 3D 파운데이션 모델로부터 기하학적 지식을 증류하여 MLLM의 내부 표현을 재구성합니다. 이는 네 가지 상호 보완적인 기하학적 목표에 의해 주도되는 다목적 학습 전략을 통해 달성됩니다: (1) 변화하는 관점 역학을 임베드하기 위한 프레임 간 카메라 포즈 추정, (2) 물리적 거리를 고정하기 위한 밀집 깊이 맵 회귀, (3) 실제 세계 보정을 위한 메트릭 스케일 인자 예측, (4) 중간 특징 공간을 정렬하기 위한 멀티스케일 3D 특징 증류. 이러한 명시적인 물리적 및 기하학적 제약 조건의 안내를 받아, 모델의 내부 표현은 자연스럽게 강력한 3D 인식 능력을 발달시킵니다. 공간 추론 벤치마크에 대한 광범위한 실험을 통해 GeoVR이 최첨단 성능을 달성함을 입증하며, 이는 파운데이션 모델에 공간 지능을 부여하는 새로운 패러다임을 확립합니다.

arXiv:2411.10077v3cs.CV

다중 뷰 융합을 위한 계층적 상호 증류: 가능한 모든 뷰 조합에서의 학습

Hierarchical mutual distillation for multi-view fusion: Learning from all possible view combinations

다중 뷰 학습(multi-view learning)은 종종 다양한 각도와 위치에서 캡처된 이미지를 효과적으로 활용하는 데 어려움을 겪습니다. 비정형(unstructured) 다중 뷰 이미지에 대한 학습 방법은 대부분 아직 탐구되지 않은 상태입니다. 본 논문에서는 정형(structured) 및 비정형 다중 뷰 시나리오를 모두 처리할 수 있는 새로운 다중 뷰 융합을 위한 계층적 상호 증류(Hierarchical Mutual Distillation for Multi-View Fusion, HMDMV) 방법을 제안합니다. 이 방법은 단일 뷰, 부분 다중 뷰, 전체 다중 뷰를 포함하여 가능한 모든 뷰 조합을 활용하여 예측을 수행합니다. 이 방법은 각 뷰 조합에 대한 예측을 생성한 후, 뷰 간 일관성을 향상시키기 위해 계층적 상호 증류를 적용합니다. 불확실성 기반 가중치 메커니즘은 각 뷰 조합의 예측 신뢰도에 따라 그 영향력을 조정하여 융합 과정을 더욱 개선하고, 신뢰도가 낮은 뷰의 영향을 줄입니다. 대규모 정형 및 비정형 데이터셋에 대한 광범위한 실험을 통해 HMDMV가 일관되게 최첨단 분류 정확도를 달성함을 입증했습니다. HMDMV의 또 다른 독특한 장점은 추론 시 향상된 유연성을 제공한다는 점으로, 추가적인 처리 없이 학습에 사용된 것보다 더 많거나 적은 수의 뷰로 추론을 수행할 수 있게 합니다. 또한, 각 학습 반복(iteration) 동안 뷰 조합의 부분 집합을 무작위로 샘플링하는 효율적인 전략을 설계하여 학습 비용을 줄인 경량 버전을 제공합니다. 이러한 결과는 뷰 가용성이 가변적이거나 불완전한 실제 환경에서 HMDMV의 견고성을 강조합니다. 코드는 https://github.com/labhai/HMDMV에서 확인할 수 있습니다.

arXiv:2606.18702v1cs.CV

UniTemp: 양방향 증류를 통한 임의의 시간적 순서 비디오 생성

UniTemp: Unlocking Video Generation in Any Temporal Order via Bidirectional Distillation

자기회귀 비디오 디퓨전 모델은 긴 비디오 생성을 위한 유망한 접근 방식으로 등장했으며, 스트리밍 설정에서 강력한 성능을 달성했습니다. 그러나 기존 방법들은 순방향 시간적 생성으로 제한되어 있지만, 실용적인 비디오 생성은 종종 유연한 생성 순서를 요구합니다. 예를 들어, 역방향으로 확장하기 위해 미래 컨텍스트(context)를 조건으로 하거나, 중간 생성을 위해 과거와 미래 컨텍스트를 모두 조건으로 하는 경우가 있습니다. 우리는 임의의 시간적 방향으로 생성을 지원하는 자기회귀 모델을 학습(training)시켜 이 격차를 해소합니다. 주요 기술적 도전 과제는 비디오 디퓨전 모델에서 널리 사용되는 인과적 3D VAE에서 발생하는데, 이는 과거 컨텍스트에 엄격하게 조건화된 잠재(latent)들을 인코딩합니다. 순방향 생성에는 적합하지만, 이 인과적 구조는 생성이 역방향으로 진행될 때 블록 간 불연속성을 유발합니다. 이를 해결하기 위해 우리는 블록별 앵커 잠재(latent)를 도입하는데, 이는 역방향 생성 중 블록 경계에서 누락된 과거 컨텍스트를 복원하는 보조 잠재(latent)들의 집합입니다. 이 설계를 기반으로, 우리는 임의의 방향 비디오 생성을 위해 단일 자기회귀 학생 모델(student model)을 학습(training)시키는 양방향 증류 프레임워크인 UniTemp를 제안합니다. 추론(inference) 시간에 UniTemp는 임의의 과거 및/또는 미래 프레임을 조건으로 하여, 양방향 및 중간 생성 모두에 대한 제어 가능성을 향상시킵니다. 실험 결과, UniTemp는 순방향 전용 방법과 비교하여 짧고 긴 비디오 생성 모두에서 경쟁력 있는 성능을 유지하면서, 양방향 비디오 확장, 중간 생성, 루프 비디오 생성, 장면 전환, 시각적 스토리 생성과 같은 다양한 워크플로우를 가능하게 하는 것으로 나타났습니다. 프로젝트 웹사이트: https://lzhangbj.github.io/projects/unitemp/

arXiv:2606.18687v1cs.CV

이종 레이더 장소 인식을 위한 공간적 계층 증류

Spatially Stratified Distillation for Heterogeneous Radar Place Recognition

확장 가능한 전천후 장소 인식은 다양한 하드웨어 플랫폼 간의 격차를 해소하기 위해 점차 이종 레이더 장소 인식에 의존하고 있습니다. 대표적인 응용 사례로, 비용 효율적인 4D 차량용 레이더의 쿼리를 고밀도 회전 레이더로 구축된 고충실도 참조 지도와 매칭하는 것이 있습니다. 이 과정은 4D 센서의 극심한 희소성(및 좁은 시야)으로 인해 근본적인 제약이 있으며, 해당 센서는 회전 레이더 데이터베이스에 존재하는 구조적 밀도의 일부만 포착합니다. 기존 연구는 서로 다른 레이더 신호를 통합하여 이 문제를 해결했습니다. 즉, 두 신호를 공통된 표현 공간으로 투영하는 방식입니다. 그러나 이러한 방식들은 다중 세션 환경에서 성능 저하를 겪습니다. 본 논문에서는 공간적 계층 증류(SSD)를 제안합니다. 이는 표준적인 균일 증류를 물리적 레이더 반사 신호로부터 직접 도출된 비대칭 공간 정렬로 대체하는 전략입니다. 두 레이더 모두 반사 신호가 중복되는 영역에서는 SSD가 강력한 특징 정렬을 적용합니다. 특히 중요한 점은, 4D 학생 모델에는 반사 신호가 없으나 교사 모델은 공유된 시야 내에 유효한 구조를 가지고 있는 희소 영역에서, SSD가 크게 감소된 증류 가중치를 적용한다는 것입니다. 최근 HeRCULES 데이터셋에 대한 광범위한 평가 결과, SSD는 기존 장소 인식 방법들을 크게 능가하며 도전적인 동적 시퀀스에서 최첨단(SOTA) 성능을 달성함을 입증했습니다.

arXiv:2605.15824v2cs.CV

FashionChameleon: 실시간 및 대화형 인간-의류 비디오 맞춤화

FashionChameleon: Towards Real-Time and Interactive Human-Garment Video Customization

인간 중심 비디오 맞춤화, 특히 의류 수준에서는 상당한 상업적 가치를 보여주었습니다. 그러나 기존 접근 방식은 전자상거래 및 콘텐츠 생성과 같은 응용 분야에 필수적인 저지연 및 대화형 의류 제어를 지원할 수 없습니다. 본 논문은 단일 의류 비디오 데이터만을 사용하여 모션 일관성을 유지하면서 대화형 다중 의류 비디오 맞춤화를 달성하는 방법을 연구합니다. 우리는 사용자가 생성 중에 의류를 대화형으로 전환할 수 있는 자기회귀 비디오 생성에서 인간-의류 맞춤화를 위한 실시간 및 대화형 프레임워크인 FashionChameleon을 제시합니다. FashionChameleon은 세 가지 핵심 기술로 구성됩니다: (i) 다중 의류 비디오 데이터에서 학습하는 대신, 단일 참조-의류 쌍에서 문맥 내 학습(In-Context Learning)을 사용하여 교사 모델(Teacher Model)을 학습시킵니다. 이미지-투-비디오 학습 패러다임을 유지하면서 참조 이미지와 의류 이미지 간의 불일치를 강제함으로써, 모델이 단일 의류 전환 중에 일관성을 암묵적으로 보존하도록 유도합니다. (ii) 생성 중 일관성과 효율성을 달성하기 위해, 문맥 내 교사 강제(in-context teacher forcing)로 모델을 파인튜닝하고 그래디언트 재가중 분포 매칭 증류(gradient-reweighted distribution matching distillation)를 통해 외삽 일관성을 개선하는 문맥 내 학습(In-Context Learning)을 통한 스트리밍 증류(Streaming Distillation)를 도입합니다. (iii) 대화형 다중 의류 비디오 맞춤화를 위해 모델을 확장하기 위해, 의류 KV 새로고침, 과거 KV 회수, 참조 KV 분리를 포함하여 의류 전환을 달성하면서 모션 일관성을 유지하는 학습 없는 KV 캐시 재예약(Training-Free KV Cache Rescheduling)을 제안합니다. 우리의 FashionChameleon은 단일 GPU에서 23.8 FPS의 실시간 생성을 달성하여 기존 베이스라인보다 30-180배 더 빠르면서도, 독특하게 대화형 맞춤화와 일관된 롱 비디오 외삽을 지원합니다.

arXiv:2503.08038v2cs.LG

일반화된 쿨백-라이블러(KL) 발산 손실

Generalized Kullback-Leibler Divergence Loss

본 논문에서는 쿨백-라이블러(KL) 발산 손실을 심층 분석하여, 이것이 (1) 가중 평균 제곱 오차(wMSE) 손실과 (2) 소프트 라벨을 포함하는 교차 엔트로피 손실로 구성된 분리된 쿨백-라이블러(DKL) 발산 손실과 수학적으로 동등함을 증명합니다. DKL 손실의 분리된 구조 덕분에 개선이 필요한 두 가지 영역을 식별했습니다. 첫째, 더 부드러운 가중치 함수를 사용하여 비대칭 최적화 속성을 해소함으로써 지식 증류(knowledge distillation)와 같은 시나리오에서 KL 손실의 한계를 해결합니다. 이러한 수정은 최적화 과정에서의 수렴(convergence) 문제, 특히 소프트 라벨에서 높은 예측 점수를 가진 클래스에 대한 수렴 문제를 효과적으로 완화합니다. 둘째, 개별 샘플에서 발생하는 바이어스(bias)를 줄이기 위해 KL/DKL에 클래스별 전역 정보를 도입합니다. 이 두 가지 향상을 통해 일반화된 쿨백-라이블러(GKL) 발산 손실을 도출하였으며, 적대적 학습(adversarial training) 및 지식 증류 작업에 중점을 두고 CIFAR-10/100, ImageNet 및 비전-언어(vision-language) 데이터셋에서 실험을 수행하여 그 효과를 평가했습니다. 구체적으로, 공개 리더보드인 RobustBench에서 새로운 최첨단(state-of-the-art) 적대적 강건성을 달성했으며, CIFAR/ImageNet 모델 및 CLIP 모델 전반에서 경쟁력 있는 지식 증류 성능을 보여주어 상당한 실용적 이점을 입증했습니다. 본 연구의 코드는 https://github.com/jiequancui/DKL 에서 확인할 수 있습니다.

arXiv:2606.19120v1cs.LG

추론 전 시각화: 지름길 내성이 있는 멀티모달 온-정책 자기 증류를 위한 지각과 추론의 분리

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

MLLM에 온-정책 자기 증류(OPSD)를 그대로 적용하면 특권 참조 답이 이미지보다 텍스트에 의존하는 지름길 학습이 생길 수 있어, ViGOS는 학생이 먼저 시각적 설명을 작성한 뒤 추론하도록 지각과 추론을 분리하고 이미지 전용 지각 교사와 특권 추론 교사로 각각 감독하는 시각적 그라운딩 OPSD 프레임워크를 제안한다. 일반 비전-언어, 전문가 추론, 시각적 수학, 공간 그라운딩 등 벤치마크에서 OPSD의 이점을 유지하면서 지름길에 취약한 설정에서 이미지 기반 동작을 개선했다.