PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.01115v2cs.CV

LUMOS: 분할을 위한 잠재적 범용 의료 사전지식

LUMOS: Latent Universal Medical Priors for Segmentation

범용 비전 파운데이션 모델(VFM)은 주로 자연 이미지를 기반으로 개발되어 왔으며, 의료 이미지 분할에서의 활용도는 비용이 많이 드는 적응 또는 도메인별 미세조정에 의존하는 것으로 흔히 간주된다. 본 논문에서는 이 가정을 다른 관점에서 재검토한다: VFM 분할기가 시각적 규칙성을 재학습하도록 요구하는 대신, 해부학적 경계 구분에 필요한 저수준 시각적 사전지식이 범용 VFM 내에 이미 잠재되어 있는지를 탐구한다. 우리는 의료 감독 없이도 동결된 VFM이 전이 가능한 시각적 규칙성을 인코딩함을 관찰하였다. 이러한 속성은 자연 이미지에만 국한되지 않고 의료 이미지 이해에도 근본적으로 중요하다. 이 관찰에 동기를 얻어, 범용 VFM 사전지식을 기존 의료 분할기에 증폭시키는 새로운 프레임워크인 LUMOS(Latent Universal Medical PriOrs for Segmentation)를 제안한다. LUMOS는 두 가지 핵심 구성 요소로 이루어진다: (1) 동결된 비전 파운데이션 모델로부터 시각적 단서를 증류하는 Pathfinder, (2) 증류된 시각적 규칙성의 공간적 가이던스로 기존 의료 네트워크에 활력을 불어넣는 Inspiror. 이를 통해 분할기는 제한된 의료 어노테이션만으로 복잡한 시각적 규칙성을 완전히 학습하는 부담에서 벗어나 태스크별 해부학적 경계 구분에 집중할 수 있다. 다양한 의료 데이터셋과 토큰 기반 VFM에 걸쳐, LUMOS는 동결된 토큰 공간이 패치 수준의 패턴 관련성을 보존할 때 범용 VFM이 공간적 사전지식 생성기로 기능할 수 있음을 보여준다. DINO는 안정적인 백본 매칭 성능 향상을 제공하는 반면, SigLIP은 상이한 토큰 세분성과 표현 목표로 인한 VFM 특유의 민감도를 드러낸다.

arXiv:2601.09881v2cs.CV

빠른 비디오 생성을 위한 전이 매칭 지식 증류

Transition Matching Distillation for Fast Video Generation

대규모 비디오 확산 및 플로우 모델은 고품질 비디오 생성에서 괄목할 만한 성과를 거두었지만, 비효율적인 다단계 샘플링 과정으로 인해 실시간 인터랙티브 애플리케이션에서의 활용은 여전히 제한적이다. 본 연구에서는 비디오 확산 모델을 효율적인 소수 단계 생성기로 증류하는 새로운 프레임워크인 전이 매칭 지식 증류(TMD, Transition Matching Distillation)를 제안한다. TMD의 핵심 아이디어는 확산 모델의 다단계 노이즈 제거 궤적을, 각 전이가 경량 조건부 플로우로 모델링되는 소수 단계 확률적 전이 과정에 매칭하는 것이다. 효율적인 증류를 위해, 원래의 확산 백본을 두 가지 구성 요소로 분해한다: (1) 각 외부 전이 단계에서 의미론적 표현을 추출하는 대부분의 초기 레이어로 구성된 메인 백본, (2) 이 표현을 활용하여 다수의 내부 플로우 업데이트를 수행하는 마지막 몇 개의 레이어로 구성된 플로우 헤드. 사전학습된 비디오 플로우 모델이 주어지면, 먼저 플로우 헤드를 모델에 도입하고 이를 조건부 플로우 맵으로 적응시킨다. 이후 각 전이 단계에서 플로우 헤드 롤아웃을 포함한 학생 모델에 분포 매칭 지식 증류를 적용한다. Wan2.1 1.3B 및 14B 텍스트-투-비디오 모델의 증류에 대한 광범위한 실험을 통해 TMD가 생성 속도와 시각적 품질 사이에서 유연하고 강력한 트레이드오프를 제공함을 입증한다. 특히 TMD는 비슷한 추론 비용 조건에서 시각적 충실도 및 프롬프트 준수 측면에서 기존 증류 모델을 능가한다. 프로젝트 페이지: https://research.nvidia.com/labs/genair/tmd

arXiv:2607.08161v1cs.CL

SQuaD-SQL: LLM 기반 지식 증류를 통한 소형 언어 모델의 효율적인 Text-to-SQL

SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation

LLM이 생성한 합성 데이터와 지식 증류를 활용해 소형 언어 모델(SLM)이 Text-to-SQL 태스크에서 LLM에 근접한 성능을 달성할 수 있도록 하는 SQuaD-SQL 프레임워크를 제안한다. WikiSQL 벤치마크에서 1.5B 파라미터의 Qwen 모델이 LoRA 기반 파인튜닝만으로 86.9%의 실행 정확도를 달성하며, 단일 소비자용 GPU에서 빠른 추론과 낮은 메모리 사용량을 유지함을 검증했다.

arXiv:2607.08027v1cs.CL

거듭제곱 변환과 부호 보존 점수 집계 및 적응적 특징 보존을 통한 대규모 언어 모델의 구조적 가지치기

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

비구조적 가지치기 기법인 AFR(Adaptive Feature Retention)을 구조적 가지치기에 적용할 때 발생하는 이종 점수 간 분포 불일치, 부호 정보 손실, 이상값 영향 문제를 해결하기 위해, 거듭제곱 변환·부호 보존 점수 집계·백분위수 기반 이상값 제거를 결합한 통합 방법을 제안한다. Llama-3-8B, Vicuna-v1.5-13B, LLaVA-v1.5-13B 실험에서 50% 가지치기 시 최대 21.27포인트 성능 향상과 1.56–1.57× 추론 속도 향상을 달성했다.

arXiv:2607.08643v1cs.LG

BiSCo-LLM: 극저비트 대규모 언어 모델 압축을 위한 룩업 프리 이진 구면 코딩

BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression

BiSCo-LLM은 코드북 없이 가중치를 단위 초구(unit hypersphere)에 매핑한 뒤 이진 구면 코드로 변환하는 잔차 BSQ 단계와 카테고리별 복구 지식 증류를 결합해 대규모 언어 모델(LLM)을 극저비트(~2비트)로 압축하는 프레임워크다. Qwen3-8B 기준으로 FP16 대비 WikiText-2 perplexity 10.18(FP16: 9.73), 7개 태스크 평균 다운스트림 정확도 68.05(FP16: 69.92)를 달성해 명시적 코드북 없이도 2비트 수준에서 모델 성능을 효과적으로 보존함을 보였다.

arXiv:2607.08032v1cs.LG

무엇을 유지하고 무엇을 버릴 것인가: LLM과 에이전트의 메모리 압축에 대한 율-왜곡 관점

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

KV 캐시 압축, 프롬프트 압축, 아키텍처 상태, 에이전트 메모리라는 기존의 네 가지 분리된 연구 영역을 율-왜곡(rate-distortion) 이론 관점에서 하나의 통합된 메모리 압축(memory compaction) 문제로 재정의하고, 7축 분류 체계와 층에 무관한 하한을 통해 서로 간 메커니즘 이전을 가능하게 한다. 또한 모든 층에서 어텐션 크기 기반의 쿼리-비인식(query-agnostic) 압축이 동일한 방식으로 실패한다는 공통 패턴을 밝히고, 에이전트의 반복적 압축을 측정하기 위한 COMPACT-Bench 벤치마크를 제안한다.

arXiv:2607.07847v1cs.LG

지속적 학습은 언제 학습을 필요로 하는가

When Does Continual Learning Require Learning

지속적 학습(continual learning)이 단일 능력이 아님을 주장하며, 공간(도메인 이동)과 시간(사실 드리프트, 에이전트 상태 누적)이라는 두 축으로 환경 변화를 분류하고 프롬프트 최적화(GEPA, ACE), 지도학습(SFT, SDFT), 강화학습(GRPO, SDPO), 컨텍스트 압축(Cartridges, In-place TTT) 등 8가지 방법을 단일 프로토콜로 비교 평가했다. 온라인 강화학습이 지식 업데이트에 가장 효과적으로 적응하는 반면, 프롬프트 기반 방법은 미래 태스크에서 성능이 저하되고 지식 증류 방법은 오래된 사실 갱신에 어려움을 겪는 등 환경 변화 패턴에 따라 적합한 업데이트 방식이 근본적으로 다름을 보였다.

arXiv:2602.17686v4cs.LG

구조 인식 마스킹과 GRPO를 활용한 효율적인 사고의 연쇄 지식 증류를 위한 커리큘럼 학습

Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO

소형 학생 모델이 대형 교사 모델의 장황한 사고의 연쇄(CoT)를 충실히 재현하지 못하는 용량 불일치 문제를 해결하기 위해, 구조 인식 마스킹 재구성 → GRPO 기반 압축 → 교사 유도 내재화의 3단계 커리큘럼 학습 프레임워크 BRIDGE를 제안한다. GSM8K 실험에서 Qwen2.5-3B-Base가 출력 길이를 27.4% 줄이면서 정확도를 11.29% 향상시켜 기존 지식 증류(distillation) 및 강화학습 기반 방법을 모두 능가함을 보였다.

arXiv:2607.08393v1cs.AI

대규모 언어 모델 미세조정에서 기억된 지식이 일반화에 실패하는 이유에 대한 메커니즘적 이해를 향하여

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

LLM 파인튜닝 시 새로운 사실을 기억하더라도 다운스트림 추론에 활용하지 못하는 "앎-사용 격차(Knowing–Using Gap)" 현상을 규명하고, self-patching이라는 개입 기법으로 내부 활성화 위치를 분석한 결과, 기억된 표현이 추론에 유효한 레이어로 라우팅되지 않는 지식-회로 불일치(knowledge–circuit misalignment)가 원인임을 밝혔다. 이를 바탕으로 설계한 휴리스틱 전략은 일반화 실패 사례에서 오라클 성능 여유의 58–75%를 회복하였다.

arXiv:2607.08368v1cs.AI

FedOPAL: 분석적 시각 프롬프트 튜닝을 통한 원샷 연합학습

FedOPAL: One-Shot Federated Learning via Analytic Visual Prompt Tuning

비독립동일분포(non-IID) 환경에서 분석적 연합학습(Analytic Federated Learning)의 특징 다양체 불일치 문제를 해결하기 위해, FedOPAL은 Visual Prompt Tuning(VPT)을 특징 정류기로 활용해 이질적인 로컬 데이터의 특징 분포를 선형 분리 가능한 공간으로 교정한다. 여러 벤치마크 실험에서 FedOPAL은 기존 분석적 방법을 크게 능가했으며, 서버 측 학습 비용 없이 최신 반복적 방법과 비교 가능한 정확도를 달성해 원샷(one-shot) 연합학습의 새로운 패러다임을 제시한다.

arXiv:2607.08268v1cs.AI

다른 교사, 다른 역량: 구조화 텍스트 강화를 위한 1B 미만 온디바이스 지식 증류

Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment

deepseek-r1:8b(8B) 추론 교사 모델을 Qwen3-0.6B(0.6B) 학생 모델로 QLoRA 기반 지식 증류하여, 기사당 39초에서 0.8초로 속도를 크게 높이면서 요약 품질 격차의 58%를 회복하고 제약 디코딩 대비 +16.8점을 달성했다. 성능 향상은 교사의 규모가 아닌 추론 특성에서 비롯되며, 교사 유형에 따라 전이되는 역량이 분화되어 단일 모델이 모든 필드에서 최적이 아니므로 필드별 라우팅 맵을 제시한다.

arXiv:2607.08255v1cs.AI

경쟁 후 협력: 최전선 AI 교사들이 검증 가능한 커리큘럼을 구축하여 모방을 넘어 코딩 학생을 향상시키다

Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

Claude, Codex-GPT, Grok, Gemini 네 프론티어 모델을 실행 기반 판정자(유닛 테스트)로 경쟁시켜 순위를 매긴 뒤, 검증된 풀이로 Qwen2.5-Coder 학생 모델을 위한 커리큘럼을 공동 구축하는 경쟁 후 협력(compete-then-collaborate) 프레임워크를 제안한다. 검증된 솔루션을 모방하는 SFT는 이미 역량 있는 코더 모델의 성능을 오히려 저하시키는 반면, 동일 커리큘럼을 검증 가능한 보상 강화학습(RLVR) 환경으로 활용하면 경쟁 문제에서 +49% 상대적 향상을 달성하여 AI 교사 협력의 핵심 가치가 답변 모방이 아닌 검증 가능한 학습 환경 구축에 있음을 보인다.

arXiv:2607.08771v1cs.CV

ZipDepth: 경량 제로샷 단안 깊이 추정을 모든 기기 어디서나

ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device

ZipDepth는 파운데이션 모델(Depth Anything v2-Large)로부터의 대규모 지식 증류(distillation)와 효율적인 재매개변수화(reparameterizable) 인코더-디코더를 결합해, 단 610만 개의 파라미터로 제로샷(zero-shot) 단안 깊이 추정(monocular depth estimation)을 실현한 경량 네트워크다. 5개의 벤치마크에서 경량 모델 중 최고의 정확도-효율성 트레이드오프를 달성하며, 서버 GPU부터 Jetson Orin NX 등 전력 제약 기기에서도 실시간 추론이 가능하다.

arXiv:2607.08766v1cs.CV

OPSD-V: 사후 학습 기반 소수 단계 자기회귀 비디오 생성기를 위한 온-정책 자기 증류

OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators

소수 단계 자기회귀(AR) 비디오 확산 모델의 장기 롤아웃에서 발생하는 오류 누적과 모션 다이나믹 약화 문제를 해결하기 위해, OPSD-V는 실제 장편 비디오 데이터를 시간적 컨텍스트로 활용해 교사 모델의 KV 캐시를 정제하고 학생 모델의 온-정책 롤아웃에 조밀한 디노이징 수준의 지도를 제공하는 사후학습 자기 지식 증류(self-distillation) 패러다임이다. Self-Forcing과 LongLive에 적용한 실험에서 VBenchLong 점수, 시각적 품질, 모션 다이나믹 모두 일관된 향상을 보였으며, 사용자 연구에서 66.0%의 전반적 선호도를 기록했다.

arXiv:2603.13994v3cs.CV

자기지도 비전 트랜스포머에서의 인간과 유사한 객체 그룹화

Human-like Object Grouping in Self-supervised Vision Transformers

자기지도 학습으로 훈련된 비전 트랜스포머가 인간의 객체 그룹화 지각과 얼마나 잘 정렬되는지를 측정하기 위해, 자연 장면에서 두 점이 동일 객체 위에 있는지를 판단하는 1,000회 이상 규모의 행동 벤치마크를 구축하고 다양한 비전 모델을 평가했다. DINO 목표로 훈련된 트랜스포머 모델이 가장 강한 인간 정렬을 보였으며, 패치 간 유사도 기반의 객체 중심성 메트릭과 Gram 행렬 구조가 이 정렬을 이끄는 핵심 요인임을 확인했다.

arXiv:2503.15414v3eess.IV

진화하는 클라이언트 및 레이블 공간을 위한 비동기 연합 지속 분할

Asynchronous Federated Continual Segmentation with Evolving Clients and Label Spaces

클라이언트 구성과 레이블 공간이 지속적으로 변화하는 비동기 연합 지속 분할(federated continual segmentation) 환경에서, CA-MMDS는 서버 측 클라이언트 모델 아카이브를 유지하고 신뢰도 가중 지식 증류(reliability-weighted distillation)를 통해 전역 모델을 업데이트함으로써 변경되지 않은 클라이언트의 반복 참여 없이도 지식을 재활용한다. 6개 공개 복부 CT 분할 데이터셋(19개 해부학적·병리학적 구조)에 대한 실험에서 통신 및 연산 비용을 크게 절감하면서도 경쟁력 있는 분할 성능을 달성함을 입증했다.

arXiv:2607.05196v2cs.CL

텍스트 지능의 퇴보 없는 통합 오디오 지능

Unified Audio Intelligence Without Regressing on Text Intelligence

오디오 지능은 오디오와 음성 모두를 이해하고 추론하며 생성하는 것을 포함한다. 본 연구에서는 강력한 텍스트 전용 MoE 대규모 언어 모델(LLM)인 Nemotron-Cascade-2-30B-A3B를 기반으로 구축된 통합 오디오-텍스트 LLM, Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 간단한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 동일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 학습 및 추론 인프라와의 호환성을 가능하게 한다. 학습을 위해 157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 구축하였다. 이 데이터셋에 대해 다단계 지도 학습을 적용한 후, 텍스트 전용 Cascade 강화학습(RL)과 다중 도메인 온-정책 지식 증류를 수행하였다. Audex는 최첨단 오디오 이해, 음성 인식 및 번역, 텍스트 음성 변환, 오디오 생성, 음성-음성 생성을 제공하는 동시에, 텍스트 전용 LLM 백본이 지닌 뛰어난 추론, 정렬(alignment), 지식, 긴 컨텍스트, 에이전트(agentic) 역량을 미미하거나 전혀 없는 퇴보로 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

arXiv:2604.11290v2cs.CL

폴리글랏 교사: 다국어 합성 데이터 생성을 위한 언어 모델 평가

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

다국어 SFT 데이터 합성 시 교사 모델 선택이 흔히 최대 규모 모델로 임의 결정되는 문제를 분석하고자, Polyglot Score(PG-Score)라는 내재적·외재적 평가 지표를 도입해 6개 언어에서 10개 언어 모델을 체계적으로 비교했다. 모델 규모보다 프롬프트 다양성, 길이, 응답 유창성 같은 데이터 품질 요소가 학생 모델 성능의 93.3% 이상을 설명하며, Gemma 3 27B와 Aya Expanse 32B가 일관되게 우수한 다국어 교사 모델로 나타났다.

arXiv:2607.05711v1cs.LG

FourTune: 확산 모델을 위한 완전한 4비트 효율적 사후 학습을 향하여

FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models

FourTune은 확산 모델의 사후학습에서 메모리 부족과 낮은 학습 속도 문제를 해결하기 위해 가중치·활성화·그라디언트를 모두 4비트로 양자화하는 W4A4G4 엔드-투-엔드 프레임워크를 제안한다. 고정된 수치 안정자(numerical stabilizer)를 포함한 삼중 분기 파이프라인과 블록 단위 양자화 및 커스텀 퓨전 커널을 결합하여, FLUX.1-dev(12B) 기준 BF16 LoRA 대비 메모리를 2.25배 절감하고 학습 처리량을 2.27배 향상시키면서 전체 정밀도 파인튜닝과 동등한 생성 품질을 달성했다.

arXiv:2607.05541v1cs.LG

크로스-에피소드 메모리와 정책 증류를 활용한 자기 검토 강화학습(SRRL)

Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation

SRRL(Self-Review Reinforcement Learning)은 강화학습 에피소드마다 명시적 자기 검토 단계를 삽입하여, 첫 번째 응답 실패 시 모델이 오류 원인을 분석한 뒤 개선된 두 번째 응답을 생성하도록 하는 학습 프레임워크다. 자기 검토를 정책 그래디언트로 최적화하고 선택적 지식 증류로 기본 정책에 내재화하며, 크로스-에피소드 메모리로 성공적인 검토를 재사용함으로써, GSM8K 벤치마크에서 Qwen 3-4B와 OLMo-3-7B 모두 표준 RLVR 대비 일관되게 높은 보상 성능과 학습 효율을 달성했다.