PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18844v1cs.LG

자신의 실수로부터 학습하기: 자기 증류를 위한 학습 가능한 미세 반성 궤적 구성

Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation

기 증류(self-distillation)의 KL 기반 암시적 분포 정렬 한계를 넘어, 동일 쿼리의 정·오답 롤아웃 대비로 실패 지점까지의 오류 추론에 자연어 진단과 수정을 삽입한 미세 반성(micro-reflective) 학습 궤적을 구성하는 Trajectory-Augmented Policy Optimization(TAPO)을 제안한다. AIME 2024·2025와 HMMT 2025에서 동일 학습 스텝 수 기준 GRPO 대비 일관된 성능 향상을 보였고, 첫 패스 추론과 오류 수정 능력을 함께 강화한다.

arXiv:2606.18820v1cs.LG

성숙 마르코프 결정 과정: 증가하는 정보와 축소되는 행동 집합 하에서의 의사결정

Maturing Markov Decision Processes: Decision Making under Increasing Information and Shrinking Action Sets

정보는 늘어나고 실행 가능한 행동은 줄어드는 정보-행동 비대칭성을 중심으로 성숙 마르코프 결정 과정(MMDP)을 정의하고, 만료되는 행동 우선순위 원칙과 단계 인식 정책·만료 행동 추상화·지식 증류를 결합한 검색 증강 학습을 포함한 구조 인식 강화학습(RL) 프레임워크를 제안한다. 다중 공급업체 재보충, 현금 관리, 운영 규모 시뮬레이터 실험에서 이 비대칭성을 명시적으로 모델링하면 학습 효율이 향상되며, 의사결정 문제가 커질수록 그 이점이 더 커진다.

arXiv:2606.18323v1cs.SD

ASR 자가 검증과 지식 증류를 통한 신뢰할 수 있는 신경망 코덱 텍스트 음성 변환: 모델 및 코덱 간의 거의 0에 가까운 치명적 오류

Reliable Neural-Codec Text-to-Speech by ASR Self-Verification and Distillation: Near-Zero Catastrophic Failures Across Models and Codecs

오픈 소스 자기회귀 신경망 코덱 텍스트 음성 변환(TTS) 모델은 일반적인 입력에서는 훌륭하게 들리지만, 확률적 치명적 오류(catastrophic failures)를 겪습니다. 의미 있는 비율의 발화에서 침묵을 내보내거나, 조기에 종료되거나, 반복적이거나 환각(hallucinated) 내용으로 붕괴됩니다. 우리는 이 오류 모드를 제거하는 것이 비용 효율적임을 보여줍니다. 단일 형식 견고 메트릭(ASR 왕복을 통한 치명적 오류율) 하에서, Best-of-N ASR 자가 검증은 오류를 거의 0으로 만듭니다. 표준 말뭉치(LibriSpeech)에서는 N=2일 때, 어려운 프롬프트 세트에서는 N=4일 때 관찰된 오류가 남지 않습니다. 이는 특정 모델의 인위적 결과물이 아닙니다. 이러한 감소는 4개의 오픈 코덱-TTS 시스템과 3개의 신경망 코덱(XCodec2, SNAC, Mimi)에 걸쳐 재현되며, 4개 중 3개에서 N=2일 때 거의 0의 하한선에 도달합니다. 그런 다음 자가 검증된 동작을 모델에 증류(distilling)하여 추론 시간에 수정 비용을 0으로 만듭니다. 이는 단일 샷 디코딩에서 견고성의 상당 부분을 회복시키며, 테스트 시간 비용 없이 어려운 입력에서 오류 양의 약 52-58%를 줄입니다. 증류 이득은 필요한 곳(어려운 입력)에 집중됩니다. 이미 신뢰할 수 있는 텍스트에서는 개선 여지가 없으며 감지할 수 있는 변화도 없습니다. 대조 비교는 명확한 부정적 결과를 추가합니다. 오프라인 직접 선호 최적화(DPO/IPO)는 일반 지도 학습 증류를 능가하지 못하며, 온라인 반복 변형은 유망하지만 우리의 평가 규모에서는 통계적으로 구별되지 않습니다. 우리는 저항하는 하나의 모델(규모가 명확히 도움이 되지 않은 더 큰 Llasa)과 어떤 자기 증류 방법도 극복하지 못하는 희귀 단어 능력 천장을 정직하게 보고합니다.

arXiv:2606.18309v1cs.LG

SAGE: 최종 잊기 벡터의 유지 인지형 사후 정제

SAGE: Retain-Aware Post-Hoc Sanitization of Final Unlearning Vector

LLM 잊기(unlearning)에서 유지-망각 트레이드오프를 줄이기 위해, 원래 파이프라인을 재실행하지 않고 최종 업데이트 벡터를 사후 정제하는 SAGE(Spectral Activation-GEometry Sanitization)를 제안한다. 작은 유지 프록시(retain proxy)의 활성화 기하학을 이용해 닫힌 형식(closed form)으로 고에너지 유지 방향 성분을 억제하면서 망각 신호는 보존하며, TOFU·MUSE·WMDP 등에서 유지 성능을 높이고 유틸리티와 프라이버시 누출도 개선한다.

arXiv:2606.18875v1cs.CL

합성 데이터 증류를 통한 효율적인 금융 언어 이해

Efficient Financial Language Understanding via Distillation with Synthetic Data

금융 분야의 레이블 부족 문제를 해결하기 위해, 소량의 수동 레이블 예제를 클러스터링해 시드를 선별하고 구조화된 퓨샷(few-shot) 프롬프팅으로 합성 데이터를 생성한 뒤 대규모 인스트럭션 튜닝 교사 모델의 지식을 컴팩트 학생 모델로 증류(distillation)하는 금융 감성 분석 프레임워크를 제안한다. 실험에서 클러스터링 기반 시드 선택이 무작위 샘플링보다 대표성 높은 합성 데이터를 만들어 최소 감독만으로도 우수한 성능을 달성하며, 복잡하고 노이즈가 많은 텍스트 도메인에서는 교사 모델을 능가한다.

arXiv:2606.18508v1cs.CL

MCompassRAG: 문단 수준 검색을 위한 의미론적 나침반으로서의 주제 메타데이터

MCompassRAG: Topic Metadata as a Semantic Compass for Paragraph-Level Retrieval

MCompassRAG는 주제 수준 메타데이터를 의미론적 나침반으로 활용해 청크 표현을 보강하고 LLM 교사 증류로 경량 검색기를 학습하는 RAG 검색 프레임워크로, 추론 시 추가 LLM 호출 없이 주제 인식 검색을 수행한다. 6개 복잡 검색 벤치마크에서 정보 효율성을 평균 8.24% 높이면서 강력한 효율적 RAG 베이스라인 대비 5배 이상 낮은 지연 시간을 달성했다.

arXiv:2606.18406v1cs.CL

CoreMem: 대화형 에이전트의 장기 기억을 위한 리만 검색 및 피셔 유도 증류

CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents

소비자급 8GB VRAM 엣지 환경의 대화형 에이전트 장기 기억 한계를 해결하기 위해 CoreMem은 정보 기하학 기반 엣지-클라우드 아키텍처로, 리만 검색(Riemannian retrieval)과 피셔 유도 이산 토큰 증류(FDTD)를 통해 허브니스(hubness)와 구문 파편화를 완화합니다. LOCOMO·LongMemEval-S에서 오픈 도메인(+4.51%p)과 시간적 추론(+4.17%p) 정확도를 크게 높이면서 8GB VRAM 예산 내에서 동작합니다.

arXiv:2606.18273v1cs.CL

대규모 오디오 언어 모델을 위한 연속 오디오 사고

Continuous Audio Thinking for Large Audio Language Models

텍스트 정렬 응답 학습으로 대규모 오디오 언어 모델(LALM)이 음운·운율·정서 등 세밀한 음향 정보를 잃는 문제를, 응답 생성 전 연속 잠재 사고 공간에서 오디오 전문가 지식 증류로 음향 정보를 정리하는 연속 오디오 사고(CoAT)로 해결한다. Qwen2-Audio, Qwen2.5-Omni-7B, Audio Flamingo 3에 적용해 오디오 추론·이해·음악 분류·음성 감정·전사 벤치마크에서 성능을 높였으며, 추가 자기회귀 디코딩 없이 단일 프리필로 동작한다.

arXiv:2606.01249v3cs.LG

신뢰 영역 온-정책 증류

Trust Region On-Policy Distillation

교사·학생 분포가 크게 어긋날 때 온-정책 증류(OPD)가 불안정해지는 문제를 완화하기 위해, 신뢰 가능한 감독 영역에서만 OPD를 수행하고 아웃라이어 토큰은 마스킹·클리핑·순방향 KL로 처리하며 교사 접두 기반 오프-정책 가이던스를 결합한 TrOPD(Trust Region On-Policy Distillation)를 제안한다. 수학적 추론, 코드 생성, 일반 도메인 벤치마크에서 OPD, EOPD, REOPOLD 등 기존 OPD 베이스라인을 일관되게 능가한다.

arXiv:2606.19327v1cs.AI

보상 감독 재고: 루브릭 조건화 자기 증류

Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

추론 언어 모델 사후학습에서 사고의 연쇄(Chain-of-Thought) 증류의 노이즈와 스칼라 보상 강화학습의 세밀한 피드백 손실 문제를 해결하기 위해, 기준 수준 루브릭으로 교사 모델을 조건화해 학생의 온-정책(on-policy) 궤적에 토큰 수준 지도를 주는 루브릭 조건화 자기 증류(RCSD) 프레임워크를 제안합니다. 작업별 루브릭 생성과 루브릭 안내 추론기 학습의 2단계 파이프라인으로 구현했으며, 다양한 과학 추론 벤치마크에서 평균적으로 GRPO보다 1.4점, OPSD보다 0.9점 높은 성능을 달성했습니다.

arXiv:2606.18890v1cs.AI

GUI 에이전트를 위한 스킬 유도 연속 증류

Skill-Guided Continuation Distillation for GUI Agents

GUI 에이전트의 행동 복제 학습은 전문가 궤적 밖 정책 유발 궤적 이탈 상태에 감독이 없어 실패가 누적되는 문제를 남깁니다. 스킬 유도 연속 증류(SGCD)는 기본 정책으로 현실적인 이탈 상태를 만들고 스킬 유도 정책의 성공 연속을 전문가 궤적과 혼합해 감독을 보강하는 반복 자기 개선 프레임워크로, OSWorld-Verified에서 세 기본 모델의 성공률을 30%대 초반에서 50% 이상으로 높였습니다.

arXiv:2606.18363v1cs.RO

Guava: 구현화된 조작을 위한 효과적이고 보편적인 하네스

Guava: An Effective and Universal Harness for Embodied Manipulation

Guava는 반복적 인지-추론-행동 루프, 의미적 행동 추상화, 멀티모달 관찰을 결합한 구현화 도구 사용 하네스로, 시뮬레이션 2,000개 미만 궤적으로 4B 오픈소스 모델에 조작 능력을 증류하는 학습 파이프라인을 제안합니다. 시뮬레이션과 실제 환경에서 최첨단 독점 모델에 필적하는 성능과 미지 객체·새 지시·장기 지평 작업에 대한 일반화, 실세계 전이를 보여 하네스 설계가 모델 독립적 구현화 조작 인터페이스가 될 수 있음을 시사합니다.

arXiv:2606.18101v2cs.AI

올바른 교사를 신뢰하세요: GUI 그라운딩을 위한 품질 인식 자기 지식 증류

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

그래픽 사용자 인터페이스(GUI) 그라운딩은 비전-언어 모델(VLMs)이 고해상도 스크린샷 내 작은 대상 요소를 식별하고 정확한 화면 좌표를 예측해야 하는 작업입니다. 온-정책(on-policy) 자기 지식 증류(OPSD)는 하드 좌표 라벨 외에 밀집 토큰 수준의 교사 신호를 제공하므로, 이 좌표 민감형 작업에 대한 유망한 사후 학습 접근법입니다. 하지만 단순한 OPSD는 GUI 그라운딩에 잘 맞지 않습니다. OPSD는 학습자가 생성한 접두 문맥에서 교사를 평가하는데, 접두 문맥이 이미 대상 좌표에서 벗어난 경우 좌표 토큰 교사 신호의 품질이 저하되어 신뢰할 수 없는 교사 신호가 발생할 수 있습니다. 이를 해결하기 위해 우리는 VLM 기반 GUI 그라운딩을 위한 품질 인식 자기 지식 증류를 제안합니다. 이는 소프트 정확성 인식 게이팅과 교사 확률 스케일링을 통해 좌표 토큰 교사 신호의 품질을 개선합니다. 소프트 정확성 인식 게이트는 학습자가 생성한 접두 문맥 하에서 교사의 현재 좌표 토큰 예측이 여전히 정답 박스로 완성될 수 있는지 확인합니다. 불가능한 경우, 해당 교사 신호의 가중치는 낮아집니다. 이어서 교사 확률 스케일링은 교사의 신뢰도를 가벼운 요인으로 사용하여 게이팅된 지도의 강도를 추가로 보정합니다. 주요 실증적 발견은 두 구성 요소 중 하나만으로는 전체 성능이 향상되지 않지만, 이를 결합하면 성능이 일관되게 향상된다는 것입니다. 이는 두 메커니즘이 상호 보완적인 역할을 한다는 것을 시사합니다. 정확성 인식 게이팅은 신뢰할 수 없는 좌표 토큰 지도를 억제하고, 교사 확률 스케일링은 남은 신호의 강도를 보정합니다. 6개의 GUI 그라운딩 벤치마크에 대한 실험에서 우리의 방법은 기본 모델을 일관되게 향상시키고 강력한 기준선(baselines)을 능가하는 것으로 나타났습니다.

arXiv:2603.18104v5cs.AI

적응형 도메인 모델: 기하학적 및 뉴로모픽 AI를 위한 베이지안 진화, 웜 로테이션 및 원칙 기반 학습

Adaptive Domain Models: Bayesian Evolution, Warm Rotation, and Principled Training for Geometric and Neuromorphic AI

지배적인 AI 학습 방식은 IEEE-754 연산에 대한 역방향 자동 미분을 가정합니다. 추론 대비 학습의 메모리 오버헤드, 옵티마이저 복잡도, 그리고 학습 과정에서의 기하학적 속성 구조 열화는 이러한 연산 기반(substrate)이 초래하는 결과입니다. 본 논문은 세 가지 선행 연구 결과를 기반으로 대체 학습 아키텍처를 개발합니다: 설계 시점 검증 가능 속성으로서 스택 적격 그래디언트 할당과 정확한 quire 누적을 확립하는 차원 타입 시스템 및 결정론적 메모리 관리 프레임워크(Haynes 2026); 기하 대수 연산을 통해 타입 수준 불변성으로서 등급(grade) 보존을 확립하는 프로그램 하이퍼그래프(Haynes 2026); 그리고 기존에 추론 전용으로 간주되던 하드웨어 타겟에서도 포지트(posit) 연산을 효율적으로 구현 가능하게 만드는 b-posit 경계 체제 설계(Jonnalagadda et al. 2025)입니다. 이들의 결합을 통해 추론 풋프린트의 약 두 배로 제한되는 깊이 독립적 학습 메모리, 등급 보존 가중치 업데이트, 정확한 그래디언트 누적이 가능해지며, 이는 손실 함수 최적화 모델과 스파이크 타이밍 의존형 뉴로모픽 모델에 균일하게 적용됩니다. 우리는 베이지안 증류(Bayesian distillation)를 소개합니다. 이는 ADM 학습 체제를 통해 범용 모델의 잠재적 사전 구조를 추출하는 메커니즘으로, 도메인 특화 학습을 위한 데이터 부족 부트스트래핑 문제를 해결합니다. 배포를 위해 우리는 웜 로테이션(warm rotation)을 소개합니다. 이는 서비스 중단 없이 업데이트된 모델이 활성 추론 경로로 전환되는 운영 패턴으로, PHG 인증서와 서명된 버전 기록을 통해 정확성이 형식화됩니다. 그 결과는 범용 모델보다 작고 정밀하며, 지속적으로 적응 가능하고, 도메인의 물리적 구조에 대해 검증 가능하게 정확하며, 기존 모델로부터 초기화 가능한 도메인 특화 AI 시스템 부류가 탄생했습니다.

arXiv:2606.17628v1cs.CL

OPD-Evolver: 온-정책 증류를 통한 포괄적 에이전트 진화기 육성

OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation

메모리는 자기 진화 에이전트의 표준 기반이 되었지만, 경험을 보존하는 것과 그 경험을 통해 진화하는 방법을 학습하는 것은 동일하지 않다. 기존 메모리 에이전트는 궤적을 저장하고, 반성을 검색하거나, 기술을 축적할 수 있지만, 유용한 경험을 선택하고 이를 행동에 옮기며, 재사용 가능한 지식을 작성하고, 성장하는 저장소를 유지하는 포괄적 역량이 종종 부족하다. 우리는 온-정책 자기 증류를 통해 그러한 에이전트 진화기를 육성하는 슬로-패스트 공진화 프레임워크인 OPD-Evolver를 제안한다. 패스트 루프에서 OPD-Evolver는 4단계 메모리 계층과 상호작용하여 경험을 읽고, 사용하고, 작성하고, 유지함으로써 신속한 테스트 시점 진화를 수행한다. 슬로 루프에서는 결과 교정 메모리 귀속과 특권적 후견이 이 네 가지 능력을 배포 가능한 정책으로 증류한다. 다중 도메인 벤치마크에서 OPD-Evolver는 ReasoningBank와 같은 메모리 시스템을 최대 11.5% 능가하고, Skill0와 같은 학습 기반 방법을 약 5.8% 능가한다. 추가 분석에 따르면 OPD-Evolver는 고가치 경험과 메모리 관리를 내재화하여, OPD-Evolver-9B가 Qwen3.5-397B-A17B 및 Step-3.5-Flash와 같은 거대 모델에 맞설 수 있게 하며, 메모리 증강 에이전트를 넘어 진정으로 자격을 갖춘 에이전트 진화기를 향함을 시사한다.

arXiv:2606.11766v2eess.AS

인터리브드 스태킹을 이용한 빠른 음성 파운데이션 모델 증류

Fast Speech Foundation Model Distillation Using Interleaved Stacking

대규모 음성 파운데이션 모델(SFM)을 효율적인 학생 모델로 증류하는 것은 저자원 환경에서 성공적으로 적용되어 왔습니다. 증류는 추론 지연 시간을 줄여주지만, 추가적인 학생 모델 학습이 필요합니다. 그러나 SFM 증류의 학습 효율성은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 모델 배포 속도를 높이기 위해 SFM 증류의 학습 가속을 탐구합니다. 우리는 학습을 통해 목표 모델 깊이에 도달할 때까지 모델 깊이를 점진적으로 증가시키는 스태킹의 가능성을 조사합니다. 기존 스태킹 방법은 학습 속도를 향상시키지만, 성능 저하 문제가 있습니다. 이러한 한계를 해결하기 위해, 우리는 스태킹 과정 전반에 걸쳐 층 위치를 일관되게 보존하는 새로운 스태킹 방법인 인터리브드 스태킹을 제안합니다. 이러한 특성은 각 층이 고유한 층별 지식을 인코딩하는 SFM에서 특히 중요합니다. 우리는 SUPERB에서 제안된 방법의 효과를 검증합니다.

arXiv:2606.17800v1cs.CV

MaineCoon: 실시간 오디오-비주얼 소셜 월드 모델 지향

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

전 세계 비디오 콘텐츠의 대다수가 대화형 사회적 목적을 위해 소셜 플랫폼에서 소비됨에 따라, 소셜 월드를 위해 구축된 비디오 생성 모델은 중요하지만 이전 연구에서 대부분 간과되었습니다. 본 연구에서는 소셜 월드 모델의 위치를 정의하고, 이 목표를 향한 첫 단계로 프로토타입 모델을 구축합니다. 이전 월드 모델들은 물리적 환경이나 게임 월드 탐험을 성공적으로 시뮬레이션하지만, 인간 중심의 사회적 역학(dynamics)에서는 근본적으로 분리되어 있습니다. 소셜 월드 모델로 향하는 첫 단계로서 이 격차를 해소하기 위해, 우리는 22B 파라미터를 가진 최초의 실시간 오디오-비주얼 자기회귀 모델인 MaineCoon을 제시합니다. 이 모델은 단일 GPU에서 최대 47.5 FPS라는 경신적인 프레임 레이트로 실시간 스트리밍 생성 및 1초 미만의 상호작용이 가능합니다. 우리가 아는 한, MaineCoon은 소셜 대화형 애플리케이션을 위해 특별히 최적화된 최초의 실시간 오디오-비주얼 생성 모델이기도 합니다. 효율적이고 안정적인 학습을 가능하게 하기 위해, 우리는 MaineCoon에 자기 리샘플링(self-resampling), 교차 모드 표현 정렬(cross-modal representation alignment), 도메인 인식 선호 최적화(domain-aware preference optimization), 강화된 온라인 정책 증류(reinforced online-policy distillation, ROPD)를 포함한 여러 새로운 기법을 도입했습니다. 또한, 우리는 에이전트 캐시 관리 및 프롬프트 계획(prompt planning)을 통해 드리프트(drift)를 완화하면서 천 초(thousand-second) 규모 또는 그 이상의 생성을 지원하는 최초의 에이전트형 스트리밍 추론 프레임워크를 설계했습니다. 이러한 혁신은 실시간 추론 성능을 최적화하는 동시에 학습 속도를 크게 가속화합니다. 우리는 이 작업이 고품질, 저지연, 장기(long-horizon) 오디오-비주얼 자기회귀 모델에 대한 새로운 최신 기술(SOTA) 성능 벤치마크를 설정할 뿐만 아니라, 차세대 AI 네이티브 소셜 플랫폼에 필요한 패러다임 전환을 제시한다고 믿습니다.

arXiv:2606.15617v2cs.CV

NeRD: 의료 영상 진단에서 효율적인 온톨로지 기반 사고의 연쇄를 위한 뉴로-심볼릭 규칙 증류

NeRD: Neuro-Symbolic Rule Distillation for Efficient Ontology-Grounded Chain-of-Thought in Medical Image Diagnosis

해석 가능성은 신뢰할 수 있는 의료 영상 진단에 필수적입니다. 그러나 기존의 개념 기반 해석 가능한 방법에는 주요한 한계가 있습니다. 개념 병목 모델(CBMs)은 추론 시간과 수동 개입을 위해 미리 정의된 모든 개념에 대한 점수화가 필요하여 임상의에게 상당한 부담을 주는 반면, 근거 기반 생성 접근 방식은 종종 클래스 판별력에 따라 개념을 선택하기 때문에 진단 온톨로지에서 벗어날 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 진단 규칙을 수동으로 작성할 필요 없이 충분하면서도 중복되지 않는 효율적이고 온톨로지 기반의 추론 사슬을 생성하는 프레임워크인 뉴로-심볼릭 규칙 증류(NeRD)를 제안합니다. 두 가지 피부 데이터셋에 대한 실험은 강력한 진단 성능과 해석 가능성을 보여주었으며, 맹검 전문가 평가는 NeRD 근거의 임상적 타당성을 확인했습니다. 우리의 방법은 또한 멀티모달 사고의 연쇄 기반 진단에 대한 최초의 전문가-인-더-루프 연구를 가능하게 하여, 효율적이고 효과적인 개념 수준의 개입을 달성했습니다.

arXiv:2605.20708v2cs.CV

Diffusion Transformers(DiT)에서의 층 간 정보 라우팅 재고

Rethinking Cross-Layer Information Routing in Diffusion Transformers

Diffusion Transformers(DiT)는 현대 시각 생성의 사실상의 백본이 되었으며, 토큰화, 어텐션, 컨디셔닝, 목적 함수, 잠재 오토인코더를 포함한 거의 모든 주요 설계 축이 광범위하게 재검토되었습니다. 그러나 층 간에 정보가 누적되는 방식을 결정하는 잔차 스트림(residual stream)은 원래의 트랜스포머로부터 직접 상속받았습니다. 본 논문에서는 DiT의 층 간 정보 흐름에 대해 깊이와 노이즈 제거 타임스텝(denoising timestep)을 함께 고려하여 체계적인 실증 분석을 수행하고, 전통적인 잔차 덧셈의 세 가지 구체적인 증상인 단조적 전방 크기 팽창, 급격한 후방 그래디언트 감쇠, 그리고 뚜렷한 블록 단위 중복성을 식별합니다. 이러한 진단에 동기를 부여받아, 우리는 하위 층 출력의 이력에 대해 학습 가능하고 타임스텝 적응적이며 비증분적인 집계를 수행하는 대체 가능한 잔차 대체 수단인 Diffusion-Adaptive Routing(DAR)을 제안합니다. 또한 제안된 DAR는 REPA와 같은 많은 현대 트랜스포머 향상 방법과 호환됩니다. ImageNet $256\times256$에서 DAR는 SiT-XL/2의 FID를 $2.11$만큼 향상시켰으며($7.56$ vs.\ $9.67$), 학습 반복 횟수를 $8.75\times$ 줄이고도 기준선의 수렴된 품질과 일치하는 성능을 보였습니다. REPA 위에 결합했을 때 초기 단계에서 $2\times$ 학습 가속을 달성하여, 층 간 정보 라우팅이 기존 표현 정렬 목표와 직교적으로 작동하는 확산 모델링에서 미탐색 설계 축임을 시사합니다. 사전 학습을 넘어, DAR는 대규모 텍스트-이미지(T2I) 모델의 미세조정 단계에서도 적용될 수 있으며 Distribution Matching Distillation 동안 고주파 세부 사항을 보존합니다.

arXiv:2606.18114v1cs.LG

Ternary Mamba: W1.58A16 상태 공간 모델의 그룹화 양자화 인지 학습

Ternary Mamba: Grouped Quantization-Aware Training of W1.58A16 State Space Models

Mamba-2와 같은 상태 공간 모델(SSM)은 선형 시간 추론을 제공하지만, 메모리 사용량이 엣지 배포를 제한한다. 기존 삼진 SSM 연구(Slender-Mamba)는 1500억 토큰으로 처음부터 학습하는 반면, 우리는 사전학습된 체크포인트만으로 충분함을 보여 추가 토큰 예산을 1,000배 줄였다. 동결된 FP16 교사로부터의 지식 증류를 결합한 그룹화 양자화 인지 학습(QAT)을 사용해 Mamba-2 1.3B를 3.61배(2,687MB에서 744MB)로 압축하고, 단 1.02억 토큰(단일 H100에서 4 GPU-시간)만으로 48.1% 제로샷 정확도(7개 태스크 평균)를 달성했다 — Bi-Mamba의 48.4%(±0.9pp CI 이내)에 근접한다. 사전학습 체크포인트 기반 QAT 설정에서는 zero-ratio collapse라는, 학습 가능한 양자화 스케일로 인해 발생하며 처음부터 학습에서는 나타나지 않는 새로운 불안정성이 드러난다. 또한 트랜스포머에 효과적인 사후 보정 전략은 순환을 통한 오차 누적으로 SSM에서는 실패함을 보였다. 이 결과는 삼진 SSM이 비용이 큰 처음부터 학습을 필요로 하지 않음을 보여준다: 지식 증류(KD)를 동반한 사전학습 체크포인트 기반 QAT가 데이터 효율적인 대안이다.