PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2406.17538v4cs.CV공식 코드 · Papers with Code

Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition

Micro-expressions are subtle facial movements that occur spontaneously when people try to conceal real emotions. Micro-expression recognition is crucial in many fields, including criminal analysis and psychotherapy. However, micro-expression recognition is challenging since micro-expressions have low intensity and public datasets are small in size. To this end, a three-stream temporal-shift attention network based on self-knowledge distillation is proposed in this paper. Firstly, to address the low intensity of muscle movements, we utilize learning-based motion magnification modules to enhance the intensity of muscle movements. Secondly, we employ efficient channel attention modules in the local-spatial stream to make the network focus on facial regions that are highly relevant to micro-expressions. In addition, temporal shift modules are used in the dynamic-temporal stream, which enables temporal modeling with no additional parameters by mixing motion information from two different temporal domains. Furthermore, we introduce self-knowledge distillation into the micro-expression recognition task by introducing auxiliary classifiers and using the deepest section of the network for supervision, encouraging all blocks to fully explore the features of the training set. Finally, extensive experiments are conducted on five publicly available micro-expression datasets. The experimental results demonstrate that our network outperforms other existing methods and achieves new state-of-the-art performance. Our code is available at https://github.com/GuanghaoZhu663/SKD-TSTSAN.

arXiv:2407.13911v5cs.CV

Continual Distillation Learning for Rehearsal-Free Class-Incremental Learning via Decoupled Prompting

Prompt-based continual learning has shown strong performance in rehearsal-free class-incremental learning by adapting learnable prompts while freezing a pre-trained Vision Transformer (ViT) backbone. However, the effect of backbone scale remains underexplored. We observe that larger ViT backbones consistently yield better continual learning performance, which motivates us to study how to transfer such capability from a larger model to a smaller one. In this paper, we introduce Continual Distillation Learning (CDL), a new setting for knowledge distillation in rehearsal-free prompt-based continual learning. We show that conventional distillation methods provide only limited gains in CDL, mainly because task-specific prompts are forced to encode both continual adaptation and distillation knowledge, while lacking a persistent mechanism for cross-task knowledge transfer. To address this problem, we propose Decoupled Continual Distillation Learning (D-CDL), which introduces persistent Knowledge-Distillation prompts (KD-prompts) and a dedicated KD branch to explicitly decouple distillation from task adaptation. The proposed KD-prompts are propagated across tasks as a global carrier of teacher knowledge, while the original prompts remain responsible for continual learning. D-CDL is simple, general, and can be integrated into various prompt-based continual learning frameworks. Extensive experiments on Split CIFAR-100 and Split ImageNet-R across four representative continual learning methods show that D-CDL consistently outperforms existing distillation baselines and substantially improves student performance under different teacher-student settings.

arXiv:2411.15076v4eess.IV

RankByGene: 교차 모달 순위 일관성을 통한 유전자 유도 조직병리학 표현 학습

RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency

공간 전사체학(spatial transcriptomics, ST)은 조직 내 유전자 발현을 매핑하여 필수적인 공간적 맥락을 제공하며, 세포 이질성과 조직 구조에 대한 상세한 연구를 가능하게 한다. 그러나 ST 데이터를 조직학(histology) 이미지와 정렬하는 것은 고유한 공간 왜곡과 모달리티별 변이로 인해 어려움이 있다. 기존 방법은 대부분 직접 정렬에 의존하는데, 이는 복잡한 교차 모달 관계를 포착하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 순위 기반 정렬 손실을 사용하여 유전자와 이미지 특징을 정렬하고, 모달리티 간 상대적 유사성을 보존하며 견고한 다중 스케일 정렬을 가능하게 하는 새로운 프레임워크를 제안한다. 정렬의 안정성을 더욱 높이기 위해, 교사-학생 네트워크 구조를 갖춘 자기 지도 지식 증류를 사용하며, 이는 교차 모달 정렬 과정에서 이미지 표현 표류(image-representation drift)를 방지하는 모달 내 안정성 정규화기 역할을 한다. 유전자 발현 예측, 슬라이드 수준 분류, 생존 분석을 아우르는 7개 공개 데이터셋에 대한 광범위한 실험은 본 방법의 효과를 보여 주며, 기존 방법 대비 정렬 및 예측 성능이 개선되었음을 나타낸다. 코드는 https://github.com/winston52/RankByGene 에서 이용할 수 있다.

arXiv:2607.06083v2cs.CV

MSA-DCNN: 의료 이미지 분류를 위한 데이터 효율적 다중 스케일 변형 가능 CNN

MSA-DCNN: A Data-Efficient Multi-Scale Attention Deformable CNN for Medical Image Classification

MSA-DCNN은 의료 이미지 분류에서 다중 스케일 형태 변이와 레이블 부족 문제를 통합적으로 해결하기 위해, 변형 가능 합성곱(deformable convolution) 기반의 적응적 다중 스케일 샘플링, 스케일별 MCBAM 어텐션 정제, 학습된 스케일 간 융합, 그리고 자기 지식 증류(self-distillation)를 단일 최적화 체계로 결합한 프레임워크다. C-NMC, PBC, ISIC-2020 벤치마크 및 외부 백혈병 데이터셋 평가에서 ViT·CNN 기준선 및 MICCAI 반지도 학습 기준선 대비 정확도·F1·AUC에서 경쟁력 있거나 더 우수한 성능을 더 적은 파라미터로 달성했다.

arXiv:2606.13460v3cs.CV

VISA: 3D 점유 월드 모델을 위한 VLM 기반 인스턴스 의미론 감사

VISA: VLM-Guided Instance Semantic Auditing for 3D Occupancy World Models

의미론적 3D 점유(occupancy)는 자율주행과 로봇 의사결정을 위한 복셀화된 월드 상태를 제공하지만, 객체 및 희귀 클래스 오류는 자유 공간 해석, 충돌 검사, 시간적 상태 전파에 영향을 줄 수 있다. 우리는 3D 복셀 또는 객체 특징을 크롭-캡션 임베딩과 정렬하는 흔한 VLM 전략이 텍스트 공간 유사도는 개선하지만 폐집합(closed-set) 점유 mIoU를 안정적으로 개선하지는 못함을 보인다. 이 불일치에 착안하여, 기존 점유 월드 모델을 위한 학습 시점 의미론 감사 접근법인 VISA를 제안한다. VISA는 각 물리적 객체 인스턴스의 대표 크롭에 대해 오프라인 VLM을 질의하여 클래스 가설, 그럴듯한 혼동, 신뢰도, 속성, 증거를 포함한 구조화된 감사(audit)를 얻고, 이를 객체 트랙(object track)을 따라 전파한다. 감사는 매칭된 3D 객체 복셀에 그라운딩(grounding)되며, 신뢰도 가중 분류체계, 속성 요인, 장면 수준 감사 그래프 손실을 통해 의미론 로짓(semantic logits)으로 지식 증류(distillation)되고, 추론(inference)은 변경 없이 VLM이 필요하지 않다. nuScenes에서 세 번의 실행 평균에 대해 VISA는 OccWorld의 mIoU를 19.06에서 20.05로, GaussianWorld의 mIoU를 21.36에서 21.91로 개선한다. GaussianWorld에서는 객체 mIoU가 18.18에서 19.16으로, 희귀 클래스 mIoU가 15.60에서 16.79로 개선된다. 이러한 결과는 VLM이 일반적인 캡션-임베딩 타깃보다 폐집합 점유에서 신뢰도 인식 의미론 감사자(semantic auditor)로 더 적합함을 시사한다.

arXiv:2607.10082v2cs.CV

이중 단계 증류를 통한 비제약 이벤트-이미지 특징 매칭의 레이블 없는 타겟 도메인 적응

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

이벤트 데이터와 이미지 데이터 간의 픽셀 수준 대응 관계 구축은 다중 센서 시스템의 기본적인 과제입니다. 그러나 기존의 교차 모달 매칭 방법들은 매칭 레이블이나 엄격하게 정렬된 하드웨어에 대한 의존성으로 인해 크게 제한되며, 매칭 정답 데이터와 사전 센서 관계 정보가 모두 부재한 레이블 없는 비제약 실환경 시나리오에는 적용이 어렵습니다. 이를 해결하기 위해, 우리는 새로운 2단계 학습 패러다임을 제안합니다. 첫째, 대규모 데이터를 활용하여 레이블 비의존적 증류 사전학습을 수행하며, 분포 기반 손실과 대조 손실로 최적화 목표를 개선하여 높은 일반화 능력을 갖춘 표현을 학습합니다. 둘째, 레이블 없는 비제약 다운스트림 데이터를 처리하기 위해 에피폴라 가이드 자기 증류 프레임워크를 도입합니다. 일관성 검증을 활용하여 강인한 매칭을 선별하고 외부 에피폴라 사전 정보로부터 도출된 기하학적 신뢰도를 통합함으로써, 우리의 모델은 어떠한 지도 없이도 타겟 도메인에서 직접적으로 효과적인 자기 진화가 가능합니다. 또한, 서로 다른 내부 파라미터와 해상도를 가진 물리적으로 분리된 카메라를 특징으로 하는 TUM-VIE 기반의 엄격한 교차 모달 평가 벤치마크를 소개합니다. 광범위한 실험을 통해 우리가 제안한 방법이 MVSEC과 TUM-VIE 자세 추정 태스크 모두에서 최첨단 성능을 달성함을 입증합니다. 소스 코드와 벤치마크는 https://github.com/ZhonghuaYi/nexus2-official 에서 공개될 예정입니다.

arXiv:2607.12787v2cs.AI

1B 매개변수보다 큰 멀티모달 감정 언어 모델이 정말 필요한가?

Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 멀티모달 감정 인식(MER) 성능을 크게 향상시켰으며, 비디오, 오디오, 언어 등을 공동으로 모델링하여 해석 가능한 설명 생성을 가능하게 했다. 그러나 이러한 성능 향상은 종종 모델 매개변수 크기의 증가(예: 최소 7B)를 동반하며, 이는 동시에 높은 계산 비용을 초래하고 추론 효율을 저하시켜 로봇 및 모바일 기기와 같은 자원 제약 플랫폼에서의 실시간 배포를 어렵게 한다. 이는 근본적인 질문을 던진다: 고품질 MER를 위해 1B 매개변수보다 큰 멀티모달 MER 모델이 정말 필요한가? 본 논문에서는 더 큰 모델이 본질적으로 필요하다는 가정에 도전하고, 지식 증류를 통해 더 우수하고 빠른 멀티모달 감성 이해 및 인식을 달성하는 경량 MER 프레임워크(Light-MER)를 제안한다. 강력한 대규모 교사 모델에서 경량의 10억 미만 매개변수 학생 모델로 지식을 전달하여, 풍부한 멀티모달 감정 추론 및 인식을 유지하면서 배포 효율을 대폭 향상하는 것을 목표로 한다. 구체적으로, 지식 전달을 강화하기 위한 두 가지 새로운 최적화 전략을 도입한다: (1) Sliced Wasserstein Distance와 은닉 상태 정렬(hidden-state alignment)을 결합한 새로운 최적 전송(optimal transport) 손실, (2) MER 성능과 효율의 균형을 맞추어 학생 모델의 학습 능력을 더욱 향상시키는 GRPO 기반 새로운 다중 보상 최적화 전략. 9개 벤치마크 데이터셋에 대한 광범위한 실험은 Light-MER가 최첨단 성능을 달성하면서 추론 효율을 크게 향상시킴을 보여준다. 이는 향후 연구를 위한 소형 멀티모달 감정 언어 모델의 큰 잠재력을 부각한다. 코드는 https://github.com/GAIR-Lab/Light-MER 에서 이용 가능하다.

arXiv:2605.22882v4cs.CV

GEM-4D: 로봇 조작을 위한 기하학 강화 비디오 월드 모델

GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation

비디오 월드 모델은 단일 명령어로부터 사실적인 미래를 생성할 수 있지만, 시간에 걸쳐 동일한 물리적 점을 일관되게 추적하는 데 종종 실패합니다. 그 결과 생성된 비디오는 그럴듯하게 보이지만, 로봇 조작과 같은 신뢰할 수 있는 행동 실행에 필요한 물리적 그라운딩이 부족합니다. 우리는 이 한계를 해결하는 기하학적 기반 비디오 월드 모델인 GEM-4D를 제안합니다. GEM-4D는 학습 중 사전학습된 기하학 파운데이션 모델로부터 증류된 밀집 4D 대응 감독(supervision)을 비디오 생성 백본에 주입합니다. 이 감독을 통해 모델은 외관과 기하학적 구조를 공동으로 포착하는 동시에 추론 비용이 추가되지 않는 단일 스트림 아키텍처를 유지합니다. 또한 우리는 대응 일관성 있는 비디오 롤아웃을 실행 가능한 로봇 궤적으로 변환하는 역방향 다이나믹스 모듈을 도입하여, 실세계 및 시뮬레이션 조작 모두에서 직접 배포를 가능하게 합니다. GEM-4D는 시뮬레이션과 실제 시나리오 모두에서 비디오 예측 및 기하학적 일관성 면에서 최첨단 성능을 달성하며, 실세계 조작 성공률을 61%에서 81%로 향상시킵니다. 추가 결과는 https://gem-4d.github.io/ 에서 확인할 수 있습니다.

arXiv:2607.23125v2cs.LG

Noisy Student 온-정책 자기 증류를 이용한 비전-언어 모델 자기 부스팅

Self-Boosting Vision-Language Models with Noisy Student On-Policy Self-Distillation

사후 학습은 비전-언어 모델(VLM)이 인간의 지시를 이해하고 다양한 다운스트림 작업을 수행할 수 있게 한다. 현재의 사후 학습 방법은 보통 인간 주석 데이터, 외부 모델로부터의 지식 증류, 인간 피드백 강화학습(RLHF), 또는 검증 가능한 정답에 의존한다. 이는 외부 감독 없이 성능을 향상시키는 능력을 제한한다. 이를 해결하기 위해, 우리는 NOPD(Noisy Student On-Policy Self-Distillation)를 제안한다. 이는 외부 모델이나 정답(ground-truth) 없이 VLM을 개선하는 단순하면서도 효과적인 자기 증류(self-distillation) 방법이다. 핵심 통찰은 깨끗한 입력과 손상된 입력 간의 예측 불일치가 자연스럽게 자기 감독(self-supervision) 신호를 유도한다는 것이다. NOPD에서는 모델이 손상된 입력으로부터 학습하면서, 깨끗한 입력에 대한 자신의 예측을 토큰 수준 감독으로 사용한다. 다섯 가지 시각적 추론 작업에서 NOPD의 효과를 보였으며, 강화학습 접근법이나 외부 모델로부터의 지식 증류와 동등하거나 심지어 더 나은 성능을 낼 수 있다. 특히 Geometry3K의 2.1K 샘플로 학습했을 때, NOPD는 검증 세트에서 Qwen2.5-VL-7B를 20점 향상시킨다. 또한 분포 외(out-of-distribution) 테스트 세트에서 일반화를 보이며 MathVista에서 7.4점 향상을 달성한다. 또한 NOPD가 VLM을 향상시키는 일반적인 접근법임을 보였으며, 12개 벤치마크에서 세 모델 모두에 걸쳐 성능 향상을 달성한다.

arXiv:2606.30345v2cs.LG

DRIFT: 리듬 게이팅 탐험과 성공 버퍼 학습을 활용한 난이도 라우팅 자기 증류

DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

DRIFT는 외부 감독 없이 대규모 언어 모델(LLM)의 안정적인 자기 개선을 위해 문제 수준의 난이도 라우팅(Difficulty Routing)과 토큰 수준의 리듬 게이팅(Rhythm Gating)을 결합한 온라인 자기 진화 정책 최적화 프레임워크로, 성공 버퍼와 2단계 커리큘럼 학습을 통해 GRPO 및 SDPO 대비 5개 벤치마크 평균 점수에서 각각 9.5%, 7.5% 높은 79.5%를 달성했다.

arXiv:2607.24731v2cs.CV

온-정책 확산 증류에서 Classifier-Free Guidance 재고

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

온-정책 증류(on-policy distillation, OPD)는 현재 student가 생성한 궤적을 따라 teacher를 질의함으로써 확산 모델을 적응시키지만, 현대 확산 시스템의 기본 구성 요소인 classifier-free guidance(CFG) 하에서 어떻게 동작해야 하는지는 여전히 잘 이해되지 않았다. 기존 OPD 방법은 속도 매칭(velocity matching)을 CFG로 합성된 예측에 자연스럽게 확장하여, teacher와 student의 guided velocity를 직접 일치시킨다. 우리는 이 목적 함수가 분기(branch) 수준에서 식별 불가(under-identified)임을 보인다. positive 분기와 negative 분기의 오류가 guided prediction에서 서로 상쇄될 수 있다. 두 대조적인 사례를 통해, naive matching이 공유 negative conditioning 하에서는 여전히 효과적이며, 두 분기 오류가 함께 감소함을 발견한다. 그러나 모델의 기본 CFG 스키마가 teacher의 negative 분기에 student가 접근할 수 없는 특권 정보(privileged information)를 유지하는 경우, 이러한 공동 감소는 붕괴되고, 합성된 목적 함수는 적대적인 분기-오류 역학을 유발하여 positive 분기 오류는 줄이면서 negative 분기 오류는 증가시킨다. 우리는 이러한 실패 모드를 Negative Branch Asymmetry(NBA)라고 부른다. NBA를 해결하기 위해, positive 예측과 CFG 조건부 방향을 각각 제약하는 분기 인식(branch-aware) OPD 목적 함수인 Positive-Direction Matching(PDM)을 제안한다. PDM을 dense-to-sparse 비디오 제어에 적용한다. 여기서 naive guided matching은 추론 guidance scale에 매우 민감한 반면, 분기 인식 supervision은 더 견고하고 효과적인 지식 전달을 가능하게 한다.

arXiv:2607.22241v2cs.CV

AgentHOI: 암시적 표현 정렬을 통한 인간-객체 상호작용 비디오 생성을 위한 멀티 에이전트 추론

AgentHOI: Multi-Agent Reasoning for Human-Object-Interaction Video Generation via Implicit Representation Alignment

최근 비디오 확산 모델의 발전으로 단일 피사체 애니메이션을 넘어 상호작용 논리에 대한 세밀한 제어를 요구하는 인간-객체 상호작용(HOI) 비디오 생성에 대한 관심이 높아지고 있다. 그러나 기존 HOI 방법은 명시적 모션 제어에 크게 의존하여, 다양한 객체와 상호작용에 대한 확장성과 일반화를 제한한다. 본 연구에서는 AgentHOI를 제안한다. 이는 생성 전 사고(thinking-before-generation) 프레임워크를 따르는 텍스트 기반 HOI 비디오 생성 방법으로, 지각, 상호작용, 모션 계획에 걸친 멀티 에이전트 추론을 통해 고수준 텍스트 의도와 물리적 실행 사이의 간극을 메운다. 생성된 상호작용 계획을 바탕으로 텍스트 기반 모션 이해를 더욱 강화한다. 암시적 텍스트-모션 정렬 전략을 도입하여 텍스트-모션 사전 지식을 비디오 확산 모델에 지식 증류함으로써, 추론 시 명시적 모션 입력 없이도 견고한 HOI 합성을 가능하게 한다. 실험 결과, AgentHOI는 착용 및 탑승과 같은 도전적인 객체 중심 시나리오에서 상호작용 자연스러움, 객체 외형 보존, 복잡한 텍스트 지시 준수를 크게 향상시킨다. 코드는 https://github.com/bone-11/agenthoi 에서 제공된다.

arXiv:2606.24353v2cs.CV

3D 인식 기하학적 제약을 활용한 개방형 어휘 BEV 분할

Open-Vocabulary BEV Segmentation with 3D-Aware Geometric Constraints

조감도(Bird's-eye view, BEV) 인식은 자율주행을 위해 다중 카메라 이미지를 통합된 하향식 표현으로 융합한다. 최근의 발전에도 불구하고, 최신 방법들은 폐쇄형 집합(closed-set) 시나리오에 국한되어 예측 불가한 실제 환경에 취약하다. 본 연구에서는 개방형 어휘 BEV 분할(open-vocabulary BEV segmentation, OVBS)을 제안한다. 이는 비전-언어 모델(VLM)을 활용하여 학습 집합 너머의 카테고리를 인식하면서 정밀한 BEV 인식과 실시간 효율성을 유지한다. OVBS의 핵심 과제는 2D VLM 의미론을 BEV로 리프팅(lifting)하는 비적정 문제에 내재된 3D 기하학적 불일관성이다. 이를 해결하기 위해, 우리는 기하학 인식 OVBS 프레임워크인 OVBEVSeg를 제안한다. 이 프레임워크는 세 가지 점진적 단계에 걸쳐 강건한 3D 기하학적 제약을 활용하여 효율적인 가우시안 스플래팅(Gaussian splatting, GS) 기반 역투영(unprojection)을 향상시킨다: (1) OV 일반화를 위한 신뢰성 있는 3D 투영을 통한 2D-to-BEV 의사 레이블링(pseudo-labeling); (2) 3D 기하학적 일관성을 위한 BEV 구조적 제약을 포함한 공동 2D-BEV 장면별 최적화; (3) 온라인 효율성을 위한 3D 기하학적 지식 증류. nuScenes 데이터셋에서 OVBEVSeg는 최신 성능을 달성하며, 미관측 카테고리에서 폐쇄형 집합 방법을 15.3 mIoU만큼 능가한다. 주목할 만한 점은, 새로운 클래스에 대한 정답 레이블이 전혀 없음에도 불구하고, 최대 40%의 정답 어노테이션으로 학습된 자기지도 및 반지도 기반 베이스라인과 경쟁력 있는 성능을 유지한다는 것이다. 또한 투영 기반 방법 대비 2.5배 빠른 추론 속도와 단 0.22배의 메모리 소비를 달성한다. 프로젝트 페이지: https://hchoi256.github.io/projects/ovbevseg/.

arXiv:2607.22720v2cs.LG

CausalGate: 트랜스포머 모듈 가지치기를 위한 인과적 중요도 증류

CausalGate: Causal Importance Distillation for Transformer Module Pruning

기존 대규모 언어 모델(LLM)의 적응형 추론 방법은 은닉 상태 유사도나 활성화 크기와 같은 관찰적 휴리스틱에 의존하여 중복 모듈을 제거한다. 그러나 이러한 상관관계 기반 지표는 의미적 정확도에 필수적인 미묘하고 비선형적인 구조적 연산을 포착하는 데 종종 실패한다. 우리는 연산 효율적인 트랜스포머 추론을 위한 개입 기반 프레임워크인 CausalGate를 제안한다. 보정 단계 동안 CausalGate는 개별 어텐션 및 MLP 하위 층을 분리하고, 각각의 출력을 0으로 만든 다음, 최종 로짓 분포의 Kullback-Leibler 발산을 통해 정확한 의미적 손상을 측정한다. 런타임 라우팅 오버헤드를 제거하기 위해, 이 구조적 중요도 계층은 지수 이동 평균(EMA) 평활화 목적 함수와 미분 가능한 쌍별 순위 손실을 결합하여 정적이고 경량의 스칼라 게이트 전역 집합으로 증류된다. TinyLlama-1.1B, Qwen2.5-3B, Llama-3.1-8B에서 언어 모델링 및 상식 추론 벤치마크로 평가한 결과, CausalGate는 주요 동적 라우팅 및 층 건너뛰기 기준선을 일관되게 능가하며, 이론적 연산 절감을 운영 오버헤드 없이 구체적인 하드웨어 지연 시간 감소로 전환한다.

arXiv:2607.24013v2cs.CV

AptAvatar: 프로덕션 준비형 아바타를 위한 빠르고 생생한 장편 오디오 기반 비디오 생성

AptAvatar: Fast and Vivid Long-Form Audio-Driven Video Generation for Production-Ready Avatars

프로덕션 준비형(production-ready) 오디오 기반 아바타 생성은 충실도나 모션 표현력을 희생하지 않으면서 효율적인 추론을 요구한다. 그러나 기존 가속 방법은 인과적 어텐션(causal attention)이나 짧은 시간적 지평(short temporal horizons)과 같은 제한적인 아키텍처 선택을 통해, 또는 모델 용량과 해상도를 줄이는 방식으로 종종 품질을 타협한다. 이러한 타협 없이, 우리는 빠르고 표현력 있는 추론을 제공하는 140억 매개변수(14B-parameter) 장편 오디오 기반 아바타 생성 프레임워크인 AptAvatar를 제안한다. 프로덕션 수준 애플리케이션에서의 효율성을 위해 AptAvatar는 극단적인 2단계 생성 과제를 다룬다. 다단계 교사 모델과 2단계 학생 모델 사이의 격차를 줄이기 위해, 우리는 Endpoint-Anchored Distribution Distillation(끝점 고정 분포 증류)을 도입한다. 이는 고정된 사전학습 4단계 브리지 생성기로부터 정의된 궤적 끝점(trajectory-endpoint) 분포에서 학습된 전용 Anchor Score Estimator(앵커 점수 추정기)를 통해 기본 분포 매칭을 보강한다. 이는 진화하는 2단계 학생 모델을 위한 달성 가능한 끝점 수준의 앵커를 제공한다. 장기 일관성을 개선하기 위해, 우리는 청크 단위(chunk-wise) 학습 동안 이전 생성기 체크포인트의 캐시된 출력을 이력 조건(history conditions)으로 재사용하는 Self-Generated History Replay(자체 생성 이력 재생)를 추가로 도입한다. 이는 비용이 큰 온라인 롤아웃(online rollouts) 없이 추론 시점의 자체 생성 이력에 대한 조건화를 근사하여, 누적된 이력 오류로 인한 품질 저하를 완화한다. 광범위한 실험은 AptAvatar가 단 2 NFE(Number of Function Evaluations)로 생생한 720p 장편 아바타 비디오를 생성하며, 시각적 충실도와 장기 정체성(long-horizon identity)을 유지하면서 60배 속도 향상을 달성함을 보여준다. 코드는 https://github.com/TaoLiveAIGC/AptAvatar 에서 제공된다.

arXiv:2607.13656v2cs.CV

FreeLit: 물리 유도 확산을 통한 페어 없는 실내 재조명

FreeLit: Paired-Free Indoor Relighting via Physics-Guided Diffusion

이미지 기반 실내 장면 재조명은 복잡한 기하 구조와 국부 조명 간의 복잡한 상호작용 때문에 광원 위치, 색상, 강도를 정밀하게 모델링해야 하므로 여전히 어려운 과제로 남아 있다. 기존 데이터 기반 방법은 페어드 다중 조명 데이터셋을 통해 이 관계를 암묵적으로 학습한다. 그러나 이러한 데이터는 비용이 높고 확장하기 어려워, 정확한 광원 수준 제어에 필수적인 요소가 되지 못한다. 반면 역렌더링(inverse rendering) 방법은 물리적 사전 지식을 통합해 데이터 의존성을 줄이지만, 까다로운 조건에서 본질(intrinsic) 추정의 견고성이 부족하다. 본 논문에서는 광원 위치, 색상, 강도를 명시적으로 조작하는 제어 가능한 실내 재조명을 위한 페어 없는(paired-free) 프레임워크인 FreeLit을 제시한다. 페어 감독(supervision)에 의존하는 대신, 본질 장면 속성으로부터 물리 유도 조명 사전 지식을 구성하고, 구조화된 라이트맵(lightmap)과 의사 재조명(pseudo-relit) 이미지를 함께 생성하여 확산 기반 합성을 유도한다. 특히 저조도 장면에서 본질 추정의 불안정성을 해결하기 위해, 구조 인식 지식 증류(distillation)와 일관성 제약을 통해 조명 불변 반사율(reflectance)을 강제하는 재조명 유도 본질 안정화 전략을 도입한다. 또한 사용자가 지정한 조명 색상 및 강도와의 정렬(alignment)을 정량화하는 제어 지향 평가 지표를 제안한다. 실험 결과, FreeLit은 페어 감독 없이도 안정적이고 물리적으로 일관되며 제어 가능한 재조명을 달성하며, 저조도 실내 장면에서 견고성이 향상됨을 보여준다.

arXiv:2606.22568v5cs.CV

SeFi-Image: Semantic-First Diffusion 기반 텍스트-이미지 파운데이션 모델

SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion

이미지 생성 파운데이션 모델의 학습은 상당한 자원을 소비한다. 이전 방법들은 학습 과정을 가속하기 위해 의미적(semantic) 유도를 활용하려 시도했지만, 실험은 ImageNet과 같은 단순한 데이터셋, 낮은 해상도, 소규모 모델에서만 수행되었다. 본 논문에서는 새로운 잠재 확산(latent diffusion) 모델링 패러다임인 semantic-first diffusion 위에 구축된 텍스트-이미지 파운데이션 모델 SeFi-Image를 제안한다. SeFi-Image를 1B, 2B, 5B 매개변수의 세 가지 모델 규모로 구현하여, 스케일링(scaling) 거동의 체계적 연구와 다양한 연산 예산에 따른 유연한 배포를 가능하게 한다. 특히, 가장 큰 5B 모델은 단 125K A800 GPU 시간으로 학습되었으며, 이는 Z-Image가 사용한 학습 연산량의 대략 10–20%에 해당한다. 그럼에도 Qwen-Image 및 Z-Image와 동등하거나 더 나은 결과를 달성한다. 이러한 적은 학습 연산량에도 불구하고 SeFi-Image는 GenEval, DPG, LongTextBench, OneIG, CVTG-2K를 포함한 다양한 벤치마크에서 강력한 성능을 보인다. 또한 다양한 하드웨어 제약과 지연 시간 요구에 대응하기 위해 각 모델 규모별로 DMD2 증류(distilled) few-step turbo 변형을 제공한다. 코드와 가중치를 공개하고, 본 연구가 T2I(텍스트-이미지) 생성을 위한 의미 유도 확산 모델링에 대한 유용한 통찰을 커뮤니티에 제공하며, 실용적이고 바로 배포 가능한 모델 옵션도 함께 제공하기를 기대한다.

arXiv:2510.07884v3cs.CL

대조적 약-강 일반화

Contrastive Weak-to-strong Generalization

약-강 일반화(Weak-to-strong generalization)는 정렬된 약한 모델의 샘플로 더 강한 모델을 학습시킴으로써, 인간 피드백이나 명시적 보상 모델링 없이 대규모 언어 모델(LLM)을 스케일링하는 유망한 패러다임을 제공한다. 그러나 약한 모델 출력의 잡음과 편향으로 인해 견고성과 일반화가 저해되어 실제 적용 가능성이 제한된다. 이 문제를 해결하기 위해, 우리는 로그 가능도 비율을 통해 명시적 보상을 근사하는 암묵적 보상(implicit reward)을 활용하고, 이것이 LLM 생성의 잡음을 줄이는 디코딩 전략인 대조적 디코딩(Contrastive Decoding, CD)과 구조적으로 동등함을 밝힌다. 이 연결고리를 토대로, 우리는 정렬 전후의 약한 모델 간 대조적 디코딩을 활용하여 더 높은 품질의 샘플을 생성하는 프레임워크인 대조적 약-강 일반화(ConG)를 제안한다. 이 접근법은 보다 신뢰할 수 있는 능력 전이, 잡음 제거, 향상된 견고성을 가능하게 하여 기존 약-강 방법의 한계를 크게 완화한다. 다양한 모델 계열에 걸친 실험 결과는 일관된 성능 향상을 확인하며, ConG의 범용성과 효과성을 입증한다. 종합하면, 우리의 연구 결과는 ConG가 약-강 일반화를 발전시키고 AGI를 향한 유망한 경로를 제공할 잠재력이 있음을 강조한다.

arXiv:2607.04763v3cs.LG

접두 재생을 이용한 다중 턴 온-정책 지식 증류

Multi-Turn On-Policy Distillation with Prefix Replay

우리는 LLM 에이전트가 여러 턴에 걸쳐 환경과 상호작용하고, 학생 모델이 이러한 다중 턴 상호작용 이력 전체에 걸쳐 교사를 모방하는 에이전트적 작업을 위한 온-정책 지식 증류(OPD)를 연구한다. 완전 온라인 OPD는 각 업데이트마다 환경을 통한 새로운 학생 롤아웃과 방문한 이력에서의 교사 쿼리가 필요하므로 비용이 크다. 우리는 Replayed-Prefix On-Policy Distillation(ReOPD)를 제안한다. 이는 환경 밖 대안으로, 사전 수집된 교사 궤적을 재생된 접두 문맥으로 재사용한다. 학생은 선택된 단계에서 행동하고, 교사는 새로운 환경 상호작용 없이 단계별 밀집 지도를 제공한다. 우리는 다중 턴 OPD가 접두 함정(prefix trap)을 도입함을 보인다. 이력을 더 학생-온-정책적으로 만들면 학생에 대한 관련성은 향상되지만, 교사의 목표가 신뢰할 수 없는 이력에서 교사를 쿼리할 수 있다. 이는 학생 점유(student occupancy)와 교사 신뢰성 사이의 양면적 분포 이동(distribution shift)을 만든다. ReOPD는 다중 턴 OPD를 신뢰성 인식(reliability-aware) 접두 분포 설계로 취급하여 이를 해결하고, 초기의 낮은 이동 접두 문맥을 강조하는 단순한 단계 감쇠(step-decaying) 샘플링 일정으로 이를 구현한다. Python을 이용한 수학적 추론과 검색 환경, 다양한 교사 및 학생 모델 규모에 걸쳐 ReOPD는 OPD 수준의 정확도를 유지하거나 개선하고, 학생 학습 중 도구 호출을 0회 사용하며, 롤아웃당 OPD보다 최소 4× 빠르다. 따라서 ReOPD는 비용이 큰 에이전트-환경 상호작용을 재사용 가능한 오프라인 자원으로 전환하여, 도구, 작업, 환경 전반에 걸친 확장 가능한 지식 증류를 가능하게 한다.

arXiv:2512.12713v2cs.NE

국소 구조적 가소성을 통한 적응형 아키텍처를 위한 자기 동기형 성장 신경망

Self-Motivated Growing Neural Network for Adaptive Architecture via Local Structural Plasticity

제어 정책은 종종 역전파로 학습된 고정 용량 다층 퍼셉트론으로 구현되며, 이는 사전에 아키텍처 선택이 필요하고 학습 중 용량을 조정할 수 없다. 본 논문은 국소 구조적 가소성 모듈(SPM)을 통해 토폴로지가 온라인으로 진화하는 그래디언트 기반 학습 컨트롤러인 자기 동기형 성장 신경망(SMGrNN)을 제안한다. SPM은 짧은 시간 구간에 걸친 엣지별 가중치 갱신 통계를 모니터링하고, 이러한 국소 신호를 사용하여 뉴런 삽입과 가지치기를 트리거하며, 시냅스 가중치는 표준 그래디언트 기반 옵티마이저로 최적화된다. 이를 통해 수동적인 아키텍처 튜닝 없이 학습 중 신경망 용량을 조정할 수 있다. SMGrNN은 정책 증류(policy distillation)를 통해 제어 벤치마크에서 평가된다. 다층 퍼셉트론 베이스라인과 비교하여, 유사하거나 더 높은 리턴, 더 낮은 분산, 과제에 적합한 신경망 크기를 달성한다. 성장이 비활성화된 변형과 성장만 가능한 변형에 대한 ablation 연구는 구조적 가소성의 역할을 분리하여, 적응형 성장이 보상 안정성을 개선하는 반면 가지치기는 통제되지 않은 확장을 방지하고 간결한 신경망 형성을 지원함을 보여준다. 이러한 결과는 그래디언트 기반 학습 신경망 내에서 국소 구조적 가소성의 독립적 가치를 입증하며, 유사한 구조 규칙을 보다 국소적이거나 스파이크 기반 학습 설정으로 확장할 수 있는지에 대한 향후 연구를 촉진한다.