PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬
PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
한국어 초록
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
원문 초록
Pretrained 3D encoders are typically developed on globally reconstructed scenes expressed in a consistent world coordinate frame, whereas embodied systems must reason from partial, viewpoint-dependent observations in camera coordinates. We show that this shift from globally learned 3D feature spaces to realistic partial observations exposes a severe representation mismatch, which we find consistently across representative state-of-the-art encoders, including Sonata and Concerto. A frozen Sonata encoder with a global linear probe achieves 72.47 mIoU on full ScanNet scenes, but 2.57 mIoU on single-frame camera-coordinate inputs. Training-free gravity alignment recovers performance to 41.64 mIoU, showing that coordinate-frame mismatch is a dominant source of degradation but cannot be fully resolved through canonicalization alone. We introduce PAGER, a label-free adaptation method that aligns partial-view features with a frozen global 3D semantic space using only paired partial/global geometry. It learns lightweight adaptation modules while keeping the pretrained encoder and global segmentation probe frozen. Matched-point feature alignment anchors partial features to their global counterparts, while relational supervision preserves their similarity structure with respect to the global representation. Global geometry provides supervision only during training. Inference operates directly on the partial observation. Without partial-view labels, PAGER outperforms label-supervised PEFT on both Sonata and Concerto, and in zero-shot ScanNet$\rightarrow$ScanNet++ transfer surpasses fully fine-tuned Sonata ($53.93$ vs.\ $48.09$ mIoU), suggesting that preserving the frozen global representation can improve cross-dataset transfer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CEKD: Cross-Modal Edge-Privileged Knowledge Distillation for Semantic Scene Understanding Using Only Thermal Images
SlotAVS: 이중 모달 슬롯 어텐션을 통한 객체 중심 시청각 세분화
SlotAVS: Object-Centric Audio-Visual Segmentation via Bi-Modal Slot Attention
시청각 세분화(Audio-Visual Segmentation, AVS)는 음향 신호를 시각 공간에 그라운딩(grounding)하여 소리를 내는 객체의 픽셀 단위 마스크를 예측하는 작업이다. 다중 음원 환경에서는 표준적인 정렬 중심 트랜스포머(transformer) 구조를 사용할 경우 동시에 발생하는 음원들이 공유된 시각적 표현 내에 뒤엉켜 마스크가 뭉개지거나 불안정한 특화(specialization) 현상이 발생하곤 한다. 이를 해결하기 위해 우리는 경쟁적 이중 모달 슬롯 어텐션(bi-modal slot attention)을 기반으로 하는 객체 중심 프레임워크인 SlotAVS를 제안한다. 강건한 파운데이션 모델(foundation model)이 풍부한 의미론적 사전 정보를 제공하지만, SlotAVS는 전역적 교차 모달 융합에서 명시적인 경쟁적 결합(competitive binding)으로 패러다임을 전환한다. 시간적 오디오 시퀀스로부터 이산적인 객체 슬롯을 초기화하고 공간적 시각 토큰(token)에 대해 슬롯 간의 엄격한 경쟁을 유도함으로써, 본 방식은 서로 다른 음향 엔티티들이 뒤섞이는 현상을 구조적으로 완화한다. 나아가 인스턴스 수준 학습을 안정화하기 위해 공간 및 경계 중첩도를 활용하여 슬롯과 실제 정답(ground-truth) 객체를 최적으로 정렬하는 헝가리안 매칭(Hungarian matching) 전략을 도입한다. 수치적으로 안정적이고 신뢰도를 고려하는 마스크 융합 메커니즘과 결합되어, SlotAVS는 다중 음원 예측을 강건하게 통합한다. AVSBench 데이터셋(dataset)을 통한 광범위한 실험은 단일 음원(S4) 분할에서 88.6% mIoU, 다중 음원(MS3) 분할에서 71.7% mIoU를 달성하여 본 접근법의 유효성을 입증한다. 이러한 결과는 복잡한 시청각 장면 이해 및 파운데이션 모델의 용량에만 의존하지 않고 그 사전 정보를 효과적으로 활용하는 데 있어 명시적인 경쟁적 결합이 결정적임을 보여준다.
표현 차이 증류
Representational Difference Distillation
지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.
S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구
S-Space: Exploring Spatial Workspace in Multimodal Language Models
멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.
증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견
Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning
언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.
크로스뷰 지오로컬라이제이션에서 뷰 변화에 대응하는 전체적 장면 레이아웃 학습
Learning Holistic Scene Layout against View Shifts in Cross-View Geo-Localization
크로스뷰 지오로컬라이제이션(cross-view geo-localization)은 시점 변화로 인한 극심한 외형 변화와 기하학적 왜곡 때문에 여전히 어려운 과제이다. 기존 방법들은 주로 판별적 특징(feature) 학습이나 명시적인 기하학적 정렬에 의존하지만, 중요한 관찰 하나를 간과하는 경우가 많다: 인간은 고립된 지역적(local) 시각적 단서에만 의존하기보다 여러 랜드마크의 공간적 맥락(spatial context)을 통합하여 장면을 매칭하는 경향이 있다는 것이다. 이에 착안하여, 우리는 특징 맵(feature map)을 네 개의 직교하는 방향을 따라 순회하며 각 공간적 위치에서 결과로 얻어진 방향별 표현(directional representation) 간의 상호작용을 모델링하는 공간 맥락 모델링(Spatial Context Modeling, SCM) 모듈을 제안한다. 상호 보완적인 방향별 관찰들을 집계함으로써, SCM은 더 풍부한 장면 레이아웃 표현을 구성한다. 신뢰할 수 있는 공간적 맥락은 견고한 시각적 특징에 의존하기 때문에, 우리는 주파수 영역(frequency domain)에서 안정적인 구조적 단서를 추출하는 고주파 정보 안내(High-Frequency Information Guidance, HFIG) 모듈을 도입한다. 외형 변화에 덜 민감한 에지(edge)와 윤곽(contour)을 강조함으로써, HFIG는 모델이 더 견고한 표현을 학습하도록 유도한다. 광범위한 실험을 통해 우리의 방법이 표준 크로스뷰 지오로컬라이제이션 벤치마크에서 경쟁력 있는 성능을 달성하면서도, 방향(orientation)을 알 수 없고 시야각(field of view, FoV)이 제한된 더 어려운 시나리오에서 강한 견고성을 보인다는 것을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.