사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
지식 증류(knowledge distillation)에서 교사 모델의 은닉 표현은 직교 및 등방 스케일링 동치류(equivalence class)까지만 식별 가능하므로 절대 좌표 매칭은 비적합 문제(ill-posed)임을 기하학적으로 규명하고, 역량(capability)은 표현이 아닌 출력 함수(로짓)라는 군 불변량(class invariant)에 의존함을 보인다. Qwen2.5와 Llama-3.1 실험에서 은닉 표현 복원(CKA ≈ 0.99)은 역량을 회복하지 못한 반면, 로짓 매칭은 역량을 완전히 복원하여 이론적 예측을 검증한다.
이종 지식 증류(HKD)는 다양한 아키텍처 간(예: 트랜스포머에서 CNN으로) 지식을 전달하는 것을 목표로 하지만, 본질적으로 심각한 학습 불안정성 문제를 겪는다. 우리는 이 불안정성이 두 가지 강하게 결합된 과제에서 비롯됨을 밝힌다: 최적화 지연을 유발하는 대규모 특징 노름 불일치, 그리고 서로 다른 귀납적 편향으로 인해 발생하는 주 목적 함수와 증류 목적 함수 간의 심각한 그래디언트 충돌. 안정적인 증류를 달성하기 위해, 우리는 새로운 특징 및 그래디언트 이중 안정화 메커니즘에 기반한 프레임워크인 SPOFA를 제안한다. 구체적으로, 특징 수준에서는 특징 크기와 방향을 명시적으로 분리하여 의미론적 정렬을 위한 경계적이고 안정적인 공간을 생성하는 LayerNorm 기반 분리 프로젝터를 도입한다. 그래디언트 수준에서는 모멘텀 기반 지수 이동 평균(MEMA) 동적 스케일러를 제안한다. MEMA는 최적화 궤적의 강건한 과거 기준선을 구축함으로써 순간적인 그래디언트 충돌을 능동적으로 평가하고 해로운 증류 신호를 적응적으로 억제하여 안정적인 수렴을 보장한다. 중요하게도, SPOFA는 이러한 이중 안정화를 극도로 경량화된 매개변수 크기로 달성한다. 두 가지 주류 벤치마크에서의 광범위한 실험을 통해 SPOFA가 최첨단 정확도를 달성하며, 표준 기준선 대비 최소한의 계산 오버헤드만을 추가하면서 계산 비용이 높은 방법들보다 크게 뛰어남을 보여준다.
객체 카운팅 모델은 도메인 간 배포 시 밀도 구성(density composition)이 도메인마다 다르고 이 자체가 작업과 관련이 있기 때문에 성능이 저하되는 경우가 많습니다. 표준 특징(feature) 정렬 방법은 전역적인 도메인 불변성(global domain invariance)을 장려하여 이러한 변이를 억제하는 경향이 있으며, 이는 소스(source) 및 타겟(target) 도메인이 배경(background), 희소 전경(sparse foreground), 밀집 전경(dense foreground)의 비율이 다를 때 해로울 수 있습니다. 우리는 전체 주변 특징(marginal feature) 분포가 아닌 레이블 유도 조건 내에서 표현(representation)을 정렬하는 도메인 간 카운팅 프레임워크인 조건부 특징 정렬(Conditional Feature Alignment, CFA)을 제안합니다. 밀도 주석(density annotations) 또는 의사 밀도(pseudo-density) 예측이 주어지면, CFA는 전경/배경 또는 밀도 수준 조건을 구성하고 일치하는 조건에 속하는 특징만 정렬합니다. 우리는 조건부 발산(conditional divergence) 관점에서 이 아이디어를 형식화하여, 조건부 정렬이 조건-주변 밀도 이동(condition-marginal density shift)을 보존하면서 조건 내 불일치(within-condition discrepancy)를 제거함을 보여줍니다. 비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)의 경우, CFA는 주석에서 소스 조건을 추정하고 분리된(detached) 의사 밀도 맵에서 타겟 조건을 추정한 다음, 전체 이미지 일관성 정규화(full-image consistency regularisation)와 함께 조건별 적대적 정렬을 수행합니다. 소스 도메인 일반화(Source-Domain Generalisation, DG)의 경우, 생성된 소스 도메인 뷰 간에 조건별 메모리 일관성(condition-wise memory-consistency)을 강제하여 MPCount를 사용하여 동일한 원칙을 구현합니다. 군중 및 세포 카운팅 벤치마크에 대한 실험은 다양한 UDA 및 DG 설정에서 경쟁력 있거나 향상된 성능을 보여줍니다. 예를 들어, JHU-CROWD++ FH$\rightarrow$SN에서 CFA-DG는 MAE/RMSE를 MPCount의 216.3/421.4에서 90.5/169.9로 감소시켜, 조건별 정렬이 큰 날씨 및 밀도 유발 변화(weather- and density-induced shifts) 하에서 특히 효과적임을 나타냅니다. 이러한 결과는 조건별 정렬이 도메인 적응 카운팅(domain-adaptive counting)을 위한 유망한 설계 원칙임을 시사합니다.