arXiv:2602.12486v2 cs.CV

인간의 물리적 추론의 기초가 되는 객체 표상 모델링

Modeling The Object Representations Underlying Human Physical Reasoning

Andrey Gizdov, Andrea Procopio, Lorenzo Caputi, Georgi I. Ivanov, Yichen Li, Daniel Harari, Tomer Ullman

제출 2026-02-12

한국어 초록

인간은 물리적 현상을 추론할 때 오목한 부분을 매끄럽게 다듬은 대략적인 부피 기반의 '바디(bodies)'로 객체를 표상하는 것으로 보이며, 이는 효율적인 물리적 예측을 위해 미세한 시각적 세부 정보를 절충한 결과입니다. 그러나 이러한 표상의 구조는 여전히 거의 알려지지 않았습니다. 반면 분할(segmentation) 모델은 픽셀 단위로 정확한 마스크를 생성하도록 학습(training)되므로 이러한 바디와 잘 일치하지 않을 수 있습니다. 본 연구에서는 그럼에도 불구하고 이러한 모델들이 인간과 유사한 객체 표상을 획득하는지, 그리고 언제 획득하는지 질문을 던집니다. 각각 178명과 50명의 인간 참가자 데이터가 포함된 충돌 시간(TTC) 및 변화 감지(CD) 행동 과제를 활용하여, 분할 모델의 시각적 표상을 인간의 시각적 표상과 비교할 수 있는 파이프라인과 정렬(alignment) 지표를 제안합니다. 다양한 모델 크기와 학습 시간을 적용하여 여러 아키텍처(DINOv2, SegFormer, DeepLabV3+, UPerNet)에서 체계적으로 이를 수행합니다. 연구 결과, 짧은 시간 동안 학습된 모델은 객체를 지나치게 거칠게 분할하여 인간과의 정렬 수준이 낮았으며, 완전히 학습된 모델은 객체를 지나치게 세밀하게 분할하는 것으로 나타났습니다. 각 모델마다 인간의 행동에서 관찰되는 대략적인 바디와 가장 잘 일치하는 중간 단계의 학습 구간이 존재하며, 모델 크기가 클수록 이 구간에 더 일찍 도달하는 경향이 있습니다. 우리는 이러한 바디가 범용 비전 모델의 자원 제약 조건 하에서 창발함을 보여주며, 이는 인간 인지에 대한 자원 합리성(resource-rational) 설명에 계산적 근거를 제공합니다. 본 연구는 비전 모델과 인간 간의 정렬을 검증하기 위한 기초적인 프레임워크를 제공하며, 모델 크기와 학습 스케일링(scaling)으로 인해 인공지능의 최신 기술과 인간 인지 사이의 격차가 점차 벌어지고 있음을 보여줍니다.

원문 초록

Humans appear to represent objects when reasoning about physics with coarse, volumetric "bodies" that smooth concavities, trading fine visual detail for efficient physical predictions. Yet, the structure of these representations remains largely unknown. Segmentation models, in contrast, are trained for pixel-accurate masks that may misalign with such bodies. We ask whether and when these models nonetheless acquire human-like object representations. Using a time-to-collision (TTC) and change detection (CD) behavioral task with data from 178 and 50 human participants, respectively, we introduce a pipeline and an alignment metric to compare the visual representations of segmentation models to those of humans. We do this systematically on multiple architectures (DINOv2, SegFormer, DeepLabV3+, and UPerNet), varying their size and training time. We find that briefly trained models segment objects too coarsely, aligning poorly with humans, while fully trained models segment objects too finely. For each model, there is an intermediate training regime that best matches the coarse bodies observed in human behaviour, and larger models tend to reach it earlier. We show these bodies emerge under resource constraints in general-purpose vision models, providing computational support to resource-rational accounts of human cognition. This work provides a foundational framework for testing alignment between vision models and humans and shows there is a growing gap between the state-of-the-art in artificial intelligence and human cognition, driven by scaling model size and training.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.12486v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02903v1cs.CV공통 태그 Semantic Segmentation, Representation Learning

ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.

arXiv:2610.03031v1cs.CV공통 태그 Semantic Segmentation, Object Recognition

CrowdOcc: 붐비는 실내 환경의 4족 보행 로봇을 위한 단안 시맨틱 장면 완성

CrowdOcc: Monocular Semantic Scene Completion for Quadruped Robots in Crowded Indoor Environments

사람과 장면 간의 가림(occlusion)으로 인해 정적 기하학적 구조가 훼손되고 사람의 점유(occupancy) 예측이 불완전하거나 공간적으로 잘못 배치되는 실제 혼잡한 실내 환경에서, 4족 보행 로봇을 위한 단안 시맨틱 장면 완성(Semantic Scene Completion, SSC)은 여전히 충분히 연구되지 않았습니다. 본 논문에서는 이러한 환경을 위해 RGB-D 데이터셋이자 단안 SSC 프레임워크인 CrowdOcc를 제시합니다. CrowdOcc는 11개의 실내 장면에서 얻은 25.1K 프레임으로 구성되며, 정적·동적 분리를 통해 구축된 시맨틱 점유 주석을 포함합니다. 본 프레임워크는 (i) 가림에 강건한 기하학적 구조를 위해 깊이 인식 리프팅을 표면 법선(surface-normal) 단서로 보완하는 법선 유도 장면 기하학 융합(Normal Guided Scene Geometry Fusion, NGSGF), 그리고 (ii) 3D 공간에서 사람 간 및 국소적 사람-장면 간 관계를 선택적으로 모델링하는 사람 중심 희소 상호작용(Human-Centric Sparse Interaction, HCSI)을 결합합니다. 본 연구의 방법론은 장면이 분리된 CrowdOcc 테스트 세트에서 15.80 IoU, 11.40 mIoU, 46.23 Human IoU를 기록하며 최첨단 SSC 성능을 달성하여, 이전에 보지 못한 실내 장면에 대한 일반화 성능을 입증합니다.

arXiv:2610.00006v1cs.CV공통 태그 Semantic Segmentation, Representation Learning

창발적 객체 바인딩은 유한한 공간적 지평을 가진다

Emergent Object Binding Has a Finite Spatial Horizon

사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.

arXiv:2610.01589v1cs.CV공통 태그 Semantic Segmentation, Representation Learning

PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬

PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2610.10850v2cs.LG공통 태그 Representation Learning

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.