Unsupervised video object-centric learning aims to decompose dynamic scenes into persistent, object-level representations without supervision. However, existing slot-based methods struggle to maintain stable object identity in challenging settings such as rapid motion and partial occlusion. First, they typically encode both the per-frame appearance of an object and its identity across frames in a single slot vector, creating an objective conflict that leads to slot swapping: reconstruction requires sensitivity to transient visual changes, whereas temporal consistency requires invariance to them. Second, the token renormalization used in Slot Attention can amplify weakly attending slots, allowing them to absorb tokens from other objects and destabilize slot-to-object correspondence. We propose Dual-State Slot Attention (DSSA), a fully self-supervised framework that addresses these limitations by separating appearance from identity and by reducing spurious updates from weakly matching slots. DSSA decomposes each slot into a local state for per-frame appearance and an identity state for temporally stable object information, thereby aligning reconstruction and temporal consistency with separate representations. The identity state is updated through a learned recurrent transition that acts as a temporal filter on the local state, while competition-modulated aggregation (CMA) down-weights updates from weakly matching slots and prevents them from absorbing tokens from other objects. Experiments on MOVi-C, MOVi-D, and YouTube-VIS demonstrate that DSSA consistently improves segmentation quality and temporal consistency over prior methods, while also yielding stronger downstream object recognition and video dynamics prediction. Code is available at https://uark-aicv.github.io/dssa/.
시청각 세분화(Audio-Visual Segmentation, AVS)는 음향 신호를 시각 공간에 그라운딩(grounding)하여 소리를 내는 객체의 픽셀 단위 마스크를 예측하는 작업이다. 다중 음원 환경에서는 표준적인 정렬 중심 트랜스포머(transformer) 구조를 사용할 경우 동시에 발생하는 음원들이 공유된 시각적 표현 내에 뒤엉켜 마스크가 뭉개지거나 불안정한 특화(specialization) 현상이 발생하곤 한다. 이를 해결하기 위해 우리는 경쟁적 이중 모달 슬롯 어텐션(bi-modal slot attention)을 기반으로 하는 객체 중심 프레임워크인 SlotAVS를 제안한다. 강건한 파운데이션 모델(foundation model)이 풍부한 의미론적 사전 정보를 제공하지만, SlotAVS는 전역적 교차 모달 융합에서 명시적인 경쟁적 결합(competitive binding)으로 패러다임을 전환한다. 시간적 오디오 시퀀스로부터 이산적인 객체 슬롯을 초기화하고 공간적 시각 토큰(token)에 대해 슬롯 간의 엄격한 경쟁을 유도함으로써, 본 방식은 서로 다른 음향 엔티티들이 뒤섞이는 현상을 구조적으로 완화한다. 나아가 인스턴스 수준 학습을 안정화하기 위해 공간 및 경계 중첩도를 활용하여 슬롯과 실제 정답(ground-truth) 객체를 최적으로 정렬하는 헝가리안 매칭(Hungarian matching) 전략을 도입한다. 수치적으로 안정적이고 신뢰도를 고려하는 마스크 융합 메커니즘과 결합되어, SlotAVS는 다중 음원 예측을 강건하게 통합한다. AVSBench 데이터셋(dataset)을 통한 광범위한 실험은 단일 음원(S4) 분할에서 88.6% mIoU, 다중 음원(MS3) 분할에서 71.7% mIoU를 달성하여 본 접근법의 유효성을 입증한다. 이러한 결과는 복잡한 시청각 장면 이해 및 파운데이션 모델의 용량에만 의존하지 않고 그 사전 정보를 효과적으로 활용하는 데 있어 명시적인 경쟁적 결합이 결정적임을 보여준다.
사전학습된 확산 트랜스포머(diffusion Transformer)는 영상 복원을 위한 강력한 생성 사전 정보(generative prior)를 제공하지만, 이를 구조에 민감한 태스크에 적응시키는 것은 여전히 어렵습니다. 기존 방법들은 주로 조밀한(dense) 저해상도 특징을 조건으로 활용하는데, 이는 두드러진 객체와 지배적인 배경을 서로 얽히게 만들고 스케일 및 샘플 전반에 걸쳐 반복되는 구조에 대해 제한적인 추상화만을 제공하는 경우가 많습니다. 본 논문에서는 생성 모델 적응을 위해 간결한 구조적 조건을 학습하는 객체 중심 표현 학습 프레임워크인 MOSAIC을 제안합니다. MOSAIC은 열화된 관측 영상을 상호보완적인 객체 수준 및 레이아웃 수준의 단서를 포착하는 구조적 슬롯으로 정리하고, 이를 여러 해상도에 걸쳐 통합하며, 공유된 프로토타입 메모리에서 반복되는 사전 정보를 검색하여 불완전한 영상 고유 정보를 보완합니다. 이렇게 도출된 표현은 경량 잔차 변조(residual modulation)를 통해 고정된(frozen) 확산 트랜스포머의 선택된 레이어에 주입되어 사전학습된 생성 사전 정보를 보존합니다. 우리는 소형 객체, 반복적인 구조, 대규모 스케일 변화로 인해 도전적인 시험대가 되는 원격 탐사 영상 초해상화에 MOSAIC을 적용합니다. UCMerced, AID, RSSCN7 데이터셋에 대한 실험 결과, $\times 2$ 및 $\times 4$ 설정 전반에서 일관된 PSNR 향상을 보였으며 $\times 4$에서 우수한 LPIPS 결과를 나타냈습니다. 정성적 결과 또한 소형 객체, 구조적 경계, 반복적인 공간 패턴의 보존 성능이 향상되었음을 입증합니다.
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
최근의 3D 장면 이해 연구들은 시각 파운데이션 모델(VFM)의 2D 마스크를 활용하여 래디언스 필드(radiance field)를 지도함으로써 인스턴스 수준의 3D 분할을 가능하게 합니다. 그러나 파운데이션 모델의 지도 신호는 근본적으로 객체 중심적이지 않으며, 시점 간 마스크 식별자(identity) 충돌을 해결하기 위해 마스크 전/후처리나 특화된 학습(training) 및 손실(loss) 설계가 추가로 필요한 경우가 많습니다. 또한 학습된 3D 장면의 식별자는 장면에 종속적이어서 여러 장면 간의 일반화 가능성을 제한합니다. 따라서 본 논문에서는 3D 가우시안 스플래팅(3DGS)에서 객체 표현을 학습하기 위한 데이터셋(dataset) 수준의 객체 중심 지도 방식을 제안합니다. 사전학습된 슬롯 어텐션(slot attention) 기반의 GOCL(Global Object Centric Learning) 모듈을 바탕으로, 시점과 장면에 걸쳐 일관되고 식별자에 고정된 표현을 제공하는 장면 무관(scene-agnostic) 객체 코드북을 학습합니다. 이 코드북을 모듈의 비지도 객체 마스크와 결합함으로써, 추가적인 마스크 전/후처리나 명시적인 다중 시점 정렬 없이도 3D 가우시안의 식별자 특징을 직접 지도할 수 있습니다. 학습된 장면 무관 코드북은 장면별 미세조정(fine-tuning)이나 재학습 없이도 객체 지도 및 식별을 가능하게 합니다. 이를 통해 본 연구는 비지도 객체 중심 학습(OCL)을 3DGS에 도입하여, 로봇 상호작용, 장면 이해, 다중 장면 일반화와 같은 다운스트림 태스크에서 더욱 구조화된 표현과 뛰어난 일반화 성능을 달성합니다.
객체 중심 학습(Object-Centric Learning, OCL)은 사람의 어노테이션 없이 이미지를 객체 단위로 분해하는 것을 목표로 한다. 주류 방법의 한 계열은 Slot Attention을 사용해 이미지 특징을 객체 수준 표현으로 집약한 뒤, 이를 바탕으로 마스킹된 이미지 내용, 즉 랜덤 마스킹(Random Masking, RM)을 재구성하여 자기지도 학습 신호를 제공한다. 최근 방법인 DIAS는 이미지 패치를 균일한 무작위성으로 단순히 마스킹함에도 경쟁력 있는 객체 발견 정확도를 달성한다. 집약 과정의 어텐션은 이미 객체 발견 능력을 갖고 있으므로, 이를 활용해 더 나은 이미지 패치 마스킹 전략, 즉 어텐션 유도 마스킹(Attention Guided Masking, AGM)을 개발하고 더 나은 자기지도 학습을 제공하는 방안을 탐구한다. 여섯 개의 널리 인정된 데이터셋에서의 결과는 AGM가 RM보다 항상 우수한 것은 아님을 보여준다. 무조건적 슬롯 초기화 하에서 AGM는 사실적인 텍스처를 가진 데이터셋(COCO 및 VOC)에서 배경 분할을 크게 개선한다. 조건부 또는 무조건적 슬롯 초기화 여부와 데이터셋을 불문하고, 전경 객체 발견은 비슷한 수준이거나 감소한다. OCL 커뮤니티의 동료 연구자들에게, 마스킹 디코딩으로 OCL을 개선하기 위해 내부 어텐션 의미를 활용하려는 시도는 위험할 수 있다고 제안한다. 소스 코드, 모델 체크포인트 및 평가 로그는 https://github.com/und-entropy/Does-Attention-Guided-Masking-Really-Help-Object-Discovery-in-Object-Centric-Learning-. 에서 이용할 수 있다.
실세계 장면 이해를 위한 객체 중심 모델 배포는 일반적으로 강건한 장면 분해와 고품질 생성을 동시에 달성하기 위해 복잡한 파이프라인을 필요로 합니다. 최근 확산(diffusion) 기반 접근법들은 시각적 품질을 향상시켰지만, 이들은 거의 예외 없이 Stable Diffusion과 같은 무거운 사전학습 생성 사전(prior) 및 외부 VAE 잠재 공간에 의존합니다. 본 논문에서는 Slot-RAE를 제안합니다. 이는 시각적 기반 모델(VFM)(예: DINOv3)의 연속적인 의미 특징(feature) 공간 내에서 직접 동작하는 훨씬 단순하고 완전히 통합된 프레임워크입니다. Slot-RAE는 Diffusion 트랜스포머(DiT) 디코더와 표현 정렬(REPA, Representation Alignment) 헤드를 사용하는 특징 공간 확산 프로세스를 적용합니다. 텍스트-이미지 사전에 크게 의존하는 기존 확산 기반 객체 중심 방법들과 달리, Slot-RAE의 생성 핵심 구성요소(슬롯 어텐션과 DiT)는 고정된 VFM 특징 공간 내에서 처음부터 학습됩니다. 이를 통해 VAE 병목과 태스크 비특화 생성 사전학습의 필요성이 제거됩니다. COCO 데이터셋에 대한 실험 결과, Slot-RAE는 구조적 단순성에도 불구하고 최첨단 성능을 달성합니다. 기존 객체 중심 잠재 확산 모델보다 훨씬 빠르고 계산 효율적이면서도, 비슷한 수준의 비지도 객체 검출, 더 높은 품질의 이미지 재구성, 강건한 제로샷 합성성(compositionality)을 제공합니다.
기존 슬롯 어텐션(slot attention)이 단일 입도의 외형 기반 분해만 수행하는 한계를 극복하기 위해, HSA(Hierarchical Slot Attention)는 전체론적(전경/배경)·의미론적(객체 범주)·파노픽(개별 인스턴스) 세 수준의 장면 분해를 단일 모델에서 동시에 학습한다. 레이블 데이터 10%와 계층적 정렬 손실만으로 COCO에서 가장 강력한 평탄 기준선 대비 최대 +41.5 ARI를 달성하며, 세 개의 별도 모델 없이 단일 순전파(forward pass)로 다중 입도 분해를 수행한다.
대규모 언어 모델(LLM) 에이전트는 축적된 경험을 통해 성능을 향상시킬 수 있지만, 상호작용이 증가함에 따라 자유 형식의 텍스트 기반 메모리는 유지·검증·재사용이 어려워진다. 최근의 심볼릭 접근법들은 실행 가능한 스킬이나 프로그래밍 방식의 월드 모델을 학습하지만, 로컬 프로시저만을 저장하거나 단순화된 동역학을 가정하는 경우가 많다. 우리는 경험을 실행 가능한 객체 중심 환경 모델로 구조화하는 객체 중심 환경 모델링(OCM, Object-Centric Environment Modeling)을 제안한다. OCM은 두 개의 연결된 코드베이스를 유지한다: 환경 엔티티와 메커니즘을 Python 클래스로 정의하는 객체 지식(object knowledge)과, 객체 모델을 임포트하고 사용해야 하는 재사용 가능한 상호작용 패턴을 기록하는 프로시저 지식(procedure knowledge)이다. OCM은 온라인 설정에서 동작한다: 각 에피소드 이후 궤적을 반성하고, 두 지식 베이스를 모두 업데이트하며, 업데이트된 객체 모델에 대해 모든 프로시저가 실행됨을 검증한다. 이후 상호작용 시 에이전트는 점진적 지식 공개(progressive knowledge disclosure)를 활용하여 먼저 간결한 코드 시그니처를 검사하고 필요할 때만 소스 코드를 읽는다. 실험 결과, OCM은 벤치마크 전반에 걸쳐 최고의 평균 순위를 달성하고 유효하지 않은 행동을 줄였으며, 이를 통해 에이전트가 객체 중심 환경 모델을 구축함으로써 이점을 얻을 수 있음을 입증한다.
비지도 객체 중심 학습(OCL)은 시각적 장면을 개별적인 개체로 분해합니다. 슬롯 어텐션은 개별 객체를 슬롯이라 불리는 잠재 벡터로 표현하는 인기 있는 접근법입니다. 현재 방법들은 사전학습된 비전 트랜스포머(ViT)의 마지막 층에서만 이러한 슬롯 표현을 얻으며, 다른 층에 걸쳐 인코딩된 가치 있고 의미론적으로 풍부한 정보를 무시합니다. 이러한 잠재 의미 정보를 더 잘 활용하기 위해, 우리는 비지도 객체 분할을 위한 슬롯 어텐션 기반 접근법에 적용할 수 있는 가벼운 플러그 앤 플레이 프레임워크인 MUFASA를 소개합니다. 우리 모델은 ViT 인코더의 여러 특징 층에 걸쳐 슬롯 어텐션을 계산하여, 그 의미론적 풍부함을 완전히 활용합니다. 우리는 여러 층에서 얻은 슬롯을 통합된 객체 중심 표현으로 집계하는 융합 전략을 제안합니다. 기존 OCL 방법에 MUFASA를 통합하면 여러 데이터셋에서 분할 결과가 개선되어 새로운 최신 성능을 기록하며, 동시에 미미한 추론 오버헤드만으로 학습 수렴을 개선합니다.
ARC는 문맥 내 규칙 유도를 테스트합니다: 몇 가지 입력-출력 데모(demonstrations)가 주어지면, 모델은 숨겨진 규칙을 추론하고 이를 새로운 쿼리(query)에 적용해야 합니다. 많은 접근 방식이 언어, 코드 또는 기호 프로그램(symbolic programs)을 통해 ARC 규칙을 표현하지만, ARC 자체는 시각-기호적(visual-symbolic)입니다: 규칙은 객체, 색상, 모양 및 공간 관계에 대한 그리드 전이(grid transitions)로 나타납니다. 우리는 이러한 규칙을 구조화된 상태(structured states)에 대한 조합 가능한 전이(composable transitions)로 학습하는 객체 중심(object-centric) 월드 모델링 아키텍처인 Loop-OWM을 소개합니다. 이는 색상 프로토타입 슬롯(color-prototype slots), 데모 조건(demonstration-conditioned) 작업 요약(task summaries), 그리고 밀도 전파(dense propagation)와 슬롯 조건(slot-conditioned) 보정(correction)을 갖는 루프 전이 모델(looped transition model)을 결합합니다. ARC-1과 ARC-2 모두에서 Loop-OWM은 유사하거나 더 적은 파라미터(parameters)로 비루프(non-looped) 및 루프(looped) 기준선(baselines)을 능가합니다. 이러한 결과는 ARC 규칙이 언어 설명(language descriptions)이나 탐색된 프로그램(searched programs)으로뿐만 아니라 시각-기호적(visual-symbolic) 월드 상태(world states)에 대한 전이(transitions)로도 학습될 수 있음을 시사합니다.