Visual-Semantic Scene Understanding by Sharing Labels in a Context Network
원문 초록
We consider the problem of naming objects in complex, natural scenes containing widely varying object appearance and subtly different names. Informed by cognitive research, we propose an approach based on sharing context based object hypotheses between visual and lexical spaces. To this end, we present the Visual Semantic Integration Model (VSIM) that represents object labels as entities shared between semantic and visual contexts and infers a new image by updating labels through context switching. At the core of VSIM is a semantic Pachinko Allocation Model and a visual nearest neighbor Latent Dirichlet Allocation Model. For inference, we derive an iterative Data Augmentation algorithm that pools the label probabilities and maximizes the joint label posterior of an image. Our model surpasses the performance of state-of-art methods in several visual tasks on the challenging SUN09 dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
Cross-Domain Few-Shot Semantic Segmentation
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
로봇 렌더링을 통한 로봇 요인 분리 월드 모델
Robot-Factored World Models via Robot Rendering
행동 조건부 비디오 월드 모델은 초기 관측과 행동 신호로부터 미래 관측을 예측한다. 우리는 행동 실현과 장면 반응 예측을 분리하기 위해 두 가지 로봇 특유의 요인을 월드 모델 밖으로 옮기는 로봇 분해형 월드 모델(RoFacto)을 제안한다. 첫째는 행동 실현으로, 각 명령 시퀀스를 장면 접촉 없이 로봇 자체의 제어기와 기구학을 통해 전개하여, 미래의 실현된 상태를 요구하지 않는 배포 가능한 공칭 궤적을 얻는다. 둘째는 로봇 렌더링으로, 이 공칭 궤적을 로봇 URDF를 통해 렌더링함으로써 로봇의 형상, 기구학, 외형을 모델에서 분리하여 명시적인 렌더링된 로봇 기하로 옮긴다. 쌍을 이루는 엔드 이펙터 및 장면 깊이는 접촉과 가림에 대한 기하학적 단서를 제공하며, 카메라를 고려한 정적 RGB 문맥과 렌더링된 로봇 기하는 시점과 형태를 가로지르는 공유 시각 인터페이스를 이루고, 모델은 이를 통해 장면 반응을 학습한다. 실험 결과, 렌더링 인터페이스는 벡터 조건부 기준선을 능가하고, 보지 못한 로봇 형태로의 전이를 지원하며, 리타기팅된 인간 시연으로부터 로봇 조작 비디오를 생성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.