arXiv:1704.00112

Configurable 3D Scene Synthesis and 2D Image Rendering with Per-Pixel Ground Truth using Stochastic Grammars

Chenfanfu Jiang, Siyuan Qi, Yixin Zhu, Siyuan Huang, Jenny Lin, Lap-Fai Yu, Demetri Terzopoulos, Song-Chun Zhu

제출 2017-04-01

원문 초록

We propose a systematic learning-based approach to the generation of massive quantities of synthetic 3D scenes and arbitrary numbers of photorealistic 2D images thereof, with associated ground truth information, for the purposes of training, benchmarking, and diagnosing learning-based computer vision and robotics algorithms. In particular, we devise a learning-based pipeline of algorithms capable of automatically generating and rendering a potentially infinite variety of indoor scenes by using a stochastic grammar, represented as an attributed Spatial And-Or Graph, in conjunction with state-of-the-art physics-based rendering. Our pipeline is capable of synthesizing scene layouts with high diversity, and it is configurable inasmuch as it enables the precise customization and control of important attributes of the generated scenes. It renders photorealistic RGB images of the generated scenes while automatically synthesizing detailed, per-pixel ground truth data, including visible surface depth and normal, object identity, and material information (detailed to object parts), as well as environments (e.g., illuminations and camera viewpoints). We demonstrate the value of our synthesized dataset, by improving performance in certain machine-learning-based scene understanding tasks--depth and surface normal prediction, semantic segmentation, reconstruction, etc.--and by providing benchmarks for and diagnostics of trained models by modifying object attributes and scene properties in a controllable manner.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15764v1cs.CV공통 태그 Semantic Segmentation, Scene Understanding

SlotAVS: 이중 모달 슬롯 어텐션을 통한 객체 중심 시청각 세분화

SlotAVS: Object-Centric Audio-Visual Segmentation via Bi-Modal Slot Attention

시청각 세분화(Audio-Visual Segmentation, AVS)는 음향 신호를 시각 공간에 그라운딩(grounding)하여 소리를 내는 객체의 픽셀 단위 마스크를 예측하는 작업이다. 다중 음원 환경에서는 표준적인 정렬 중심 트랜스포머(transformer) 구조를 사용할 경우 동시에 발생하는 음원들이 공유된 시각적 표현 내에 뒤엉켜 마스크가 뭉개지거나 불안정한 특화(specialization) 현상이 발생하곤 한다. 이를 해결하기 위해 우리는 경쟁적 이중 모달 슬롯 어텐션(bi-modal slot attention)을 기반으로 하는 객체 중심 프레임워크인 SlotAVS를 제안한다. 강건한 파운데이션 모델(foundation model)이 풍부한 의미론적 사전 정보를 제공하지만, SlotAVS는 전역적 교차 모달 융합에서 명시적인 경쟁적 결합(competitive binding)으로 패러다임을 전환한다. 시간적 오디오 시퀀스로부터 이산적인 객체 슬롯을 초기화하고 공간적 시각 토큰(token)에 대해 슬롯 간의 엄격한 경쟁을 유도함으로써, 본 방식은 서로 다른 음향 엔티티들이 뒤섞이는 현상을 구조적으로 완화한다. 나아가 인스턴스 수준 학습을 안정화하기 위해 공간 및 경계 중첩도를 활용하여 슬롯과 실제 정답(ground-truth) 객체를 최적으로 정렬하는 헝가리안 매칭(Hungarian matching) 전략을 도입한다. 수치적으로 안정적이고 신뢰도를 고려하는 마스크 융합 메커니즘과 결합되어, SlotAVS는 다중 음원 예측을 강건하게 통합한다. AVSBench 데이터셋(dataset)을 통한 광범위한 실험은 단일 음원(S4) 분할에서 88.6% mIoU, 다중 음원(MS3) 분할에서 71.7% mIoU를 달성하여 본 접근법의 유효성을 입증한다. 이러한 결과는 복잡한 시청각 장면 이해 및 파운데이션 모델의 용량에만 의존하지 않고 그 사전 정보를 효과적으로 활용하는 데 있어 명시적인 경쟁적 결합이 결정적임을 보여준다.

arXiv:2610.13790v1cs.CV공통 태그 Benchmarking, Scene Understanding

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2610.13857v1cs.CV공통 태그 Semantic Segmentation, Benchmarking

위성 영상을 활용한 건물 피해 평가 과제 재고

Revisiting the Task of Building Damage Assessment by Satellite Imaging

지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.

arXiv:2610.13910v1cs.CL공통 태그 Benchmarking, Scene Understanding

VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다

When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors

비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.

arXiv:2610.10624v1cs.SD공통 태그 Benchmarking, Scene Understanding

SAVU-BENCH: 공간 시청각 이해를 위한 실제 환경 벤치마크

SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding

공간 시청각 이해(Spatial audio-visual understanding)는 모델이 무엇이 존재하는지뿐만 아니라 이벤트가 어디에서 발생하고 양상(modality) 간에 어떻게 연관되는지 인식할 것을 요구합니다. 기존 벤치마크는 시뮬레이션된 장면에 의존하거나 고립된 공간 기술만을 평가하며, 실패 모드에 대한 제한적인 진단적 통찰만을 제공하는 경우가 많습니다. 본 논문에서는 3가지 능력 수준과 7가지 평가 과제에 걸쳐 공간 시청각 이해를 체계적으로 평가하는 실제 환경 벤치마크인 SAVU-Bench를 소개합니다. 나아가 추론 질문을 필수 선행 과제인 그라운딩(grounding) 및 정렬(alignment) 하위 과제로 분해하는 장면 연계 진단 세트인 SAVU-Diag를 제시합니다. SAVU-Bench에서 12개의 대표 모델을 평가한 결과, 시각적 공간 그라운딩은 비교적 성숙한 반면 오디오와 관련된 공간 지각은 여전히 주요 병목 현상으로 남아 있음을 확인했습니다. SAVU-Diag는 대부분의 추론 오류가 이러한 선행 과제의 실패와 함께 발생하지만, 선행 과제가 올바르게 해결되더라도 추론 격차가 여전히 지속됨을 추가로 보여줍니다. 이러한 발견에 착안하여, 공간적 단서를 더욱 명시적으로 만들어 주는 학습(training) 없는 증거 증강 기준선(baseline)인 SAVU-EA를 소개합니다. SAVU-EA는 공간 그라운딩과 결합 매칭을 크게 향상시키지만, 고차원적 공간 추론은 여전히 어려운 과제로 남아 있습니다. 본 연구의 결과는 강건한 공간 오디오 지각과 교차 양상 공간 관계의 더 깊은 통합이 시급함을 강조합니다.

arXiv:2610.10663v1cs.SD공통 태그 Benchmarking, Scene Understanding

BEANS-Next 및 ROOTS: 생체음향학을 위한 오디오-언어 기능의 확장

BEANS-Next and ROOTS: Broadening Audio-Language Capabilities for Bioacoustics

생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.