arXiv:2611.23891v1 cs.CV

SixthView: 숨겨진 시점 복원과 3D 조립 추론을 위한 벤치마크

SixthView: A Benchmark for Hidden-View Reconstruction and 3D Assembly Reasoning

Pooya Khosravi, Jen-Feng Chang, Fnu Pramono

제출 2026-11-19

한국어 초록

3D 조립체의 보이지 않는 면을 추론하려면 부품 배치와 가림에 대한 추론이 필요하다. 서로 다른 조립체가 관측된 시점과 일치하면서도 서로 다른 숨겨진 시점을 만들어 낼 수 있어 정답이 모호해진다. 우리는 모델이 다섯 개의 관측 시점과 구성 요소 형상에 대한 정보로부터 여섯 번째 정투영 시점을 예측하는 벤치마크 SixthView를 소개한다. 이 벤치마크는 부품이 2~10개인 합성 폴리큐브 조립체 602개를 포함하며, 누락된 시점에 대한 부품 레이블의 조밀한 격자를 요구하여 정확한 시점 단위 평가와 셀 단위 평가를 모두 가능하게 한다. 각 항목에 대해 정확한 구성 요소 기하와 관측된 레이블 격자에 부합하는 모든 합법적 조립체가 동일한 목표 시점을 산출함을 전수 검증한다. 이러한 입력이 주어지면 이 과제는 기호적 조립과 좌표 추론을 시험한다. 이미지 전용 변형은 추가로 렌더링된 시점으로부터 형상을 복원해야 하며, 이때 가림 때문에 서로 다른 3D 형상이 동일하게 보일 수 있다. 우리는 세 가지 비전-언어 모델을 네 가지 입력 조건에서 평가한다. 평가가 완료된 552개 항목에서 이미지와 정확한 텍스트를 함께 사용한 정확 격자 정확도는 33.2%에서 85.4% 범위이다. 분리된 이미지에 정확한 텍스트를 추가하면 정확도가 19.7~63.0 퍼센트포인트 향상되는 반면, 정확한 텍스트에 이미지를 추가하면 $-0.5$에서 $+2.1$포인트만 변한다. 분리된 이미지 패널은 병합된 시트보다 6.7~11.1포인트 더 좋은 성능을 보인다. 결과는 성능이 정확한 기호 정보에 대한 접근에 크게 좌우되며, 기하가 명시된 이후에는 이미지에 의한 추가 향상이 거의 없음을 보여 준다. GitHub: https://github.com/facebookresearch/sixthview_benchmark

원문 초록

Inferring the unseen side of a 3D assembly requires reasoning about part placement and occlusion. Different assemblies can match the observed views while producing different hidden views, leaving the target ambiguous. We introduce SixthView, a benchmark in which models predict a sixth orthographic view from five observed views and information about the component shapes. The benchmark contains 602 synthetic polycube assemblies with 2--10 parts and requires a dense grid of part labels for the missing view, allowing both exact-view and cell-level evaluation. For each item, we exhaustively verify that all legal assemblies consistent with the exact component geometry and observed label grids yield the same target view. With these inputs, the task tests symbolic assembly and coordinate reasoning. The image-only variants additionally require shape recovery from rendered views, where occlusion can make different 3D shapes look identical. We evaluate three vision-language models under four input conditions. Across 552 items with complete evaluations, exact-grid accuracy with images plus exact text ranges from 33.2% to 85.4%. Adding exact text to separate images improves accuracy by 19.7--63.0 percentage points, whereas adding images to exact text changes it by only $-0.5$ to $+2.1$ points. Separate image panels outperform a merged sheet by 6.7--11.1 points. The results show that performance depends strongly on access to exact symbolic information, with little further improvement from images once the geometry is specified. GitHub: https://github.com/facebookresearch/sixthview_benchmark

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23891v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.