arXiv:2610.00064v1 cs.CV

도달 가능성이 곧 일반화는 아니다: 조립 행동 인식에서 동사-명사 분해의 이해

Reachability Is Not Generalization: Understanding Verb--Noun Decomposition in Assembly Action Recognition

Changyi Li, Yu Xiao

제출 2026-09-04

저자 비고

arXiv Comments

Accepted by BMVC 2026

한국어 초록

조립 행동은 조작(manipulation)과 부품 또는 도구를 결합한다는 점에서 구성적(compositional)입니다. 실제 배포 환경에서 시스템은 익숙한 구성 요소들의 새로운 조합을 일상적으로 마주치지만, 원자적(atomic) 행동 분류기는 구조상 보지 못한 모든 조합에 정확히 0의 확률을 할당합니다. 이에 대한 주된 해결책은 구성 요소를 개별적으로 예측한 뒤 재결합하여 보지 못한 행동에 도달하는 동사-명사 분해(verb-noun decomposition)입니다. 널리 채택되고 있음에도 불구하고, 이러한 분해가 구성적 변화(compositional shift) 상황에서 어떻게 일반화되는지는 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 세 가지 조립 데이터셋(MECCANO, HAViD, IMPACT)에 걸쳐 동사-명사 분해를 체계적으로 분석합니다. 분해 방식이 원자적 한계는 벗어나지만, 그 일반화는 한계를 넘어 부분적으로만 확장됩니다. 보지 못한 조합에 대한 성능은 학습(training) 데이터의 동시 발생 구조와 여전히 강하게 결합되어 있어, 관찰된 이득의 상당 부분이 제약 없는 재결합보다는 구성 공간의 조밀하게 뒷받침된 영역 내에서의 보간(interpolation)에서 발생함을 보여줍니다. 데이터셋 전반에 걸쳐 실패는 어휘(vocabulary)가 더 큰 구성 요소에 일관되게 집중되며, 동사 비중이 높은 IMPACT의 어휘는 병목 현상을 명사에서 동사로 역전시킵니다. 나아가 공유 인코더 학습이 구성 요소 간 얽힘(entanglement)을 유발하여, 보지 못한 조합으로 잘 전이되지 않는 동시 발생 패턴에 대한 의존도를 높이고 조화 평균에서 독립적 재결합보다 최대 $6.0\times$ 뒤처지게 됨을 보입니다. 종합하면, 이러한 발견들은 분해 방식이 실제로 왜 부분적인 구성적 일반화만을 달성하는지 설명합니다. 본 연구는 원시 지지(primitive support), 어휘 비대칭성, 구성 요소 얽힘을 서로 연결된 오류 원인으로 규명함으로써, 단순 집계 정확도를 넘어 구성적 인식을 연구하기 위한 이식 가능한 진단 프레임워크를 제공합니다. 코드: https://github.com/hisalaheiyo/assembly.

원문 초록

Assembly actions are compositional: they combine a manipulation with a part or tool. In deployment, systems routinely encounter novel combinations of familiar components, yet an atomic action classifier assigns every unseen combination exactly zero probability by construction. The prevailing solution is verb--noun decomposition, which predicts components separately and recombines them to reach unseen actions. While widely adopted, how decomposition generalizes under compositional shift remains poorly understood. We present a systematic analysis of verb--noun decomposition across three assembly datasets (MECCANO, HAViD, and IMPACT). Although decomposition escapes the atomic ceiling, its generalization extends only partially beyond it. Unseen-composition performance remains strongly tied to the co-occurrence structure of the training data, indicating that much of the observed gain arises from interpolation within densely supported regions of the compositional space rather than from unconstrained recombination. Across datasets, failures consistently concentrate on the larger-vocabulary component, and IMPACT's verb-heavy vocabulary reverses the bottleneck from nouns to verbs. We further show that shared-encoder training introduces component entanglement, encouraging reliance on co-occurrence patterns that transfer poorly to unseen compositions and trailing independent recombination by up to $6.0\times$ in harmonic mean. Taken together, these findings explain why decomposition achieves only partial compositional generalization in practice. By identifying primitive support, vocabulary asymmetry, and component entanglement as connected sources of error, we provide a portable diagnostic framework for studying compositional recognition beyond aggregate accuracy. Code: https://github.com/hisalaheiyo/assembly.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00064v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.