arXiv:2611.19621v1 cs.CV

과제의 구조와 시각적 내용을 분리하는 계획 표현을 향하여

Toward Planning Representations That Separate Task Structure from Visual Content

Aarav Srivastava, Vishwas Sathish, Rajesh P. N. Rao

제출 2026-11-17

한국어 초록

효과적으로 계획하려면 과제에 관련된 기하 구조와 객체의 정체성은 보존하면서 과제를 바꾸지 않는 시각적 변이는 무시하는 표현이 필요하다. 기존 시각 일반화 평가는 여러 요인을 동시에 바꾸는 경우가 많아 실패 원인을 식별하기 어렵다. 본 연구는 절차적으로 생성한 ProcTHOR 주택에서 지시된 범주의 객체를 찾아가는 객체 목표 내비게이션(ObjectNav)을 통제 조건에서 평가한다. 학습용 주택과 평가용 주택에서 평면도, 객체 위치, 목표, 시작 상태를 같게 하고, 시각 요인은 하나씩 또는 여러 개를 조합해 바꾼다. 모델 프리 강화학습(RL), 모델 기반 강화학습, 사전학습 후 고정한 시각 표현을 사용하는 에이전트에서 외관 변화는 이동 성능을 떨어뜨렸으나, 요인마다 영향의 크기가 크게 달랐다. 표면 재질 변화가 성공률의 평균 변화 대부분을 설명했으며, 주변 물건으로 인한 복잡도와 조명의 영향은 작았다. 전체 이미지 통계의 변화량만으로는 성능을 안정적으로 예측할 수 없었다. 목표 객체의 외관만 바꿔도 이미지 수준의 변화는 작지만 종단 간 에이전트의 성능은 크게 낮아질 수 있다. 사전학습 DINOv2 이미지 인코더의 고정 특징을 바탕으로 계획하는 모델 기반 에이전트는 시각 요인을 모두 바꿨을 때 가장 높은 성공률인 0.83을 기록했으나, 여전히 표면 외관에 민감했다. 이 실험은 계획에 쓰이는 표현이 변하지 않는 과제의 공간 구조와 외관을 분리해야 함을 보여 준다.

원문 초록

Effective planning requires representations that preserve task-relevant geometry and object identity while ignoring visual variation that does not alter the task. Existing evaluations of visual generalization often change several factors simultaneously, making the source of a failure difficult to identify. We introduce a controlled evaluation of object-goal navigation (ObjectNav), the task of reaching an instance of a named object category, in procedurally generated ProcTHOR houses. Training and evaluation houses share floor plans, object locations, goals, and start states, while visual factors are changed individually or in combination. Across model-free reinforcement learning (RL), model-based RL, and agents using frozen pretrained visual representations, our results show that appearance changes impair navigation, but their effects differ sharply by factor. Surface material changes account for most of the average change in success, whereas clutter and lighting have little effect. The magnitude of a global image statistics shift does not reliably predict performance: changing only the goal object's appearance can substantially impair an end-to-end agent despite a small image-level change. We found that a model based agent that plans over frozen features from the pretrained DINOv2 image encoder achieves the highest success (0.83) under the full shift, but remains sensitive to surface appearance. Our experiments reveal an important requirement for planning representations: they must separate invariant spatial task structure from appearance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19621v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.