PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15956v1cs.AI

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2609.39166v3cs.AI

기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념

Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds

지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.

arXiv:2609.36906v2cs.CV

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.

arXiv:2607.19880v2cs.RO

EA-Nav: 체화 인식 기반 안전한 시각 내비게이션 정책 학습

EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness

교차 체화(cross-embodiment) 내비게이션은 체화 지능(embodied intelligence)의 핵심 과제이다. 체화의 차이로 인해 동일한 시각 관측이 서로 다른 에이전트(agent)에게는 서로 다른 행동을 의미할 수 있으며, 시각에만 의존할 경우 예측이 모호해진다. 기존 연구는 주로 강화학습에 의존하며, 이는 대규모 상호작용과 세심한 보상 설계를 요구하여 확장 가능한 사전학습(pre-training)과 실세계 적응을 지원하기 어렵게 만든다. 반면 모방 학습(imitation learning) 기반 접근법은 여전히 제한적이다. 이러한 과제를 해결하기 위해, 우리는 모듈형 다단계 설계를 갖춘 모방 학습 기반의 체화 인식 내비게이션 프레임워크를 제안한다. 사전학습 단계에서, 우리는 인터넷 동영상으로부터 교차 체화 내비게이션 데이터셋을 구성하고, 동일한 관측 하에서 행동 모호성을 줄이기 위해 체화 기하학(embodiment geometry)을 조건부 토큰(token)으로 도입한다. 미세조정 단계에서, 우리는 분리형(decoupled) 아키텍처 기반의 멀티모달 정보 주입 메커니즘을 설계한다. 구체적으로, 고위험 샘플을 생성하는 궤적 증강(trajectory augmentation) 전략을 설계하고, 이를 공간 지각(spatial perception)과 위험 인식(risk-aware) 보정(correction) 학습에 각각 사용하여, 안전한 내비게이션을 위해 체화 기하학을 명시적으로 통합한다. 실험 결과, 제안 방법은 서로 다른 체화 설정에서 내비게이션 성능을 효과적으로 향상시키며, 체화 내비게이션에 체화 기하학을 통합하는 것의 효과를 보여준다.

arXiv:2607.19695v1cs.RO

NavVerse: 연속 로봇 시뮬레이션에서 실내-실외 체화 내비게이션 벤치마킹

NavVerse: Benchmarking Indoor-to-Outdoor Embodied Navigation in Continuous Robot Simulation

배송, 캠퍼스, 비상 대응 등의 환경에 배치된 로봇은 종종 단일 연속 에피소드 내에서 건물에서 거리까지 이동해야 한다. 기존 벤치마크는 보통 실내와 실외 내비게이션을 별도로 평가하며, 많은 경우 로봇 실행을 추상화하여 출구 탐색, 경계 통과, 적응, 운동학적(kinodynamic) 실패가 충분히 탐구되지 않은 채 남아 있다. 우리는 실내-실외 체화 내비게이션을 위한 물리 시뮬레이션이 가능한 벤치마크인 NavVerse를 제안한다. NavVerse는 100개의 실내 장면, 50개의 도시 실외 장면, 50개의 실내-실외 장면, 그리고 Object Navigation, Vision-and-Language Navigation, Place Navigation 과제를 아우르는 10,000개의 에피소드를 포함하며, 에이전트는 식당이나 은행과 같은 의미적 관심 지점을 탐색한다. 에이전트는 실행 가능한 로봇 인터페이스를 통해 과제 성공률, 경로 효율성, 안전성 지표로 평가된다. 강화학습(RL), VLA, 모듈형 베이스라인을 사용한 제로샷 실험은 현재 에이전트가 교차 맥락 내비게이션을 해결하기에는 여전히 한참 멀었다는 것을 보여준다: end-to-end VLA가 가장 높은 제로샷 성공률을 달성하는 반면, 모듈형 방법이 가장 강한 안전성 프로필을 제공한다. PlaceNav는 실외에서 실내-실외 장면으로 넘어갈 때 뚜렷한 성능 하락을 추가로 보여주며, 적응이 여전히 주요 병목임을 시사한다.

arXiv:2607.10744v2cs.CV

Traj-VLN: 자기회귀적 궤적 생성을 통한 픽셀 공간 상호작용 학습

Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation

대규모 사전학습 데이터에 내재된 강력한 사전 지식과 창발적 상식 추론 능력에 힘입어, 대규모 언어 모델(LLM)은 많은 연구 분야에서 전례 없는 일반화 능력을 보여주고 있다. 최근에는 비전-언어 모델(VLM)을 통해 시각적 임베딩을 언어 공간에 투영하여 시뮬레이션-실세계 및 교차 장면 일반화를 달성하는 방식이, 연속 환경에서의 비전-언어 내비게이션(VLN-CE) 분야의 주류 패러다임으로 자리 잡았다. VLN은 구현된 에이전트가 자연어 지시를 따라 미지의 환경을 탐색하도록 요구한다. 우리는 VLN 태스크가 일련의 하위 태스크로 분해될 수 있으며, 각 하위 태스크는 "소파 끝까지 걸어가서 왼쪽으로 돌아라"와 같은 지시로 묘사되는 환경과의 3D 공간 상호작용 과정에 해당한다는 점을 강조한다. 그러나 깊이 감지 방향을 따라 이미지 안으로 이동하는 것을 포함하는 이러한 공간 상호작용은, VLM이 주로 RGB 이미지를 활용한 대화로 학습되었기 때문에 VLM에게 혼란스러운 과제이다. 우리는 사전학습 중 VLM이 거의 접하지 못하는 깊이 정보나 3D 기하학적 정보를 통합하는 대신, 자기회귀적 궤적 생성을 통해 VLM을 미세조정하여 2D 픽셀 공간에서 직접 내비게이션 상호작용을 학습하는 대안적 접근법을 제안한다. 언어 지시와 과거 관측이 주어지면, 우리의 모델은 현재 관측의 하단 중앙에서 궤적을 그리며 일련의 픽셀 좌표를 순차적으로 예측한다. 픽셀 목표 감독이 이산 행동 학습보다 우수하다는 것이 선행 연구에서 입증된 반면, 우리의 실험은 픽셀 공간 궤적에 대한 감독이 VLN 성능을 크게 향상시킨다는 것을 추가로 검증한다. 나아가, 우리의 플래그십 모델이 비교적 제한된 계산 자원과 학습 데이터로 최첨단 수준의 성능을 달성함을 보인다.

arXiv:2607.05765v1cs.CV

Image2Sim: 생성적 신경 시뮬레이터를 통한 구현된 내비게이션 스케일링

Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator

RGB-D 이미지 시퀀스로부터 고품질 인터랙티브 환경을 실시간으로 구성하는 신경 시뮬레이션 프레임워크 Image2Sim을 제안하며, 3D 공간 앵커링과 포토리얼리스틱 관측 합성을 분리하는 것이 핵심 설계 원칙이다. 약 20K개의 인터랙티브 장면과 1천만 개 이상의 내비게이션 학습 샘플을 자동 생성하여, 이 신경 환경에서만 학습한 모델이 주요 벤치마크에서 성능 향상을 달성하고 실제 환경 제로샷 전이에도 효과적임을 입증했다.

arXiv:2607.01043v1cs.RO

DART-VLN: Test-Time Memory Decay and Anti-Loop Regularization for Discrete Vision-Language Navigation

메모리 기반 이산형 비전-언어 내비게이션(VLN) 에이전트의 추론 시 발생하는 오래된 메모리 증거 과잉 반영과 비효율적인 역방향 반복 이동 문제를 해결하기 위해, DART-VLN은 추가 학습 없이 메모리 읽기 시 가중치를 조정하는 Test-Time Memory Decay와 역방향 행동을 억제하는 Anti-Loop Regularization을 결합한 테스트 시점 제어 프레임워크를 제안한다. R2R 및 REVERIE 벤치마크 실험에서 학습된 백본을 동결한 채로 더 짧은 경로, 낮은 런타임, 향상된 내비게이션 성능을 달성했다.

arXiv:2604.17473v4cs.CV

Dual-Anchoring: Addressing State Drift in Vision-Language Navigation

Vision-Language Navigation(VLN) requires an agent to navigate through 3D environments by following natural language instructions. While recent Video Large Language Models(Video-LLMs) have largely advanced VLN, they remain highly susceptible to State Drift in long scenarios. In these cases, the agent's internal state drifts away from the true task execution state, leading to aimless wandering and failure to execute essential maneuvers in the instruction. We attribute this failure to two distinct cognitive deficits: Progress Drift, where the agent fails to distinguish completed sub-goals from remaining ones, and Memory Drift, where the agent's history representations degrade, making it lose track of visited landmarks. In this paper, we propose a Dual-Anchoring Framework that explicitly anchors the instruction progress and history representations. First, to address progress drift, we introduce Instruction Progress Anchoring, which supervises the agent to generate structured text tokens that delineate completed versus remaining sub-goals. Second, to mitigate memory drift, we propose Memory Landmark Anchoring, which utilizes a Landmark-Centric World Model to retrospectively predict object-centric embeddings extracted by the Segment Anything Model, compelling the agent to explicitly verify past observations and preserve distinct representations of visited landmarks. Facilitating this framework, we curate two extensive datasets: 3.6 million samples with explicit progress descriptions, and 937k grounded landmark data for retrospective verification. Extensive experiments in both simulation and real-world environments demonstrate the superiority of our method, achieving a 15.2% improvement in Success Rate and a remarkable 24.7% gain on long-horizon trajectories. To facilitate further research, we will release our code, data generation pipelines, and the collected datasets.

arXiv:2606.18235v1cs.AI

EvolveNav: 제로샷 객체 목표 내비게이션을 위한 능동적 사전 반성과 자가 진화 메모리

EvolveNav: Proactive Preflection and Self-Evolving Memory for Zero-Shot Object Goal Navigation

제로샷 객체 목표 내비게이션(ZS-OGN)은 구현형 에이전트(embodied agent)가 사전 학습 없이 탐험하여 대상 객체를 찾아내도록 요구합니다. 이를 위해 최근 방법들은 파운데이션 모델을 활용합니다. 하지만 이들은 일반적으로 정적 사전 지식(priors)에 의존하고 적응성이 부족하여, 반복되는 오류와 비용이 많이 드는 시행착오로 이어집니다. 본 논문에서는 테스트 타임(test-time) 지속적 개선을 가능하게 하는 자가 진화 ZS-OGN 프레임워크를 제안합니다. 구체적으로, 과거 궤적(trajectories)에서 실행 가능한 지식을 추출하여 에이전트 규칙 메모리를 구축합니다. 그 후, 상위 신뢰 구간(UCB)에 기반한 검색 전략을 제안하여, 의미적 관련성과 과거 성공 기록을 균형 있게 고려하여 효과적인 규칙을 선택합니다. 또한, 행동 전에 잠재적 결과를 예측하여 비효율적인 탐험을 줄이는 메모리 기반 사전 반성(preflection) 모듈을 도입합니다. 광범위한 실험 결과, 우리의 방법은 기존 제로샷 기준 모델(baselines)보다 우수한 성능을 보이며, 불필요한 단계(steps)를 줄이면서 성공률을 10.1% 향상시킴을 확인했습니다.