PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.27599v2cs.AI

월드 액션 플래너: 행동 조건부 월드 모델을 활용한 일반화 가능한 로봇 의사결정

World Action Planner: Generalizable Robot Decision-Making with Action-Conditioned World Models

다양한 응용 분야를 위한 일반화 가능한 로봇 에이전트(agent)를 구축하는 것은 여전히 근본적인 과제로 남아 있습니다. 모방 학습(imitation learning) 기반 정책은 친숙한 학습(training) 환경에서는 우수한 성능을 보일 수 있지만, 새로운 장면, 배치, 태스크 구성에 대해서는 일반화하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 논문에서는 에이전트가 행동 조건부 월드 모델(action-conditioned world model)을 통한 상상을 거쳐 실행 가능한 행동 계획을 탐색하고 구성하는 에이전틱 로봇 계획 시스템인 World Action Planner를 제안합니다. 이 탐색은 대략적인 단계에서 세부적인 단계(coarse-to-fine)로 진행됩니다. 먼저 에이전트는 상상된 월드 모델 롤아웃(rollout)을 바탕으로 추론하여 잠재적 실패를 식별하고 제안된 행동 계획을 개선함으로써 전역적 행동 최적화(global action optimization)를 수행합니다. 그런 다음 로컬 행동 탐색을 수행하여 인접한 후보들의 상상된 미래 결과를 비교함으로써 실행할 최적의 행동을 선택합니다. 구성적 장기(long-horizon) 태스크, 새로운 객체 배치, 그리고 전문가 시연이 없는 새로운 태스크에 대한 실제 로봇 계획 전반에 걸쳐, World Action Planner는 최신 엔드투엔드 범용 정책 모델 및 VLM 플래너보다 지속적으로 우수한 성능을 보여주며 일반화 가능한 로봇 의사결정을 위한 월드 모델 기반 행동 탐색의 효과를 입증합니다. 정성적 결과와 비디오는 https://worldactionplanner.github.io/ 에서 확인할 수 있습니다.

arXiv:2607.14252v1cs.RO

MEMORA: 자기중심 비디오로부터의 체화 행동 기억을 통한 추론 및 계획

MEMORA: Embodied Action Memory from Egocentric Videos for Reasoning and Planning

장기 로봇 계획은 다음 행동이 무엇을 할지 예측하는 것 이상을 요구한다. 미래 목표를 해석 가능하게 만드는 체화된 경험의 기억도 필요하다. 사람들은 현재 장면만으로 계획하지 않는다. 기억된 장소, 객체 상태 변화, 이전 절차, 반복된 행동을 통해 드러난 규칙성에 의존한다. 우리는 체화된 행동 기억(Embodied Action Memory, EAM)을 이후 의사결정을 위한 지속적인 기억 상태로 이러한 경험을 형성·유지·활용하는 능력으로 공식화한다. MEMORA는 형성-통합-검색(formation-consolidation-retrieval) 수명 주기와 네 가지 유형의 저장소—Environment Memory, Entity Memory, Activity Memory, Inferred Knowledge—로 EAM을 구현한다. 온라인 편집은 새로운 관측이 들어올 때 객체 정체성과 상태 이력을 유지하며, 오프라인 통합은 반복된 경험을 재사용 가능한 절차와 참가자별 규칙성으로 추상화한다. MEMORA-Bench는 18명의 참가자에 걸친 EPIC-KITCHENS-100 확장 비디오 45시간에 대해 이 수명 주기를 평가하며, 이전에 보지 못한 목표를 포함한 기억 기반 계획과 보완적인 기억 평가 과제를 통해 이를 수행한다. 네 가지 오픈 웨이트(open-weight) 언어 모델에 걸쳐, 편집·유형별 저장소·통합을 결합한 완전한 MEMORA가 평가된 기억 조건 중 가장 강한 종합 결과를 달성한다. 가장 강한 통제 기준선 대비 기억 평가 정확도를 최대 20.5점 향상시키며, 분포 외(out-of-distribution) Robot-Grounded Plan 점수를 상대적으로 최대 16.6% 개선한다. 정성적인 두 과제 로봇 배치 연구는 기억 기반 언어 계획이 하위 제어와 어떻게 연결될 수 있는지를 추가로 보여 주며, 전체 결과는 편집 가능하고 통합된 기억이 로봇 계획을 위한 기억된 컨텍스트를 제공할 수 있음을 보여준다. 프로젝트 페이지: https://yuzihaowashu.github.io/MEMORA/

arXiv:2607.08024v1cs.CV

APIVOT: 비전-언어 사고를 교차 활용한 적응적 계획 수립

APIVOT: Adaptive Planning with Interleaved Vision-Language Thoughts

APIVOT은 장기 지평 로봇 계획에서 의미적 추론을 위한 언어와 기하학적 실현 가능성 검증을 위한 시각적 사고(visual thought)를 적응적으로 교차 활용하는 비전-언어 모델(VLM) 기반 플래너다. 주방 작업 벤치마크에서 범용 VLM 및 기존 계획 프레임워크를 능가하며, 특히 공간적 제약이 있는 환경에서 최대 17포인트의 성능 향상을 달성하는 동시에 불필요한 시각적 추론을 줄여 토큰 사용량을 39% 감소시켰다.

arXiv:2607.03283v1cs.AI

임바디드 오퍼레이터와 벤치마킹: 재사용 가능하고 배포 가능한 임바디드 인텔리전스 시스템을 향하여

Embodied Operators and Benchmarking: Toward Reusable and Deployable Embodied Intelligence Systems

임바디드 인텔리전스 시스템은 엔드-투-엔드 정책 모델뿐만 아니라, 멀티모달 관측값, 로봇 상태, 인간 시연, 태스크 컨텍스트를 구조화된 표현, 의사결정, 궤적, 제어 참조값, 시스템 서비스로 변환하는 재사용 가능한 기능 모듈도 필요로 한다. 본 연구는 이러한 모듈을 임바디드 오퍼레이터(embodied operator)로 정의하고, 임바디드 인텔리전스 파이프라인 내에서 독립적이면서도 조합 가능한 단위로서 연구한다. 우리는 임바디드 오퍼레이터의 정의 경계를 명확히 하며, 태스크 의미론, 표준화된 입출력 계약, 배포 가능성, 재사용성, 다층(multi-layer) 최적화 가능성을 강조한다. 나아가 다섯 가지 범주를 아우르는 분류 체계를 구축한다: 검출 및 분할, 공간적 위치 추정 및 3D 이해, 손 동작 복원, 임바디드 파운데이션 모델 및 태스크-결정 오퍼레이터, 그리고 계획·제어·시스템 지원 오퍼레이터. 각 범주에 대해 대표적인 기능, 기술 패러다임, 적용 역할, 실용적 한계를 정리한다. 분류 체계를 넘어, 정확성, 엔드-투-엔드 효율성, 자원 사용량, 시간적 안정성, 이식성, 인터페이스 호환성, 배포 신뢰성, 다운스트림 태스크 활용성의 측면에서 임바디드 오퍼레이터를 평가하는 다차원 벤치마크 프레임워크를 제안한다. 또한 워크플로우 수준의 오퍼레이터 가속화와 오퍼레이터 조합, 데이터 표준화, 월드 모델, VLA 안전성, 엣지 배포, 실세계 응용 가치에 관한 미해결 과제들을 논의한다. 종합적으로, 본 연구는 임바디드 오퍼레이터가 전체론적인 배포 가능 컴포넌트로서 최적화 및 평가되어야 함을 주장하며, 재사용 가능하고 확장 가능하며 검증 가능한 임바디드 인텔리전스 시스템을 위한 토대를 제공한다.

arXiv:2606.31073v1cs.AI

MultiUAV-Plat: An LLM-Oriented Platform, Benchmark and Framework for Multi-UAV Collaborative Task Planning

Large language models (LLMs) provide a promising interface for high-level robotic task planning, but their use in multi-UAV collaboration remains difficult to evaluate systematically. Existing UAV simulators mainly emphasize dynamics, perception, or low-level control, while existing LLM-agent benchmarks rarely capture aerial-robotics constraints such as partial observability, spatial coverage, UAV assignment, and multi-vehicle coordination. To bridge this gap, we present MultiUAV-Plat, a lightweight, easy-to-use, LLM-agent-oriented simulation platform for multi-UAV collaborative task planning. The platform exposes concise RESTful APIs, agent-facing observations, role-based information access, hidden validation logic, and optional 2D/3D visualization, allowing agents to solve missions through realistic tool interaction rather than privileged simulator access. Built on this platform, the MultiUAV-Plat Benchmark contains 75 mission sessions, 1500 natural-language tasks, and 9396 validation checks across target assignment, area search, and area assignment and patrol scenarios. We further propose Agent4Drone, a task-specific LLM agent framework that structures multi-UAV behavior into memory, observation, task understanding, planning, execution, and verification. In a full paired benchmark comparison, Agent4Drone achieves a 57.9% task pass rate, a 74.6% average task check pass rate, and a 72.0% global check pass rate, substantially outperforming a ReAct baseline at 30.6%, 47.9%, and 43.1%, respectively. Agent4Drone also reduces the total failed task rate from 32.4% to 12.9%. These results demonstrate that MultiUAV-Plat and MultiUAV-Plat Benchmark provide a reproducible foundation for studying LLM-driven multi-UAV autonomy under realistic information and execution constraints.

arXiv:2606.17480v1cs.CV

GeneralVLA-2: 로봇 계획을 위한 기하학적 인식 재구성 및 통제된 메모리

GeneralVLA-2: Geometry-Aware Reconstruction and Governed Memory for Robot Planning

범용 비전-언어-행동 시스템은 신뢰할 수 있는 로봇 궤적을 계획하기 위해 객체 중심의 3D 증거와 재사용 가능한 조작 경험이 필요합니다. GeneralVLA는 언어와 RGB-D 관찰을 3D 엔드 이펙터 경로로 변환하는 계층형 인터페이스를 제공하지만, 두 가지 병목 현상이 남아 있습니다. 첫째, 단안 SAM3D 스타일의 객체 재구성은 자세와 보이지 않는 기하학에 대해 환각을 일으킬 수 있으며, 반면 조작은 보정된 다중 뷰 관찰이 가능할 때 안정적인 객체 형상의 이점을 누립니다. 둘째, 원래의 KnowledgeBank는 주로 의미적으로 유사한 스니펫을 검색하여 새로운 지식을 추가하는 방식이므로, 메모리 품질, 충돌, 신뢰도 및 기하학적 관련성을 제어하기 어렵습니다. 첫 번째 과제를 해결하기 위해, 우리는 입력 뷰 마스크로 외부 기하학적 단서를 검증하고, 소프트 비주얼 헐 지원을 적용하며, 축별 정제를 수행하고, 외관을 보존하면서 기하학만 융합하는 기하학적 사전(prior) 안내 MV-SAM3D 재구성 분기인 GeoFuse-MV3D를 도입합니다. 두 번째 과제를 해결하기 위해, 우리는 KnowledgeBank를 명시적인 품질, 신뢰도, 수명 주기, 검증기 및 충돌 메타데이터와 함께 정밀도 지향 검색을 갖춘 통제된 장기 메모리 시스템으로 업그레이드합니다. 마지막으로, 우리는 GSO-30에서 재구성 분기를 평가하고 Terminal-Bench 2.0 및 SWE-Bench Verified에서 메모리 모듈을 평가했습니다. GeoFuse-MV3D는 CD와 LPIPS를 각각 2.20%와 2.02% 감소시키고 PSNR과 SSIM을 각각 2.36%와 1.03% 증가시켜 MV-SAM3D 기준선보다 개선되었으며, KnowledgeBank는 Terminal-Bench SR에서 4.53%, SWE-Bench 해결률에서 3.73% 향상되어 ReasoningBank보다 개선되었고, 각각 AS를 4.95%와 5.65% 감소시켰습니다. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.