PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27095v1cs.RO

구현체를 아우르는 지능

Intelligence Across Embodiments

로봇 embodiment는 에이전트가 세계와 물리적으로 상호작용하는 감지, 운동학, 동역학, 기하, 구동, 제어를 포괄한다. 이러한 속성은 로봇마다 다르고 시간에 따라 변한다. 우리는 일반적인 체화 지능(embodied intelligence)이 이러한 차이에 걸쳐 축적되는 학습을 요구한다고 주장한다. embodiment 차이를 메우기 위해 대응 관계(correspondence)를 설계하는 주류 방법은 당장의 실용적 이득을 제공하지만, 그 가정들은 장기적으로 전이(transfer)의 범위를 제한한다. 대신 보다 일반적인 접근은 경험이 늘어남에 따라 더 넓은 범위의 embodiment로의 전이를 지원하는 표현(representation)을 발견해야 한다. 우리는 embodiment 다양성을 유망한 스케일링(scaling) 축으로 제안하고, 넓은 학습된 사전(prior)을 보완적 요소로 본다. embodiment gap과 전이 성능을 더 잘 특성화하는 평가를 촉구한다. 더 넓게, 교차-embodiment 학습은 이질적인 로봇 경험으로부터 학습하는 실용적 과제를, 자연에서 영감을 받은 더 넓은 과학적 추구—행동과 물리적 형태에 대한 주도권(agency)을 얻기 위해 embodiment와 함께 적응하고 공진화(co-evolve)하는 물리적 지능(physical intelligence)—와 연결한다.

arXiv:2603.09760v2cs.CV

PanoAffordanceNet: 360° 실내 환경에서의 통합적 어포던스 그라운딩

PanoAffordanceNet: Towards Holistic Affordance Grounding in 360° Indoor Environments

360° 공간에서 체현형 에이전트(embodied agents)에게 전역 인식은 필수적이지만, 현재 어포던스 그라운딩(affordance grounding)은 대부분 객체 중심적이며 원근 뷰(perspective views)에 제한되어 있다. 이 간극을 메우기 위해 360° 실내 환경에서의 통합적 어포던스 그라운딩(Holistic Affordance Grounding in 360° Indoor Environments)이라는 새로운 태스크를 도입한다. 이 태스크는 등거리 원통 투영(Equirectangular Projection, ERP)으로 인한 심각한 기하 왜곡, 의미 분산(semantic dispersion), 교차 스케일 정렬(cross-scale alignment)의 어려움 등 고유한 도전에 직면한다. 우리는 PanoAffordanceNet이라는 end-to-end 프레임워크를 제안하는데, 위도 의존적 보정을 위한 왜곡 인식 스펙트럴 변조기(Distortion-Aware Spectral Modulator, DASM)와 희소 활성화(sparse activations)로부터 위상적 연속성(topological continuity)을 복원하는 전구형 밀집화 헤드(Omni-Spherical Densification Head, OSDH)를 특징으로 한다. 픽셀 단위, 분포적, 영역-텍스트 대조 목표로 구성된 다중 수준 제약을 통합함으로써, 본 프레임워크는 낮은 수준의 감독 하에서 의미 표류(semantic drift)를 효과적으로 억제한다. 또한 최초의 고품질 전경(panoramic) 어포던스 그라운딩 데이터셋인 360-AGD를 구축한다. 광범위한 실험을 통해 PanoAffordanceNet이 기존 방법들을 크게 능가하며, 체현 지능(embodied intelligence)에서 장면 수준 인식을 위한 견고한 기준선을 확립함을 보여준다. 소스 코드와 벤치마크 데이터셋은 https://github.com/GL-ZHU925/PanoAffordanceNet 에서 공개될 예정이다.

arXiv:2607.12477v2cs.CV

공간 속 자아: UAV 체화 지능에서 자기 인식과 공간 인지 벤치마킹

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

자율 UAV 시스템은 복잡한 실세계 환경에서 동작하기 위해 점점 더 멀티모달 대규모 언어 모델(MLLM)에 의존하고 있다. 이러한 체화(embodied) 시나리오에서는 주변 공간을 이해하는 것뿐만 아니라 에이전트 자신에 대한 일관된 표상을 유지하는 것도 필요하다. 그러나 기존 UAV 지향 접근법과 벤치마크는 여전히 대체로 환경 중심적이며, 주로 공간 이해 과제에 초점을 맞추고 있고, 에이전트의 자기 인식은 암묵적으로 남아 있다. 이 격차를 해소하기 위해, 우리는 통합된 공간 속 자아(self-in-space) 정식화 하에서 UAV 시나리오의 체화 공간 지능을 평가하는 벤치마크인 SIS-Bench를 제안한다. SIS-Bench는 상호 보완적인 두 차원인 공간(space)과 자아(self), 그리고 지각, 기억, 추론의 3단계 계층을 따라 평가를 구성한다. SIS-Bench는 전문가 검증을 거친 과제 조건화 구축 파이프라인을 통해 1,646개의 실세계 UAV 영상에서 파생된 13개 과제 전반에 걸쳐 4,856개의 질문-답변 쌍을 포함한다. 광범위한 평가 결과, 현재 MLLM들은 동적이고 에이전트 중심적인 과정을 모델링하는 데 근본적인 한계를 보인다. 특히, 공간 인지와 자기 인식 사이의 뚜렷한 불균형, 그리고 인지 수준에 걸친 점진적인 성능 저하를 관찰한다. 이러한 발견에 동기부여되어, 우리는 광학 흐름(optical flow)과 시각적 특징 융합을 통해 자아 관련 동역학을 통합하는 운동 인식(motion-aware) 표상을 추가로 탐구한다. 실험 결과, 에이전트 운동을 모델링하면 공간 인지뿐만 아니라 자기 인식에서도 지각 및 기억 성능이 일관되게 향상되며, 하위 UAV 의사결정 과제로도 일반화된다는 것을 보여준다. 우리의 결과는 체화 공간 지능을 발전시키는 데 자기 인식의 중요성을 부각하며, 운동 인식 공간 속 자아 모델링을 위한 새로운 벤치마크와 실증적 근거를 모두 제공한다.

arXiv:2607.00029v1cs.RO

Memory-Native Non-Terrestrial Networks for Embodied Intelligence

Non-terrestrial networks (NTN) provide ubiquitous connectivity for embodied intelligence (EI), enabling robots in wilderness to leverage cloud resources or report critical information to remote centers. However, the synergy is nontrivial due to the highly-dynamic, resource-constrained, topology-varying, and task-oriented environment. Existing memoryless NTN protocols become inefficient, since the decisions are driven by local channel conditions and instantaneous service demands. To address these limitations, this paper proposes the memory-native NTN (MemNTN) paradigm that leverages long-horizon contexts for memory augmented system optimization. To realize this paradigm shift, we establish a dual-memory architecture that distinguishes between physical memory representing the state of the world and digital memory encoding historical network experience. We develop memory acquisition, compression, valuation, update, and utilization mechanisms that facilitate cross-layer, memory-native decision-making, spanning from the physical and access layers up to the network and application layers. Experiments in satellite embodied question answering (SEQA) demonstrate that the proposed MemNTN significantly outperforms conventional stateless NTN and terrestrial approaches.

arXiv:2606.28049v1cs.CV

AirGroundBench: 이종 다중 시점 체현 협업 하에서 멀티모달 대규모 모델의 공간 지능 탐구

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

최근 멀티모달 대규모 언어 모델(MLLM)은 체현 지능(embodied intelligence)에서 큰 잠재력을 보여 왔으나, 이종 시점에 걸쳐 기하학적으로 일관된 공간 이해를 유지하는 능력은 아직 충분히 평가되지 않았다. 기존 벤치마크는 대체로 단일 에이전트·단일 시점 인식에 초점을 맞춰, 다중 스케일 관측이 상호 보완적이면서도 스케일 불일치, 비대칭 가림, 기준 좌표계 불일치를 야기하는 협업적 공중-지상 환경의 체계적 평가에는 공백이 있다. 본 논문은 이종 UAV-UGV 협업에서 다중 시점 공간 지능을 평가하기 위한 진단 벤치마크인 AirGroundBench를 제안한다. AirGroundBench는 11개의 고충실도 시뮬레이션 환경과 1,021개의 동기화된 공중-지상 관측 쌍으로 구성되며, 약 62,000개의 이중 시점 4지선다 시각 질의응답(VQA) 인스턴스와 115개의 폐루프 비전-언어 내비게이션 에피소드를 제공한다. 10가지 작업 유형을 네 가지 점진적으로 요구 수준이 높아지는 역량 차원—공간 인식, 교차 시점 정렬, 공간 변환 및 추론, 체현 의사결정—으로 구성한다. 기하학 기반 평가와 분석을 위해 교차 시점 객체 동일성 및 측정 가능한 2D·3D 바운딩 박스를 포함한 구조화된 공간 주석을 제공한다. UAV 단독, UGV 단독, 이중 시점 입력 설정에서 13개 대표 MLLM을 평가한 결과 일관된 병목이 드러났다. 모델은 공간 인식에서는 상대적으로 양호하나 교차 시점 정렬과 변환 집약적 추론에서 어려움을 보이며, 이러한 결함은 비전-언어 내비게이션의 순차적 의사결정으로 전파된다. 이중 시점 입력이 단일 시점 변형 대비 측정 가능한 이득을 제공하나, 인간 성능과의 지속적인 격차가 남아 있으며, 이는 현재 체현 MLLM의 핵심 한계가 기하학적 일관성임을 부각한다.

arXiv:2606.22449v1cs.AI

체화 과학 지능을 위한 인과 세계 모델링 기반 자기 진화 인지 프레임워크

Self-Evolving Cognitive Framework via Causal World Modeling for Embodied Scientific Intelligence

현재의 체화 세계 모델은 주로 예측 목표에 최적화되어 있어, 분포 변화(distribution shift) 하에서 일반화하고 보지 못한 상황과 가설적 개입에 대해 체계적으로 추론하는 능력이 제한된다. 우리는 체화 지능이 예측적 세계 모델링을 넘어, 환경과의 상호작용을 통해 내부 인과 표현을 지속적으로 구성하고 정제하는 자기 진화 인지 시스템으로 나아가야 한다고 주장한다. 이를 위해 우리는 체화 과학 지능을 위한 인과 세계 모델링 기반의 자기 진화 인지 프레임워크를 제안하며, 이는 세 가지 상호 보완적 구성 요소인 인과 세계 모델링, 개입 기반 인과 추론, 지속적 인지 정제를 통합한다. 제안된 프레임워크는 인과 발견(causal discovery), 개입 기반 피드백, 반사실적 추론(counterfactual reasoning)을 통해 내부 인과 세계 모델을 지속적으로 수정하고 확장하여, 지속적 인지 정제를 지원하고 인지 자체가 시간에 따라 진화하도록 한다. 또한 우리는 체화 상호작용을 단순한 궤적 최적화(trajectory optimization) 수단이 아니라, 인과 가설 생성, 개입 기반 실험, 지속적 지식 습득을 위한 인식론적(epistemic) 과정으로 재해석한다. 본 연구는 예측 지능에서 인식론적 지능으로의 전환을 위한 개념적·이론적 토대를 제공하며, 여기서 지능은 환경과의 상호작용을 통해 인과 세계 모델의 지속적 구성, 수정, 정제를 통해 창발한다. 이에 따라 자기 진화 체화 과학 지능을 평가하기 위한 개입 기반 인과-인식론적 벤치마킹 패러다임이 제안된다.

arXiv:2606.17030v3cs.CV

Qwen-RobotWorld 기술 보고서: 언어 조건부 비디오 생성을 통한 구현형 세계 모델링 통합

Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

우리는 구현형 지능(embodied intelligence)을 위한 언어 조건부 비디오 월드 모델인 Qwen-RobotWorld를 소개합니다. 자연어를 통합된 행동 인터페이스로 활용하여, 로봇 조작, 자율 주행, 실내 내비게이션, 인간-로봇 전이(human-to-robot transfer) 영역에 걸쳐 현재 관찰로부터 물리적 기반의 미래 시각적 궤적을 예측합니다. 이러한 통합된 접근 방식은 정책 학습 증강을 위한 합성 데이터 생성, 정책 평가를 위한 확장 가능한 가상 환경, 하위 단계 로봇 제어를 위한 언어 기반 계획 신호라는 세 가지 유망한 응용 방향을 제공합니다. 이는 세 가지 설계 요소를 통해 달성됩니다: a) MLLM 행동 인코딩을 갖춘 이중 스트림 MMDiT(Double-Stream MMDiT)로, 60층 이중 스트림 디퓨전 트랜스포머가 층별 결합 어텐션을 통해 고정된 Qwen2.5-VL 의미론과 비디오-VAE 잠재를 결합합니다; b) 구현형 월드 지식(EWK), 20개 이상의 구현체와 500개 이상의 행동 카테고리에 걸친 행동-언어 매핑을 포함하는 860만 개의 비디오-텍스트 말뭉치(2억 프레임 이상); c) General+Expert 점진적 커리큘럼, 공유된 언어 인터페이스 하에서 먼저 일반적인 시각적 사전 지식을 학습한 후 구현형 특화를 주입하는 2단계 학습 전략입니다. 광범위한 실험 결과는 강력한 경쟁력을 보여줍니다: EWMBench와 DreamGen Bench에서 종합 1위를 차지했으며, WorldModelBench와 PBench에서는 모든 오픈 소스 모델을 능가했습니다. RoboTwin-IF 벤치마크에 대한 추가적인 제로샷 분석은 견고한 일반화와 다중 뷰 일관성을 추가로 뒷받침합니다.

arXiv:2606.12690v1cs.RO

EWAM: 체화 지능에서 폐루프 온라인 적응을 위한 향상된 World Action Model

EWAM: An Enhanced World Action Model for Closed-Loop Online Adaptation in Embodied Intelligence

EWAM은 사전학습된 Cosmos3 백본을 기반으로 하며, 백본 파인튜닝 없이 추론 시간에 삽입된 4개의 경량 신경망 계층을 통한 공동 추론 메커니즘으로 새로운 작업 레이아웃 적응에 필요한 데이터 양을 줄입니다. 제로샷 프로토콜 하에서 추가적인 작업별 데모 없이도 성능 향상을 달성했습니다.