PyTorchKR Papers

최신 논문

총 2,515편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2605.00496v3cs.CV

시간 해상도가 빠른 인간 동작의 제로샷 의미 이해에 미치는 영향

Effect of Temporal Resolution on Zero-Shot Semantic Understanding of Rapid Human Actions

시각적 관측으로부터 인간 동작을 이해하는 것은 인간-로봇 상호작용에 필수적이며, 특히 익숙하지 않거나 주석을 달기 어려운 동작의 의미 해석이 필요할 때 그러하다. 빠르거나 흔하지 않은 활동의 경우 지도 학습에 충분한 레이블 데이터를 수집하기 어렵기 때문에, 제로샷 접근법은 과업별 학습 없이 의미를 이해하기 위한 실용적인 대안이 된다. 대규모 사전 학습 모델의 최근 발전으로 이러한 제로샷 추론이 가능해졌지만, 특히 빠르고 세밀한 동작에서 시간 해상도가 미치는 영향은 아직 충분히 연구되지 않았다. 본 연구에서는 고속 인간 동작의 제로샷 의미 이해를 위한 시간 해상도 조건을 조사한다. 빠르고 미묘한 동작 패턴의 대표 사례로 검도를 사용하여, 의미 표현을 위한 사전 학습된 비디오-언어 모델과 동작 쌍 비교를 위한 대규모 언어 모델 기반 추론을 결합한 학습이 필요 없는 파이프라인을 제안한다. 주요 실험에서는 10 Hz부터 120 Hz까지 10 Hz 간격의 전체 관측 원본 비디오를 평가한다. 최근접 클래스 프로토타입(NCP) 정확도는 120 Hz에서 가장 높으며, 70-120 Hz의 평균이 10-60 Hz의 평균보다 높다. 이에 해당하는 평균 프로토타입 마진은 두 구간 사이에서 유사도 점수 기준 -5.74에서 +2.52로 변하며 역시 120 Hz에서 가장 높다. 보조 실험에서는 추적 오버레이가 전체 관측 성능의 평균은 낮추지만 부분 관측 성능의 평균은 향상시킴을 보인다. 이러한 결과는 높은 시간 해상도의 시각 정보를 유지하는 것이 빠른 인간 동작에 대한 학습이 필요 없는 의미 이해에 도움이 될 수 있다는 예비적 증거를 제공한다.

arXiv:2603.24503v2cs.LG

전문가 시연 없는 안전한 근사 비선형 모델 예측 제어

Safe Approximate Nonlinear Model Predictive Control Without Expert Demonstrations

반복적인 온라인 최적화는 비선형 모델 예측 제어(NMPC)를 실시간 응용에서 계산적으로 부담스럽게 만든다. 신경망 근사는 이 비용을 줄이지만 전문가 NMPC 해로 이루어진 대규모 데이터셋을 요구하는 경우가 많다. 우리는 예측 구간 전체에 걸쳐 공유되는 매개변수를 사용하여 예측된 궤적을 따라 완전한 제어 시퀀스를 생성하는, 레이블이 필요 없는 순환 프레임워크인 Sequential Approximate MPC(Seq-AMPC)를 소개한다. 정책은 알려진 동역학을 통해, 제어 비용, 제약 충족, 그리고 실현 가능한 백업 안전 필터와 정렬된 비용 감소 조건에 대한 손실로 직접 학습된다. 이 필터를 기반으로, 신경망 근사 오차와 무관하게 명목 MPC 가정 하에서 재귀적 실현 가능성, 제약 충족, 점근적 수렴을 보존하는 단계 비용 의존적 수용 허용치를 도입한다. 또한 적용된 제안의 기대 비율과 NMPC 대비 폐루프 비용 차이에 대한 Hoeffding 기반 유한 표본 경계를 유도한다. 우리는 쿼드콥터, 질량 사슬, 장애물 회피 차량, 로봇 매니퓰레이터에서 Seq-AMPC를 평가하며, 레이블 없는 학습과 모방 학습 하에서 순환 정책과 순방향 정책을 비교한다. 네 가지 벤치마크 전반에서 전문가 제어 레이블 없이 정책당 학습은 0.2-1.7 GPU 시간이 걸린다. 필터링된 제어기는 신경망 제안의 97.2-99.1%를 적용하며, 공동으로 완료된 에피소드에서 NMPC 대비 평균 폐루프 비용 비율이 0.3% 이내를 달성한다. 차선이지만 실현 가능한 초기 계획을 사용한 실험은 신경망 재계획의 이점을 추가로 보여준다.

arXiv:2603.12751v2cs.CV

말하지 말고 보여주기: 인간 영상 관찰을 통한 새로운 객체 검출

Show, Don't Tell: Detecting Novel Objects by Watching Human Videos

로봇은 인간의 시연 중에 보여 준 새로운 객체를 어떻게 빠르게 식별하고 인식할 수 있는가? 기존의 폐쇄 집합 객체 검출기는 대상 객체가 분포 외(out-of-distribution)이기 때문에 이를 자주 인식하지 못한다. 개방 집합 검출기(예: VLM)는 때때로 성공하지만, 새로운 객체 인스턴스를 고유하게 인식하려면 비용이 많이 들고 번거로운 사람 개입형 프롬프트 엔지니어링이 필요한 경우가 많다. 본 논문에서는 인간의 시연 자체를 지도 신호로 삼아 자동으로 생성한 데이터셋에서 맞춤형 객체 검출기를 학습함으로써, 번거로운 언어 설명과 비용이 큰 프롬프트 엔지니어링의 필요성을 없애는 자기 지도 시스템을 제시한다. 우리의 접근법인 "Show, Don't Tell"에서는 복잡한 언어 설명으로 객체를 알려 주는 대신, 시연 중에 관심 대상 객체를 검출기에 직접 보여 준다. 언어를 완전히 우회하는 이 패러다임을 통해 인간의 작업 시연에서 관찰된 관련 객체에 맞춘 맞춤형 검출기를 빠르게 학습할 수 있다. 우리는 자동 데이터셋 생성과 새로운 객체 검출이라는 "Show, Don't Tell" 패러다임을 실제 로봇에 적용하기 위한 통합 온로봇 시스템을 개발하였다. 실험 결과, 제안한 파이프라인은 조작 대상 객체에 대한 최신 검출 및 인식 방법을 크게 능가하며 로봇의 작업 완수율을 향상시킨다.

arXiv:2602.23872v5cs.CV

항공 지리 위치 추정을 위한 고도 적응형 UAV-지도 이미지 매칭

Altitude-Adaptive UAV-to-Map Image Matching for Aerial Geo-Localization

하향 촬영한 무인항공기(UAV) 이미지를 지리 참조된 위성 또는 항공 지도 타일과 매칭하면, 직접적인 위치 신호가 저하되거나 사용할 수 없을 때 지도 기반 지리 위치 추정을 지원할 수 있다. UAV 고도의 변화는 관측되는 지상 범위를 바꾸어 질의 이미지와 고정 축척의 지도 참조 사이에 축척 불일치를 일으킨다. 본 논문은 이 문제를 고도 적응형 항공 지리 위치 추정 프레임워크로 해결한다. 이 프레임워크는 주파수 영역 표현과 분류 방식의 회귀(regression-as-classification)를 사용하여 단일 이미지로부터 상대 고도를 추정한다. 예측된 고도 클래스의 중심은 축척 사전 정보를 정의하며, 이는 전체 갤러리 시각 장소 인식에 앞서 질의 정규화를 표준 지도 축척 쪽으로 이끈다. 풋프린트 적응형 마진 분류기(FAMC)는 풋프린트 중첩에 따라 학습 마진을 조정한다. 두 개의 합성 데이터셋과 두 개의 실제 비행 데이터셋에 대한 실험에서, 100 m 위치 추정 임계값 기준으로 고도 적응은 고도 정규화가 없는 동일한 검색 파이프라인에 비해 우리의 시각 장소 인식 모듈의 평균 R@1과 R@5를 각각 50.68 및 47.20 퍼센트포인트 향상시켰다. 이러한 결과는 상대 고도에서 도출한 축척 사전 정보가 평가된 지역과 카메라 설정에서 고도 간 UAV-지도 이미지 매칭을 개선함을 보여준다.

arXiv:2602.04851v2cs.RO

휴머노이드 로봇을 위한 자세 거리 필드

Pose Distance Fields for Humanoid Robots

자세 및 동작 사전 분포는 휴머노이드 로봇 공학에서 중요한 역할을 한다. 이러한 사전 분포는 인간 동작 복원(HMR) 분야에서 다양한 모델로 널리 연구되어 왔으나, 고품질 휴머노이드 동작 데이터가 부족한 탓에 휴머노이드 로봇에 대한 적용은 제한적이다. 본 연구에서는 로봇 자세 분포를 연속적이고 미분 가능한 다양체로 표현하는 경량 사전 분포인 휴머노이드 로봇용 자세 거리 필드(PDF-HR)를 제안한다. 임의의 자세가 주어지면 PDF-HR은 리타깃팅된 대규모 로봇 자세 코퍼스까지의 거리를 예측하여, 최적화와 제어에 적합한 매끄러운 자세 타당성 척도를 제공한다. PDF-HR은 다양한 파이프라인에서 보상 설계 항, 정규화 항, 또는 독립적인 타당성 점수기로 통합될 수 있다. 우리는 단일 궤적 동작 추적, 일반 동작 추적, 스타일 기반 동작 모방, 일반 동작 리타깃팅을 포함한 다양한 휴머노이드 과제에서 PDF-HR을 평가한다. 실험 결과 이 플러그 앤 플레이 사전 분포는 강력한 기준 모델을 일관되고 상당하게 강화함을 보인다. 코드와 모델은 https://gaoyukang33.github.io/PDF-HR 에서 공개되어 있다.

arXiv:2512.17129v3cs.LG

DiffeoMorph: 회전 불변 스펙트럼 형상 매칭을 이용한 분산 3차원 형태 형성 학습

DiffeoMorph: Learning Distributed 3D Morphogenesis with Rotation-Invariant Spectral Shape Matching

생물학적 시스템은 공통의 갱신 규칙을 공유하고 중앙 통제 없이 작동하는 에이전트들의 집단 행동을 통해 복잡한 3차원 구조를 형성할 수 있다. 이러한 분산 제어가 어떻게 정밀한 전역 패턴을 만들어내는가는 발생생물학뿐 아니라 분산 로보틱스, 프로그래머블 물질, 다중 에이전트 학습에서도 핵심적인 문제로 남아 있다. 여기서 우리는 에이전트 집단이 목표 3차원 형상으로 변형되도록 이끄는 형태 형성 프로토콜을 학습하기 위한 종단간 미분 가능 프레임워크인 DiffeoMorph를 소개한다. 각 에이전트는 자신의 내부 상태와 다른 에이전트로부터 받은 신호를 바탕으로 SE(3) 등변 그래프 신경망을 사용하여 위치와 내부 상태를 갱신한다. 이 시스템을 훈련하기 위해 3차원 제르니케 다항식에 기반한 새로운 형상 매칭 손실을 도입한다. 이 손실은 예측 형상과 목표 형상을 이산적인 점 구름이 아니라 연속적인 공간 분포로 비교하며, 에이전트의 순서, 에이전트 수, 전역 방향에 대해 불변이다. 반사 민감성을 유지하면서 회전 불변성을 달성하기 위해, 손실을 계산하기 전에 예측된 제르니케 스펙트럼을 목표와 일치하도록 최적으로 회전시키는 정렬 단계를 포함한다. 형상 비교 과제에서 우리의 형상 매칭 손실이 다른 표준 거리 척도에 비해 갖는 이점을 확인하기 위해 벤치마킹을 수행한다. 이어서 DiffeoMorph가 최소한의 패턴만 있는 초기 조건에서 다양한 복잡한 형상을 형성할 수 있음을 보인다. DiffeoMorph는 형태 형성, 군집 로보틱스, 프로그래머블 자기조립을 위한 분산 제어 전략을 학습하는 일반적인 프레임워크를 제공한다.

arXiv:2410.07787v4cs.RO

Learning Beyond Rigid Manipulation with Hybrid Soft-Rigid Robots

Rigid-soft robot hybrids promise to unite the precision and repeatability of rigid manipulators with the compliance and adaptability of soft structures. Yet, full-fledged rigid-soft manipulators remain largely unexplored, in part because the intelligence required to exploit this combination is still missing. Here, we introduce a hybrid robotic system obtained by the series interconnection of a rigid arm and a soft manipulator, and systematically examine its ability to perform both established and previously inaccessible manipulation tasks. We show that a tailored imitation learning algorithm -- generally applicable to this class of hybrid systems -- leverages the complementary roles of rigid precision and soft embodiment to acquire manipulation skills and generalize them in a single shot across task variations. As a result, the system matches or exceeds the performance of rigid robots in classical tasks such as stacking, while enabling qualitatively new behaviors, including grasping objects through narrow openings.

arXiv:2611.12885v1cs.CV

에이전트 로봇 조작을 위한 월드 인컨텍스트 학습

World In-Context Learning for Agentic Robot Manipulation

학습된 행동 정책은 조작 기술을 네트워크 가중치에 기록하므로, 학습된 내용이 학습 대상 분포에 묶이게 된다. 인컨텍스트 학습(ICL)은 이러한 결합을 피하지만, 다른 장면에서 기록된 시연에는 로봇이 현재 마주한 세계로부터의 피드백이 담겨 있지 않기 때문에 학습된 정책에 필적하지 못했다. 우리는 에이전트가 컨텍스트에서 학습하는 것이 시각적 외관이 아니라 과제 단계와 객체 역할을 기록하는 의미적 내용이며, 따라서 한 세계에서 얻은 경험이 다른 세계로 전이된다는 점을 관찰한다. 이러한 통찰에 기반하여, 고정된 모델이 시연에서 출발해 시뮬레이터와 같은 세계에서 과제를 리허설하고 그 피드백을 가중치가 아닌 컨텍스트에 기록하는 패러다임인 월드 인컨텍스트 학습(World In-Context Learning, WICL)을 제안한다. 우리는 에이전트 조작을 위해 WICL을 구현하는 모듈형 인프라인 RoboScript를 구축한다. RoboScript는 단일 시연으로부터 시뮬레이션에서의 리허설을 통해 각 과제를 학습하고, 학습된 지식을 Task Memory로 고정하며, 모든 배포 입력이 실제 로봇에서 사용 가능하도록 보장하는 데이터 격리를 적용하여 고정된 메모리를 새로운 장면에 배포한다. RoboTwin 2.0의 전체 50개 과제에서 RoboScript는 과제당 시연 한 건과 경사 업데이트 없이 깨끗한 설정과 무작위화된 설정 전반에서 평균 83.4%의 성공률에 도달하여, 가장 강력한 학습 기반 행동 정책을 20포인트 이상 앞선다. 이 방법은 시각 분포 전반에 걸쳐 일반화되고, 성찰을 통해 개선되며, 파운데이션 모델에 따라 확장되고, 교차 구현체 메모리 적응을 통해 실제 쌍팔 로봇으로 전이된다. 세계가 루프에 포함되면 로봇은 가중치로 학습하는 것만큼 컨텍스트에서도 조작 과제를 잘 학습할 수 있다. 모든 코드는 https://github.com/ArcheOne-AI/RoboScript 에서 확인할 수 있다.

arXiv:2611.12732v1cs.LG

$\Sigma$-LeWM: 로봇 제어를 위한 S-정보 기반 세계 모델 학습

$\Sigma$-LeWM: Learning World Models via S-Information for Robot Control

세계 모델은 조작과 보행 같은 로봇 과제를 위한 모델 기반 제어 방법으로 점점 더 많이 적용되고 있다. 초기 세계 모델 구조는 모드 붕괴를 방지하고 예측 가능한 잠재 공간을 학습하기 위해 디코더에 의존했으나, Joint Embedding Predictive Architecture나 LeWorldModel과 같은 최근 세계 모델 연구는 잠재 순방향 동역학 예측기와 안정화 엔트로피 항만을 활용하여 기반 디코더 없이 임베딩을 학습하는 것을 점점 더 지향한다. 본 논문에서는 LeWorldModel에 후방 동역학 예측기와 역동역학 행동 예측기라는 두 가지 잠재 손실을 추가로 도입하면 잠재 임베딩에 더 많은 구조가 부여되어 성능과 계획 효율이 모두 추가로 향상됨을 보이고자 한다. 이는 이러한 방법을 실제 로봇의 실시간 모델 기반 제어에 적용하기 위해 중요한 특성이다. 이러한 향상을 표준 세계 모델 벤치마크와 두 가지 시뮬레이션 로봇 조작 과제에서 입증한다.

arXiv:2611.12678v1cs.RO

손의 라이브러리: 월드 모델이 아니라 손을 고쳐라

Library of Hands: Fix the Hands, Not the World Model

월드 모델은 행동 이후 장면이 어떻게 변하는지를 예측하고, 플래너는 이를 이용하여 목표에 도달하는 행동을 탐색한다. 카메라가 움직이거나 컨트롤러가 바뀌면 같은 명령이 로봇을 다르게 움직인다. 명령을 90도 회전시키면 LeWM 월드 모델을 사용하는 고정된 플래너는 77.5%의 에피소드에서 성공하던 것이 7.8%에서만 성공한다. 현재의 해결책은 모델을 재학습하거나, 학습 데이터를 필요로 하거나, 설정이 되돌아왔을 때 이를 잊어버린다. 우리는 월드 모델을 고정한 채 명령에서 적용되는 행동으로의 사상, 즉 우리가 손이라고 부르는 것만을 보정하는 학습 불필요 방법인 손의 라이브러리(LoH)를 제안한다. LoH는 추가 센서 없이 고정된 모델을 통해 손을 읽어 낸다. 즉 두 카메라 영상 사이의 변화를 가장 잘 설명하는 행동을 찾는다(판독). 또한 식별한 모든 손을 저장하므로 되돌아온 설정은 다시 학습되지 않고 인식된다. 폐루프 실험에서 LoH는 세 가지 시뮬레이션 과제의 성공률을 28.6%에서 62.3%로 두 배 이상 높이며, 아무것도 변하지 않을 때는 0.6 퍼센트포인트만 손실된다. 또한 수정 없이 다른 두 월드 모델에서도, 실제 로봇 데이터로 사전학습된 세 모델 중 두 모델에서도 작동하며, 이득은 판독의 품질에 따라 커진다.

arXiv:2611.12676v1cs.RO

실제 및 시뮬레이션 데이터를 활용한 VLA 적응: 로봇 체스 사례 연구

VLA Adaptation with Real and Simulated Data: A Case Study on Robotic Chess

비전-언어-행동(VLA) 모델은 로봇 학습을 위한 범용 파운데이션 모델로 학습되며, 각 하위 과제와 로봇마다 미세 조정이 필요하다. 이는 얼마나 많은 데이터와 학습 업데이트가 필요한지, 체크포인트를 어떻게 선택해야 하는지, 실제 데이터 수집 비용을 줄이기 위해 시뮬레이션을 활용할 수 있는지와 같은 현실적인 질문을 제기한다. 우리는 정밀한 조작과 장면의 공간적 이해를 모두 요구하는 과제에서 이러한 질문을 연구한다. 이 과제에서 SO-101 로봇 팔은 e4, a5와 같이 이름으로만 주어지는 두 칸 사이에서 체스 킹을 옮긴다. 우리는 원격 조작 시연과, 사람 시연의 변동성을 모방하는 무작위화된 스크립트 전문가의 시뮬레이션 시연을 사용하여 다양한 데이터셋 크기와 업데이트 예산으로 $\pi_{0.5}$를 미세 조정한다. 시뮬레이션에서 성공률은 데이터와 업데이트 모두에 따라 증가한다. 중요하게도, 짧은 학습률 쿨다운이 최대 31포인트를 추가하며 체크포인트를 비교하는 데 필요하고, 검증 손실과 행동 오차는 모델 선택에 신뢰할 수 없음을 발견하였다. 실제 로봇 팔에서는 최대 256개의 원격 조작 시연으로 미세 조정하고 10개의 정책을 각각 25회 시행으로 평가한다. 부분적인 결과는 시뮬레이션 시연으로의 사전학습이 상당히 도움이 되며, 실제 데이터가 부족할 때 가장 뚜렷함을 보여 준다. 또한 부정적 결과도 제시한다. 정책 자신의 롤아웃에 대해 필터링된 행동 복제, RECAP 방식의 이점 조건화, 자동 코치의 교정, 또는 잔차 강화학습으로 학습하더라도 우리의 설정에서는 단순 행동 복제에 비해 측정 가능한 개선이 없었다. 우리는 시뮬레이터, 전문가, 실제 시연 데이터를 공개한다.

arXiv:2611.12643v1cs.LG

통제 변수를 이용한 시뮬레이션 보조 강화학습

Simulation-aided Reinforcement Learning with Control Variates

강화학습(RL) 알고리즘은 흔히 대상 환경에서 수집한 데이터에 의존하는데, 이는 비용이 많이 들고 잡음이 많을 수 있다. 시뮬레이터는 많은 양의 추가 데이터를 생성할 수 있지만, 시뮬레이션 경험과 실제 경험을 직접 결합하는 표준 시뮬레이션 혼합 방식은 시뮬레이터의 부정확성으로 인해, 특히 해가 최적 정책에서 벗어나도록 편향시킬 때 성능을 저하시킬 수 있다. 우리는 시뮬레이션 데이터를 학습 목표를 직접 형성하는 데 쓰지 않고 학습 과정의 분산을 줄이는 데만 사용하는, 통제 변수에 기반한 보수적인 시뮬레이션 보조 학습 방법을 제안한다. 우리는 RL 알고리즘의 기본 구성 요소인 정책 평가에 대해 접근법을 개발한다. 이어서 이를 정책 개선을 위해 액터-크리틱 프레임워크 안에서 결합하고, 오프라인 RL 시나리오로도 확장한다. 여러 MuJoCo 벤치마크 과제에서의 실험은 표준 시뮬레이션 혼합 방식에 비한 개선을 보여 주며, 통제 변수가 시뮬레이션 보조 강화학습에 효과적인 도구임을 강조한다.

arXiv:2611.12567v1cs.LG

LawKAN: 합성을 위한 군 법칙 계층 — 알려진 법칙의 부과가 효과를 내는 경우

LawKAN: Group-Law Layers for Composition -- When Imposing a Known Law Pays Off

많은 과제는 로보틱스와 내비게이션의 연쇄 회전처럼 알려진 규칙에 따라 변환을 합성한다. 학습 모델은 이 규칙을 다시 학습하면서 오차가 누적되고, 고전적 추정기는 규칙을 하드코딩하여 하드웨어의 편차를 놓친다. 본 연구는 알려진 구조를 부과하고 나머지만 학습한다. 정확한 비가환 군 법칙이 독립된 계층의 노드에 들어 있고, 그 에지는 국소 증분을 학습하며, 0으로 초기화된 보정항 psi가 법칙의 미지 편차를 학습한다. 사전 학습 기준은 정확한 표현 가능성을 예측한다. 고정 각도 SU(2) 합성에서 54개 매개변수의 밀집 에지는 가장 정확한 밀집 모델로, 가장 강력한 고정 행렬 기준선보다 매개변수가 27배 적으며 베이즈 하한보다 0.05도 높은 수준이다. 실제 로봇 팔에서 분리된 306개 매개변수의 psi는 N ≥ 60에서 1.12-1.14 mm에 도달하며, 가우스-뉴턴은 1.29-1.33 mm이고, 이 방식은 세 제조사와 두 프로토콜에 걸쳐 전이된다. 이 방식은 데이터가 법칙을 따르는 곳에서는 고전적 적합과 대등하며, 부과한 법칙이 과제의 법칙이 아닌 곳에서는 성능이 떨어진다.

arXiv:2611.12452v1cs.RO

V3DSAM: 순전파 밀집 SLAM을 위한 의미-기하 루프 검증 및 기하 고정 지속 인스턴스 매핑

V3DSAM: Semantic-Geometric Loop Verification and Geometry-Anchored Persistent Instance Mapping for Feed-Forward Dense SLAM

장시퀀스 순전파(feed-forward) 밀집 SLAM에서 신뢰할 수 없는 뷰 간 연관 문제를 해결하기 위해, 본 레터는 장면 및 객체 수준에서 물리적 대응을 구축하는 개방형 어휘 의미 밀집 SLAM 시스템인 V3DSAM을 제시한다. 이 시스템은 VGGT-SLAM 2.0의 순전파 기하 추정과 SAM3의 개방형 어휘 의미 관측을 결합한다. 본 연구는 백본 내부 특징에 접근하지 않고, 픽셀 수준 양방향 재투영과 객체 수준 3D 공간 대응을 이용해 잘못된 루프 폐쇄를 식별하는 의미-기하 이중 스케일 루프 검증을 도입한다. 또한 최적화된 전역 좌표계에서 클래스 제약 3D 연결성을 통해 물리적 인스턴스를 정의하고, 프레임 간 정체성 전파 없이 전역 ID를 할당하는 기하 고정 지속 인스턴스 매핑을 제안한다. 제안한 검증기는 TUM RGB-D 평가에서 네 개의 잘못된 루프 후보를 모두 기각하였으며, 장시퀀스 ScanNet 실험에서는 인스턴스 정체성 일관성이 향상됨을 보인다. 따라서 V3DSAM은 견고한 장기 뷰 간 연관을 위해 내부 백본 특징과 시간적 ID 전파에 대한 의존성을 줄인다.

arXiv:2611.12409v1cs.RO

언어 조건부 양팔 조작을 위한 작업 계획과 실행의 연결

Bridging Task Planning and Execution for Language-Conditioned Bimanual Manipulation

로봇은 실세계 환경에서 자연어 조작 작업을 수행할 것으로 점점 더 기대되고 있다. 이는 어수선한 환경에서 작업 목표와 실행 가능성을 모두 추론해야 하는 가사 지원과 물류에서 특히 중요하다. 이러한 과제는 두 개의 매니퓰레이터를 조율하는 것이 추가적인 상호작용 및 기구학적 제약을 초래하는 양팔 휴머노이드 플랫폼에서 더욱 두드러진다. 우리는 작업 목표와 물리적 실행 가능성을 함께 추론하는, 실행 인식 양팔 조작을 위한 제로샷 비전-언어 프레임워크를 제시한다. 계획은 의미적 객체 관계와 실행 제약을 결합한 구조화된 장면 표현에 기반하며, 작업 의미를 보존하면서 장애물 재배치와 실행 선택을 가능하게 한다. 호환되는 동작들은 명시적인 사전 조건과 사후 조건을 갖는 병렬 양팔 단계로 구성된다. 계층적 검증기는 지각 불확실성 하에서 이러한 조건을 평가하고, 단계 수준의 실행 이력을 사용하여 국소적 복구 또는 표적 재계획을 지원한다. 하이브리드 휠-다리 휴머노이드 로봇 CENTAURO에서 아홉 가지 언어 조건부 조작 시나리오에 걸쳐 수행한 실험은 실행 비인식 기준선보다 높은 작업 성공률을 보인다. 전용 실패 시나리오에서 계층적 검증은 항상 재계획하는 방식보다 적은 모델 질의로 실행 실패에서 복구한다. 이러한 결과는 실행 추론을 작업 계획에 직접 결합하는 것의 이점을 보여 준다. 동영상과 추가 자료는 프로젝트 웹페이지(https://advrhumanoids.github.io/bridging-planning-execution/)에서 확인할 수 있다.

arXiv:2611.12382v1cs.RO

AutoVLA-D: 자율주행 VLA를 위해 추론으로부터 궤적-기하 조건 학습하기

AutoVLA-D: Learn a Trajectory-Geometric Condition from Reasoning for Autonomous Driving VLA

자기회귀 VLA 계획은 보통 연속적인 궤적을 최종 출력으로 예측하지만, 주행 지시는 흔히 자차 상태가 아닌 행동을 기술하므로 최종 연속 궤적에 대한 직접적인 조건화가 약해진다. 우리는 VLA 계획을 위한 이산적 궤적-기하 조건을 도입하는 TrajCond로 이 간극을 해소한다. 구체적으로, TrajCond를 1D-Brohan 미분 행동 궤적으로 표현하고, 최종 연속 궤적 예측에 앞서 2단계 학습 프레임워크로 이를 학습한다. 이산 궤적과 수치 궤적을 동시에 자기회귀적으로 생성하는 점에서 우리 방법을 AutoVLA-D(Double)라고 명명한다. NAVSIM navtest, nuScenes, NeuroNCAP에서의 실험 결과, 이산 궤적은 직접 출력으로는 더 약하지만 TrajCond로는 더 효과적이며, 폐루프 및 개루프 주행 벤치마크 전반에서 최종 연속 궤적 예측을 일관되게 향상시킨다. 코드는 https://github.com/ShivaTeam/AutoVLA-D 에서 확인할 수 있다.

arXiv:2611.12351v1cs.RO

UniOMA: 로봇 지각을 위한 통합 최적 수송 멀티모달 구조 정렬

UniOMA: Unified Optimal-Transport Multi-Modal Structural Alignment for Robot Perception

일반화 가능하고 잘 정렬된 멀티모달 표현을 얻는 것은 로봇 학습의 핵심 과제로 남아 있다. 최근 접근법들은 조건부 또는 고차 통계적 의존성을 모델링하여 모달리티를 정렬하려 했으나, 모달리티 간 구조적 일관성은 명시적으로 고려하지 않는다. 본 연구는 기존 대조 손실에 기하 인식 Gromov–Wasserstein(GW) 거리 기반 정규화를 추가하는 새로운 멀티모달 정렬 방법을 제안한다. 이를 위해 각 모달리티의 모달리티 내부 기하를 인코딩하고, 동적으로 학습되는 GW 바리센터를 통해 모달리티 간 구조적 불일치를 줄여, 인스턴스 수준의 대조 정렬에 더해 구조적 일관성을 촉진한다. 이 최적 수송 기반 정렬 전략을 힘 및 촉각 신호처럼 충분히 탐구되지 않은 모달리티가 관여하는 로봇 지각 과제에 적용하며, 이러한 모달리티 데이터는 표본 밀도가 다양하게 나타나는 경우가 많다. 다섯 개의 로봇 벤치마크에서 수행한 광범위한 실험 결과, 제안 방법은 로봇 및 환경 상태 예측을 포함한 다양한 하위 과제에서 최첨단 멀티모달 대조 기준 모델보다 구조 정렬과 하위 과제 성능을 향상시킨다. 또한 GW 기반 정규화는 대부분의 InfoNCE 유사 목적 함수에 매끄럽게 통합될 수 있다.

arXiv:2611.12334v1cs.AI

레이더 3D 지각 재고: 원시 스펙트럼으로부터의 표현 학습

Rethinking Radar 3D Perception: Representation Learning from Raw Spectra

원시 레이더 스펙트럼은 직접적인 표현 학습에 쓰기에는 지나치게 어수선하고 잡음이 많다고 널리 여겨져, 레이더 지각에서는 수작업 축약, 희소 점군, 또는 간결한 도플러 기술자가 사용되어 왔다. 본 논문은 이러한 가정에 이의를 제기하며, 주된 한계는 원시 표현 자체가 아니라 구조화된 신호와 잡음을 분리하는 학습 목표의 부재에 있다고 주장한다. 수작업 축약은 이 문제를 부분적으로 해결하지만 무엇이 신호인지에 대해 경직된 가정을 부과하여, 약하지만 유용한 구조는 버리고 축약 모델에 부합하는 아티팩트는 유지한다. 한번 제거된 정보는 지도 학습으로 복원할 수 없다. 이에 대한 대안으로, 구조는 국소적 훼손 하에서도 재구성 가능한 레이더 스펙트럼의 성분이고 잡음은 그렇지 않은 성분이라고 제안한다. 이 관점은 사전에 정의된 신호-잡음 분리 없이 조밀한 레이더 스펙트럼에 대한 자기 지도 마스크 모델링을 동기화한다. 이를 스펙트럼 누설로 인한 빈 간 에너지 확산에서 착안한 훼손 전략을 사용하는 원시 레이더 큐브용 마스크드 오토인코더인 Leakage-aware Spectral MAE로 구현한다. 또한 도플러 구성의 중요성도 보인다. 높이를 특징으로 인코딩하고 도플러를 x-y-D 표현의 주된 공간 차원으로 다루는 방식은 단순한 채널 적층을 크게 능가하며, 조밀한 4D 스펙트럼으로부터의 효과적인 학습을 가능하게 한다. 수작업 축약 없이도 본 접근법은 최첨단 레이더 기반 검출기와 점군 기반 자기 지도 학습(SSL) 대응 방법을 일관되게 능가한다. 이러한 결과는 적절한 사전 학습 목표와 결합될 때 원시 레이더 스펙트럼이 3D 지각을 위한 효과적인 표현임을 입증한다.

arXiv:2611.12317v1cs.NE

랜덤 키 최적화기를 이용한 UAV 수색 임무의 탐지 확률 최대화

Maximizing Detection Probability in UAV Search Missions using Random-Key Optimizers

본 논문은 수색구조(SAR) 임무에서 무인항공기(UAV) 경로 계획의 확률적 및 실시간 제약에 초점을 맞춘다. 우리는 폐루프 확률 갱신과 랜덤 키 최적화기(RKO)를 결합한, 구성 가능한 데이터 기반 지능형 경로 설정 아키텍처를 제안한다. 우리의 문제는 개방형 차량 경로 문제(OVRP)의 동적 확률적 변형으로 수학적으로 모델링되며, 이를 통해 해결기가 두 목적 사이를 적응적으로 전환하여 확률 최대화와 자원 최소화의 균형을 맞출 수 있다. 이 프레임워크는 잡음이 있는 사전 정보에서는 성능이 완만하게 저하되지만 편향된 사전 정보에서는 그렇지 않다. 체계적으로 편향된 지도는 사전 정보 없이 비행하는 경우의 약 절반 수준의 성능을 보인다. 계산 실험 결과, 제안된 방식은 확장 가능하며 단일 경로 시나리오와 비교해 해의 성능 면에서 경쟁력이 있고, 불안정한 환경에서의 SAR 작전에 대한 지능형 계획 수립에 강력한 의사결정 지침이 된다.

arXiv:2611.12295v1cs.RO

Be My Eye: 로봇 자신의 시점을 넘어 보는 법 학습하기

Be My Eye: Learning to See Beyond a Robot's Own Perspective

실제 세계에서 작동하는 로봇은 본질적으로 부분 관측성의 영향을 받으며, 특히 다중 로봇 협업에서는 개별 관측만으로는 효과적인 과제 수행에 충분하지 않을 수 있다. 핵심 과제는 협력 로봇의 상호 보완적인 관측을 활용하여 협업적 의사결정을 지원하는 것이다. 우리는 정보 공유가 원시 관측이나 일반적인 시각 특징을 수동적으로 전달하는 데 그쳐서는 안 된다고 주장한다. 대신 로봇은 과제 목표와 수행 진행 상황에 따라 과제 관련 정보를 선택적으로 인코딩해야 한다. 이를 위해 우리는 제한된 통신 예산 하에서 핵심 정보를 보존하면서 로봇 관측을 간결한 표현으로 변환하는 과제 지향적 능동 맥락 공유 프레임워크를 제안한다. 이 프레임워크는 2단계 학습 패러다임을 채택한다. 첫 번째 단계에서는 온보드 관측과 과제 지시가 간결한 맥락 표현으로 함께 인코딩된다. 과제 지향적 미래 예측과 소프트 과제 진행 대응 학습이 이 협업 비의존적 압축을 안내하여 과제 목표와 수행 진행 상황에 관한 정보를 보존한다. 두 번째 단계에서는 학습된 표현이 사전학습된 비전-언어-행동(VLA) 정책에 통합되어 양방향 맥락 교환을 가능하게 한다. 각 로봇은 협력 로봇의 상호 보완적인 정보를 로컬 관측과 결합하여 행동 생성을 안내한다. 행동 지도는 맥락 표현과 정책을 함께 정제하여 정보 공유를 협업적 의사결정과 정렬시킨다. 통제된 실험은 제한된 통신 예산 하에서 상당한 성능 향상을 보여주며, 세 가지 실제 환경 실험은 복잡한 이중 로봇 과제에서 이 프레임워크를 검증한다. 이러한 결과는 수동적인 시각 전송에서 협업적 의사결정을 직접 지원하는 능동적이고 과제 지향적인 맥락 공유로의 전환을 부각한다.