PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.40219v2cs.CV

과거 행동 궤적으로부터 스킬 학습하기: 월드 액션 모델을 위한 행동 경험 딕셔너리

Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models

월드 액션 모델(WAMs)은 시각적 역학 예측과 행동 생성을 결합하지만, 여러 조작 작업 전반에 걸친 행동 경험의 재사용을 명시적으로 지원하지는 않습니다. 나아가 기존 WAM은 불필요한 배경 요소가 핵심 시각 정보 추출을 방해하기 때문에, 목표 행동 예측을 유도할 수 있는 작업 간 기저 시맨틱 관계를 포착하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 과거의 물리적 행동 궤적을 공유된 행동 임베딩으로 인코딩하여 스킬 재사용을 지원하고 작업 간 관계를 모델링하는 새로운 행동 경험 딕셔너리(AED)를 개발합니다. 구체적으로, 먼저 시각적 관찰과 정렬되도록 과거 행동을 집계하고 사전학습된 행동 토크나이저를 사용해 AED에서 행동 임베딩을 검색합니다. 이후 크로스 어텐션(cross-attention)을 통해 풀링된 임베딩에 시각적 조건을 부여하고 이를 노이즈가 있는 행동 토큰 앞에 덧붙여 예측을 위한 상호작용 컨텍스트와 행동 의도를 제공합니다. 또한 행동과 관련된 움직임을 모델링하고 무관한 배경 단서에 대한 의존도를 낮추기 위해, 무작위 시간 간격에 따른 시각적 특징 변화 예측을 지도하는 동작 인식 전이 손실(motion-aware transition loss)을 도입합니다. 시뮬레이션 벤치마크와 실제 환경의 크로스 임바디먼트(cross-embodiment) 설정에서 수행한 실험을 통해 제안하는 AED의 유효성을 검증합니다. 프로젝트 코드는 https://github.com/JiahuaDong/AED 에서 확인할 수 있습니다.

arXiv:2609.27095v1cs.RO

구현체를 아우르는 지능

Intelligence Across Embodiments

로봇 embodiment는 에이전트가 세계와 물리적으로 상호작용하는 감지, 운동학, 동역학, 기하, 구동, 제어를 포괄한다. 이러한 속성은 로봇마다 다르고 시간에 따라 변한다. 우리는 일반적인 체화 지능(embodied intelligence)이 이러한 차이에 걸쳐 축적되는 학습을 요구한다고 주장한다. embodiment 차이를 메우기 위해 대응 관계(correspondence)를 설계하는 주류 방법은 당장의 실용적 이득을 제공하지만, 그 가정들은 장기적으로 전이(transfer)의 범위를 제한한다. 대신 보다 일반적인 접근은 경험이 늘어남에 따라 더 넓은 범위의 embodiment로의 전이를 지원하는 표현(representation)을 발견해야 한다. 우리는 embodiment 다양성을 유망한 스케일링(scaling) 축으로 제안하고, 넓은 학습된 사전(prior)을 보완적 요소로 본다. embodiment gap과 전이 성능을 더 잘 특성화하는 평가를 촉구한다. 더 넓게, 교차-embodiment 학습은 이질적인 로봇 경험으로부터 학습하는 실용적 과제를, 자연에서 영감을 받은 더 넓은 과학적 추구—행동과 물리적 형태에 대한 주도권(agency)을 얻기 위해 embodiment와 함께 적응하고 공진화(co-evolve)하는 물리적 지능(physical intelligence)—와 연결한다.