Pedestrian Prediction by Planning using Deep Neural Networks
원문 초록
Accurate traffic participant prediction is the prerequisite for collision avoidance of autonomous vehicles. In this work, we predict pedestrians by emulating their own motion planning. From online observations, we infer a mixture density function for possible destinations. We use this result as the goal states of a planning stage that performs motion prediction based on common behavior patterns. The entire system is modeled as one monolithic neural network and trained via inverse reinforcement learning. Experimental validation on real world data shows the system's ability to predict both, destinations and trajectories accurately.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VideoGen-Agent: 비디오 생성 에이전트 강화
VideoGen-Agent: Reinforcing Video Generation Agents
최근 비디오 생성 모델의 발전으로 고충실도이며 시간적으로 일관된 비디오 생성이 가능해졌다. 그러나 이러한 모델은 전문 지식, 특정 정체성, 물리적 일관성 또는 순서가 있는 사건을 요구하는 프롬프트를 충족하는 데 자주 어려움을 겪는다. 본 논문에서는 다중 과제 에이전트 강화학습을 통해 비디오 생성을 위한 외부 도구를 사용하도록 학습된 멀티모달 에이전트 VideoGen-Agent를 제시한다. 이 에이전트는 프롬프트와 중간 관측을 활용해 의사 결정을 이끌며, 다중 턴 상호작용을 통해 증강, 생성, 검증 도구를 조율한다. 우리는 여섯 가지 과제에 걸친 범주 균형 데이터셋으로 공유 정책을 학습한다. 교사 모델이 생성한 궤적에 대한 지도 미세 조정으로 도구 사용 행동을 확립한 뒤, 강화학습으로 이를 정제한다. 범주 인식 하이브리드 보상은 도구 호출의 유효성, 과제에 적합한 도구 사용, 생성된 비디오의 품질을 평가한다. 또한 절차적 지식, 단일 및 다중 개체 정체성 보존, 물리적 일관성, 장면 구성, 다중 샷 시간 구조를 포괄하는 600개 프롬프트의 홀드아웃 벤치마크 VABench를 도입한다. VABench에서 VideoGen-Agent는 기반 텍스트-비디오 생성기보다 19.1점 향상된 75.6점(56.5점에서 상승)을 기록한다. 생성 도구를 업그레이드하면 추가적인 에이전트 학습 없이도 점수가 86.1까지 더 오른다. 인간 평가자들은 비교의 84.3%에서 업그레이드된 구성을 가장 강력한 단독 기준선보다 선호하였다. 이러한 결과는 비디오 생성 과제 전반에 걸친 도구 사용 학습을 뒷받침하며, 학습된 에이전트가 이후 생성 도구의 발전으로부터 이익을 얻을 수 있음을 보여준다. 프로젝트 페이지: https://andyca111.github.io/VideoGen_Agent/
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
선호도 불확실성 하에서의 강건한 내시 정렬
Robust Nash Alignment under Preference Uncertainty
선호 기반 정렬 방법은 일반적으로 단일 선호 모델에 대해 최적화하므로, 쌍별 선호가 잡음이 있거나 이질적이거나 배포 후 변화하는 등 불확실한 경우 취약할 수 있다. 이러한 문제를 해결하기 위해 불확실한 쌍별 선호에 대한 정렬을 위한 게임 이론적 프레임워크인 Robust Nash Alignment를 제안한다. 우리의 정식화에서는 주 학습자가 적대적 경쟁자와, 명목 선호 주변의 모호성 집합에 속하는 임의의 선호 커널 모두에 대해 최악의 경우 승률이 높은 정책을 찾는다. 모호성 집합이 선호의 불확실성을 포착하면, 그 결과로 얻는 게임의 강건 목적함수는 최악의 경우 성능에 대한 인증된 하한을 직접 제공한다. 그러나 이 문제는 최적화가 계산적으로 어렵다는 점에 주목하여, 이를 해결하기 위해 리더 정책, 팔로워 정책, 적대적 커널, 쌍대 변수를 포함하는 4인 주-쌍대 대리 게임을 도입하고, 이에 대한 단일 루프 낙관적 미러 하강-상승 알고리즘을 개발한다. 대리 목적함수가 항상 절단된 경성 제약 목적함수의 하한이 됨을 보이고, 대리와 경성 제약 간의 격차를 정량화하며, 대리가 강건 목적함수를 복원하는 정확성 조건을 규명한다. 이어서 대리 게임의 쌍대성 격차에 대해 평균 반복 기준 $\mathcal{O}(1/\sqrt{T})$ 수렴을 증명하며, 이는 원래의 강건 목적함수에 대해 거의 최적인 강건 정책을 의미한다. 통제된 표 형태 게임과 불확실한 선호를 가진 LLM 정렬에 대한 실험은 이 방법을 보여 주며, 명목 기준선 대비 선호 교란에 대한 강건성이 향상됨을 보인다.
UniCross: 통합 교차 스킬 정밀 조작 합성
UniCross: Unified Cross-Skill Dexterous Manipulation Synthesis
많은 정교한 조작 과제는 상호작용 전반에 걸쳐 물체를 안정적으로 쥐고 있을 것을 요구한다. 손-물체 관계적 운동의 관점에서 이러한 조작은 잡기, 재배치, 손 안 회전, 손 안 이동이라는 네 가지 표준 기술로 구성된다. 사람의 손은 복잡한 과제를 수행하기 위해 이러한 기술을 유연하게 조합한다. 그러나 기존 접근법은 이들 기술을 기술별 행동 제약, 목적함수, 심지어 전용 손 형태로 따로 모델링하므로, 장기 지평 조합에 필요한 호환성과 연속성이 깨진다. 본 연구에서는 원하는 관계적 목표로 구체화되는 단일 정식화로 네 가지 기술을 모두 모델링하는 통합 프레임워크를 제시한다. 이 정식화는 기술 간 호환성을 보존하고 기술 식별자 없이 단일 정책을 증류할 수 있게 하며, 이 정책은 기술별로 강한 성능을 달성하고 보지 못한 물체로 일반화한다. 이러한 호환성은 정책이 장기 지평의 기술 연쇄를 수행하고 학습 중 보지 못한 관계적 목표를 실행하는 것도 뒷받침한다. 이 프레임워크는 서로 다른 손 형태에도 적용된다. 이러한 결과는 서로 다른 정교한 조작 기술이 공유된 관계적 과제 정식화의 구체화로 모델링될 수 있음을 시사한다. 프로젝트 페이지: https://zdchan.github.io/UniCross/
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.