Saliency Prediction on Omnidirectional Images with Generative Adversarial Imitation Learning
원문 초록
When watching omnidirectional images (ODIs), subjects can access different viewports by moving their heads. Therefore, it is necessary to predict subjects' head fixations on ODIs. Inspired by generative adversarial imitation learning (GAIL), this paper proposes a novel approach to predict saliency of head fixations on ODIs, named SalGAIL. First, we establish a dataset for attention on ODIs (AOI). In contrast to traditional datasets, our AOI dataset is large-scale, which contains the head fixations of 30 subjects viewing 600 ODIs. Next, we mine our AOI dataset and determine three findings: (1) The consistency of head fixations are consistent among subjects, and it grows alongside the increased subject number; (2) The head fixations exist with a front center bias (FCB); and (3) The magnitude of head movement is similar across subjects. According to these findings, our SalGAIL approach applies deep reinforcement learning (DRL) to predict the head fixations of one subject, in which GAIL learns the reward of DRL, rather than the traditional human-designed reward. Then, multi-stream DRL is developed to yield the head fixations of different subjects, and the saliency map of an ODI is generated via convoluting predicted head fixations. Finally, experiments validate the effectiveness of our approach in predicting saliency maps of ODIs, significantly better than 10 state-of-the-art approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기
SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving
사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.
BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습
BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.
학습과 탐색을 통한 조합 최적화에서 인간형 해법 이해
Understanding Human-like Solutions in Combinatorial Optimization via Learning and Search
인간은 고급 컴퓨터 알고리즘에게도 계산적으로 어려운 조합 최적화 문제에 대해 종종 좋은 해를 찾는다. 유클리드 여행 판매원 문제(TSP)에서 사람들은 시간과 계산에 심각한 제약이 있음에도 불구하고 거의 최적인 경로(tour)를 빠르게 생성한다. 경로를 인간형으로 만드는 요인은 무엇이며, 이러한 해를 어떻게 학습할 수 있을까? 본 연구에서는 유클리드 TSP에서 인간의 수행을 대규모 행동 및 계산 조사를 통해 이러한 질문에 답한다. 우리는 TSP 인스턴스의 넓은 공간을 샘플링하고, 인간의 해를 수집했으며, 유효한 경로에 대한 확률 분포를 정의하는 어텐션 기반 포인팅 메커니즘을 갖춘 순환 신경망인 Pointer Networks에 기반한 신경 정책과 이를 비교했다. 우리는 강화학습(RL), 최적 경로로부터의 지도학습, 인간 경로로부터의 지도학습, 그리고 최적 경로 지도학습 사전학습 후 RL 미세조정을 포함한 여러 목적 함수로 이러한 네트워크를 학습시켰다. 인간의 경로는 최적 경로와 동일하지는 않았지만, 거의 최적인 기하학적 분지(basin)를 차지했다: 최적 해와 많은 구조적 특성을 공유하면서도 체계적인 인간 특유의 편차를 유지했다. 인간 경로에 대한 최상의 설명은 최적 경로의 직접적 모방이 아니라, 최적 경로로 사전학습하고 RL로 미세조정한 뒤 $\text{Best-of-}N$ 샘플링을 통해 디코딩한 모델이었다. 이러한 결과는 인간형 해가 구조화된 지도학습, RL, 테스트 시점 탐색의 결합으로부터 창발할 수 있음을 시사하며, 많은 현대 인공지능 시스템의 기반이 되는 계산 원리와 공명한다.
UniCross: 통합 교차 스킬 정밀 조작 합성
UniCross: Unified Cross-Skill Dexterous Manipulation Synthesis
많은 정교한 조작 과제는 상호작용 전반에 걸쳐 물체를 안정적으로 쥐고 있을 것을 요구한다. 손-물체 관계적 운동의 관점에서 이러한 조작은 잡기, 재배치, 손 안 회전, 손 안 이동이라는 네 가지 표준 기술로 구성된다. 사람의 손은 복잡한 과제를 수행하기 위해 이러한 기술을 유연하게 조합한다. 그러나 기존 접근법은 이들 기술을 기술별 행동 제약, 목적함수, 심지어 전용 손 형태로 따로 모델링하므로, 장기 지평 조합에 필요한 호환성과 연속성이 깨진다. 본 연구에서는 원하는 관계적 목표로 구체화되는 단일 정식화로 네 가지 기술을 모두 모델링하는 통합 프레임워크를 제시한다. 이 정식화는 기술 간 호환성을 보존하고 기술 식별자 없이 단일 정책을 증류할 수 있게 하며, 이 정책은 기술별로 강한 성능을 달성하고 보지 못한 물체로 일반화한다. 이러한 호환성은 정책이 장기 지평의 기술 연쇄를 수행하고 학습 중 보지 못한 관계적 목표를 실행하는 것도 뒷받침한다. 이 프레임워크는 서로 다른 손 형태에도 적용된다. 이러한 결과는 서로 다른 정교한 조작 기술이 공유된 관계적 과제 정식화의 구체화로 모델링될 수 있음을 시사한다. 프로젝트 페이지: https://zdchan.github.io/UniCross/
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.