arXiv:2606.20491v1 cs.RO

자율 내비게이션에서 시점 유도 능동 인식을 위한 빠른 인간 어텐션 예측

Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation

Fatma Youssef Mohammed, Grzegorz Malczyk, Kostas Alexis

제출 2026-06-18

한국어 초록

인간의 시각 어텐션(attention)은 장면을 효율적으로 처리하기 위해 구조화된 스캔패스(scanpath)에 의존하지만, 이러한 행동을 로봇 자율성에 부여하는 것은 아직 초기 단계에 있으며 기존 예측 모델의 높은 계산 비용으로 인해 제약받고 있습니다. 이를 해결하기 위해 본 논문에서는 GazeLNN을 소개합니다. GazeLNN은 순환 엔진으로 액체 신경망(Liquid Neural Networks)을 활용하고 특징 추출(feature extraction)을 위해 MobileNetV3를 사용하는 계산적으로 가벼운 스캔패스 예측 모델입니다. 자기회귀(auto-regressive)적으로 작동하는 이 아키텍처는 현재 시각 자극과 시점(fixation) 이력에 조건화된 순차적 시점 히트맵을 예측합니다. 단 0.61 GFLOPs만을 요구함에도 불구하고, GazeLNN은 0.47의 ScanMatch 점수를 달성하여 MIT Low Resolution 데이터셋(dataset)에서 최첨단(SOTA) 성능을 보여주었습니다. 이 모델은 다양한 평가 지표에서 기존 순환 기준 모델(baseline)들을 능가하는 동시에, 계산 비용을 99.40% 절감하고 추론(inference) 속도를 최대 6배까지 향상시켰습니다. 로봇 자율성에서 인간 어텐션 모델링의 역할을 조사하고 이 고효율 아키텍처의 실용적 유용성을 입증하기 위해, 강화학습(Reinforcement Learning)을 통해 학습된 능동 카메라-로봇 제어 정책에 GazeLNN을 통합했습니다. 이러한 통합을 통해 자율 내비게이션 중 인간 시점 유도 인식이 가능해졌으며, 이는 공중 로봇(aerial robot)에 대한 성공적인 실제 배포를 통해 검증되었습니다.

원문 초록

Human visual attention relies on structured scanpaths to efficiently process scenes, yet instilling this behavior into robot autonomy is in its infancy and hindered by the high,computational costs of existing predictive models. To address this, we introduce GazeLNN, a computationally lightweight,scanpath prediction model that leverages Liquid Neural Networks as its recurrent engine and employs MobileNetV3 for feature extraction. Operating auto-regressively, the architecture predicts sequential fixation heatmaps conditioned on the current visual stimulus and fixation history. Despite requiring only 0.61 GFLOPs, GazeLNN achieves state-of-the-art performance on the MIT Low Resolution dataset achieving 0.47 ScanMatch score. It outperforms existing recurrent baselines across diverse evaluation metrics, while reducing computational costs by 99.40% and accelerating inference by up to six times. To investigate the role of human attention modeling in robot autonomy and demonstrate the practical utility of this highly efficient architecture, we integrate GazeLNN into an active camera-robot control policy trained via Reinforcement Learning. This integration enables human-fixation-guided perception during autonomous navigation, validated through successful real-world deployments on an aerial robot.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20491v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01687v1cs.CV공통 태그 Reinforcement Learning, Computational Efficiency

구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링

Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.

arXiv:2609.27156v1cs.CL공통 태그 Reinforcement Learning, Computational Efficiency

합당한 곳에 기여도 부여하기: 효율적인 추론을 위한 중복 인식 학습

Giving Credit Where It's Due: Redundancy-Aware Learning for Efficient Reasoning

대규모 추론 모델은 정확하면서도 불필요하게 긴 추론 궤적을 생성할 수 있습니다. 기존 방법들은 궤적 수준의 목표나 국소적인 토큰(token) 및 스텝 수준의 신호로 추론 효율성을 개선하지만, 스텝 간의 의미적 의존성을 모델링하는 경우는 드뭅니다. 이는 이후의 연역을 뒷받침하는 스텝과 불필요한 스텝을 구분하는 능력을 제한하여, 정확도를 희생하지 않고 추론을 단축하는 것을 더 어렵게 만듭니다. 우리는 추론 구조 내에서 스텝의 다운스트림 역할과 문제를 올바르게 해결하는 데 기여한 정도를 모두 기반으로 합당한 곳에 기여도를 부여함으로써 이러한 한계를 해결하는 RECAP(REdundancy-aware Credit Assignment via Propagation)을 소개합니다. 우리는 결과 독립적이고 대규모 언어 모델(LLM)이 주석을 단 의미적 의존성 그래프를 통해 최종 답변 노드(node)로부터 역방향으로 전파되는 기여도를 사용하여 이후 추론이 해당 스텝에 얼마나 강하게 의존하는지 측정함으로써, 스텝의 다운스트림 역할을 포착하는 구조적 책임을 정의합니다. 그러나 어떤 스텝은 높은 구조적 책임을 가지면서도 추론을 정답에서 벗어나게 유도할 수 있습니다. 따라서 RECAP은 각 스텝이 추가됨에 따른 정답 로그 가능도(likelihood)의 변화를 통해 정답 지향적 진전을 측정하는 스텝 효능을 도입합니다. 이 신호들은 함께 롤아웃(rollout) 수준의 GRPO 어드밴티지를 스텝별 업데이트로 재구성합니다. RECAP은 별도로 학습(training)된 프로세스 보상 모델(reward model)이나 사전에 구축된 간결한 궤적을 모두 필요로 하지 않습니다. 두 개의 7B 모델(model)과 네 개의 수학적 추론 벤치마크(benchmark) 전반에서 RECAP은 정확도-효율성 트레이드오프를 개선합니다. Qwen2.5-Math-7B에서 네 개 벤치마크 모두에 걸쳐 GRPO 대비 추론 토큰을 8%-31% 줄이면서 pass@1을 2.0-3.7 퍼센트포인트 향상시킵니다. 분석에 따르면 이러한 절감은 더 압축된 표현보다는 더 적은 추론 연산과 덜 막다른 추론을 반영함을 시사합니다.

arXiv:2609.27446v1cs.LG공통 태그 Reinforcement Learning, Computational Efficiency

양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습

Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.

arXiv:2609.27547v1cs.LG공통 태그 Reinforcement Learning, Computational Efficiency

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

arXiv:2609.28085v1cs.LG공통 태그 Reinforcement Learning, Computational Efficiency

잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝

Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.