PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.36906v2cs.CV

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.

arXiv:2609.24124v1cs.RO

ActiveArena: 로봇 조작에서 능동 지각의 벤치마킹 및 이해

ActiveArena: Benchmarking and Understanding Active Perception in Robotic Manipulation

능동 지각(active perception)과 조작(manipulation)은 로봇이 복잡한 장면과 상호작용하는 데 필수적이다. 기존 벤치마크는 로봇이 능동적으로 정보를 효과적으로 획득하고 기억에 유지하는 방식을 평가하는 데 한계가 있다. 이를 위해 제어 가능한 시점(viewpoint)과 대규모 작업 공간을 갖춘 능동 지각 시뮬레이터인 ActiveArena-Sim을 기반으로 소개한다. 이를 바탕으로 5개의 세분화 범주에 걸친 35개 과제로 구성되며, 시각적 탐험과 상호작용적 정보 획득을 포괄하는 ActiveArena-Bench를 제안한다. 각 과제는 수동적 관측만으로는 해결하기 어려워 다회 증거 획득과 메모리 기반 추론을 요구한다. 이 벤치마크는 풍부한 메모리 주석, 표준화된 학습 데이터, 분리된 장면·보지 못한 distractor 구성·새로운 배경을 특징으로 하는 ID/OOD 프로토콜을 제공한다. 더 나아가 메모리 쓰기, 메모리 용량, 고유수용감각(proprioceptive) 상태, 하위 과제 지도, 능동 지각에서의 고수준 계획에 대한 통제 연구를 위해 13가지 비전-언어-행동(VLA) 구성을 갖춘 모듈형 스위트 ActiveArena-VLA를 제시한다. 벤치마크 결과는 상당한 ID-OOD 격차를 보여 준다. 균일 메모리 샘플링, 신뢰할 수 있는 쓰기 정책 하에서의 메모리 용량 증가, 고유수용감각 입력, 하위 과제 지도는 OOD 일반화를 개선하는 반면, 플래너(planner)가 안내하는 메모리 관리와 의사결정은 희소(sparse) 메모리만 사용하는 최고 성능 구성에 근접한 성능을 달성한다. ActiveArena는 thus 능동 지각과 조작을 위한 모델을 개발하고 진단할 수 있는 통합 시험 환경을 제공한다.

arXiv:2609.23974v1cs.AI

LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각

LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning

파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.

arXiv:2503.21796v3cs.NE

메타-표상 예측 코딩: 신경과학에 기반한 자기지도 학습

Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning

자기지도 학습(self-supervised learning)은 기계 지능과 계산 신경과학 분야에서 중요한 패러다임이 되었다. 그럼에도 불구하고 자기지도 학습(SSL) 관련 현재 연구는 생물학적으로 그럴듯하지 않은 신용 할당(credit assignment), 즉 오류의 역전파,와 순전파 추론(feedforward inference), 즉 순차적이고 비병렬적인 정보 흐름에 의존한다. 예측 코딩(predictive coding, PC)은 역전파 특유의 한계를 피할 수 있는 생물학적으로 그럴듯한 수단을 제공한다. 그러나 비지도 PC는 원시 입력에 대한 생성 모델을 학습해야 하며, 이는 고차원 입력을 예측하는 것을 수반한다. 반면 지도 PC는 입력과 목표 레이블 간의 매핑을 학습하므로 인간 주석이 필요하고 지도 학습의 단점을 갖는다. 본 연구에서는 PC와 능동 지각(active perception)에 기반한 신경과학 기반 SSL 모델인 메타-표상 예측 코딩(meta-representational predictive coding, MPC)을 제안한다. MPC는 병렬 스트림에 걸친 데이터 표상의 예측을 학습함으로써 감각 입력에 대한 생성 모델의 필요성을 우회하여, 인코더만 사용하는 학습-추론 방식을 만든다.

arXiv:2606.19341v2cs.CV

옴니-모달 이해를 위한 추론으로서의 네이티브 능동 지각

Native Active Perception as Reasoning for Omni-Modal Understanding

긴 영상 이해를 위한 수동적 모델은 일반적으로 "모두 보기(watch-it-all)" 패러다임에 의존하여, 쿼리의 난이도와 상관없이 프레임을 균일하게 처리하므로 계산 비용이 영상 길이에 따라 증가합니다. 대화형 프레임워크가 등장했지만, 이들은 종종 전역 사전 스캔(global pre-scanning)에 의존하며, 컨텍스트 비용은 여전히 영상 길이에 비례하여 증가합니다. 우리는 영상 이해를 POMDP 기반의 반복적인 관찰-사고-행동(Observation-Thought-Action) 주기로 공식화하는 최초의 네이티브 옴니-모달 에이전트인 OmniAgent를 제안합니다. OmniAgent는 요청 시(on-demand) 행동을 실행하여 오디오-시각적 단서를 지속적인 텍스트 메모리로 선택적으로 증류(distill)함으로써, 추론 복잡도를 원본 영상 길이로부터 효과적으로 분리합니다. 이를 실현하기 위해 우리는 (1) 이중 단계 품질 제어(dual-stage quality control)가 포함된 best-of-N 궤적 합성을 통해 네이티브 능동 지각을 부트스트랩하는 에이전트 지도 미세조정(Agentic Supervised Fine-Tuning)과 (2) 턴 수준 엔트로피를 활용하여 신용 할당(credit assignment)을 중요한 발견 턴(pivotal discovery turns)으로 유도하는 TAURA(Turn-aware Adaptive Uncertainty Rescaled Advantage)를 갖춘 에이전트 강화학습(Agentic Reinforcement Learning)을 도입합니다. 결정적으로 OmniAgent는 추론 턴의 수가 증가함에 따라 성능이 향상되는 긍정적인 테스트 타임 스케일링(test-time scaling)을 보여주며, 이는 능동 지각의 효과를 검증합니다. 10개의 벤치마크(예: VideoMME, LVBench)에 대한 실증적 결과는 OmniAgent가 오픈 소스 모델 중 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다. 특히 LVBench에서 우리의 7B 에이전트는 10배 더 큰 Qwen2.5-VL-72B(50.5% 대 47.3%)를 능가했습니다.

arXiv:2607.09078v1cs.CV

야생 환경에서 UAV를 위한 능동적 객체 검출: 대규모 데이터셋, 벤치마크 및 방법

Toward Active Object Detection for UAVs in the Wild: A Large-Scale Dataset, Benchmark and Method

객체 검출은 무인 항공기(UAV) 응용 분야의 핵심 구성 요소이나, 오랫동안 가림(occlusion)이나 타겟 픽셀 부족과 같은 문제에 시달려 왔다. 능동적 객체 검출(AOD)은 능동 시각(active vision)을 통해 이러한 과제를 해결하는 새로운 패러다임을 제공하지만, 알고리즘 개발 및 평가를 위한 고품질 데이터셋과 벤치마크의 부재로 인해 UAV 기반 AOD 연구는 아직 미흡한 실정이다. 이 공백을 메우기 위해 본 논문은 UAV-지상 능동적 객체 검출(UGAOD)을 위한 최초의 대규모 실세계 데이터셋인 ATRNet-LUDO를 제시한다. 이 데이터셋은 40개 시나리오에 걸쳐 10종의 차량 타겟을 포함하는 121,000개의 다시점 파노라마 다중 타겟 항공 이미지와 121만 개의 단일 타겟 로컬 슬라이스로 구성된다. 이를 통해 UAV 에이전트 상호작용 및 능동적 관측 정책 학습을 위한 다양한 학습 및 테스트 환경 구축이 가능하다. 이 데이터셋을 기반으로 AOD 정책 학습 방법에 대한 포괄적인 평가 벤치마크를 구축한다. 기존 AOD 정책의 대부분은 심층 강화학습(DRL)에 의존하지만 일반화 성능이 낮다는 문제가 있다. 제안한 벤치마크에서의 평가 결과, 학습과 테스트 성능 간에 유의미한 일반화 격차가 존재함이 드러나 해결책의 필요성이 부각된다. 이를 위해 Joint Embedding Predictive Architecture(JEPA)를 활용하여 상태 표현 학습을 강화하는 세계 모델을 구성하고, AOD 특화 사전 지식을 접목한 AOD-JEPA를 제안한다. 광범위한 실험을 통해 그 효과와 우수성을 검증한다. ATRNet-LUDO와 벤치마크가 UGAOD 분야의 연구를 발전시키는 데 기여하길 바란다. 데이터셋과 코드는 https://github.com/Leo000ooo/LUDO_dataset에 곧 공개될 예정이다.

arXiv:2607.08196v1cs.AI

느린 사고와 능동적 지각의 제1원리 이론

A First-Principles Theory of Slow Thinking and Active Perception

인지 기능의 제1원리 모델링 시리즈의 일환으로, 본 논문은 사고와 지각에 대한 수학적 정식화를 제시한다. 느린 사고(slow thinking), 더 넓게는 능동적 지각(active perception)을 형식적으로 도출하며, 느린 사고 대규모 언어 모델(LLM)의 설계, 학습, 추론을 아우른다. 출발점은 관측 공간과 잠재 공간 위의 확률 분포를 리프팅(lifting)하고 투영(projection)하는 것으로, 복잡한 데이터 분포를 신경망과 같은 단순한 함수족으로 표현하는 것을 목표로 한다. "능동적 리프팅(active lifting)"이라 명명된 이론을 제안하며, 이는 잠재 시퀀스의 샘플링과 최대 속도로 불확실성을 줄이려는 내재적 동인에 기반한다. 이 이론은 정적 이론(static theory)이라 부르는 부분 공간에 느린 사고 모델을 포함하는 광대한 설계 공간을 도출한다. 해당 모델들은 정적 이론이 유도하는 표현 계층 구조와 샘플러 계층 구조 위에 위치하며, 두 계층 구조를 올라감으로써 개선될 수 있다. 능동적 리프팅은 나아가 내부 시간 축을 지닌 추론 과정과, 최소 길이 부호화 및 언어의 발명과 유사한 학습 목표를 도출한다. 이로써 느린 사고 형식의 창발(emergence)을 포함한 지각의 에이전시(agency)를 특성화한다. 본 이론의 기술적 부산물로는 느린 사고 모델 개선을 위한 3단계 경로, 모든 데이터 모달리티에 대한 인코더 및 생성 모델 구축의 통합적 접근법, 인간과 유사한 시각적 표현의 선험적(a priori) 형성, 그리고 정책 붕괴(policy collapse)에 대한 가능한 해결책이 포함된다.

arXiv:2607.02417v1cs.RO

LIME: 에고센트릭 비디오로부터 의도 인식 카메라 모션 학습

LIME: Learning Intent-aware Camera Motion from Egocentric Video

자율 로봇이 의도에 맞는 시야를 능동적으로 확보할 수 있도록, LIME은 에고센트릭 비디오에서 자동 채굴한 다중 의도-카메라 모션 감독 신호를 활용해 자연어 의도와 현재 RGB 관측으로부터 상대적 SE(3) 목표 카메라 포즈를 예측하는 비전-언어 모델이다. 자기회귀적 관측 획득(observation-gain) 출력과 연속 플로우 매칭(flow-matching) 포즈 헤드를 결합한 설계로 다중 가설 시야를 표현하며, 조작·구현된 질의응답·다단계 로봇 태스크 등 다양한 다운스트림 과제에서 유효성을 입증했다.

arXiv:2607.01537v1cs.LG

Certified World Models as Sensing Clocks: Drift-Aware Deadlines for Active Perception

인증된 월드 모델(world model)의 예측 유효 기간을 에이전트가 언제 재감지(re-sense)해야 하는지를 결정하는 운영적 감지 클럭(sensing clock)으로 변환하는 방법을 제안하며, 배포 가능한 데드라인이 반드시 드리프트 인식(drift-aware) 방식이어야 함을 보인다. 동결된 3D VN-JEPA 모델에 적용한 실험에서 on-manifold Lyapunov 속도만으로는 코스팅 유효 기간을 과대평가하며, 교정된 네이티브 롤아웃 드리프트 엔벨로프가 실제 배포 보장을 제공함을 확인하였다.

arXiv:2607.00622v1cs.CV

보는 법 배우기: 교차 정책 최적화를 통한 능동적 비디오 이상 이해

Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization

비디오 이상 이해(VAU)에서 정적 샘플링이 의미론적으로 구별되는 이벤트를 판별하지 못하는 관측 에일리어싱 문제를 해결하기 위해, Anom-π는 역추적·시간적 확장·세밀한 샘플링 등의 시간적 원자 연산자를 활용한 폐쇄 루프 능동적 순차 의사결정 프레임워크를 제안한다. 궤적 수준의 정책 정렬을 위해 설계된 Interactive Direct Preference Optimization(iDPO)과 Active Evidence Inquiry(AEI) 유틸리티를 통해 단 20억 파라미터로 복잡한 시나리오에서 최신 대규모 VAU 모델을 크게 능가하는 성능을 달성했다.