PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.36906v2cs.CV

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.

arXiv:2609.27745v1cs.AI

일반화 가능한 POMDP 해결을 위한 환경적 그루포이드의 범주론적 내재화

Categorical Internalisation of Environmental Groupoids for Generalisable POMDP Solving

본 논문은 고차원의 부분 관측 가능한 환경에서 강화학습을 구조화하고 개선하기 위한 실용적인 프레임워크로서 범주론(category theory)을 제안합니다. 저자들은 대칭 궤도(symmetry orbit)에 의해 유도된 동치류로 상태 공간을 분할하여 환경 상태 간의 대칭성을 모델링하고, 지정된 표준 대표원(canonical representative)을 갖는 그루포이드(groupoid)로 각 동치류를 구성합니다. 이를 통해 에이전트는 모든 방향이나 위치를 완전히 새로운 문제로 취급하는 대신, 유사한 여러 환경 상태에 걸쳐 학습한 내용을 동시에 공유할 수 있습니다. 따라서 학습은 각 궤도가 한 번씩만 표현되는 대칭 축소 상태 공간에서 수행되며, 구조를 보존하는 동시에 중복성을 제거하고 표본 효율성(sample efficiency)을 향상시킵니다. 저자들은 이 프레임워크를 표준 강화학습 파이프라인 내에 구현하고 부분 관측 가능한 벤치마크에서 두 가지 서로 다른 접근 방식을 평가하여, 궤도 기반 분할이 잠재적 대칭성을 나타내는 환경에서 일관된 성능 향상을 가져옴을 입증합니다. 이러한 실증적 결과를 넘어, 본 접근 방식은 범주론적 구조가 추상적 강화학습 정식화와 계산적 응용 사이의 원리적인 가교를 어떻게 제공하는지 보여주며, 이를 통해 더 구조화되고 확장 가능한 학습 시스템으로 나아가는 경로를 확립합니다.

arXiv:2605.22142v4cs.LG

부분 관측 하에서 지식 그래프를 위한 단기-장기 메모리 전이

Short-Term-to-Long-Term Memory Transfer for Knowledge Graphs under Partial Observability

부분 관측(partial observability) 하에서의 강화학습은 어떤 정보를 유지할지 결정해야 하지만, 대부분의 메모리 기반 접근법은 기호적 관측의 단기-장기 전이를 명시적으로 모델링하지 않는다. 우리는 시간적 지식 그래프 메모리 설정에서 이 전이 과정을 연구하고, 이를 신경-기호적 가치 기반 의사결정 문제로 형식화한다. 관측된 각 트리플에 대해 에이전트는 장기 삽입 전에 이를 유지할지 폐기할지 선택한다. 가변 크기 단기 버퍼를 처리하기 위해, 공유 파라미터를 갖는 항목별 Q-학습 설계와 연속된 스텝 간 매칭된 항목에 대한 실용적인 시간차(temporal-difference) 업데이트를 사용한다. 장기 메모리 용량 128에서 RoomKG 벤치마크 상, 학습된 전이 결정은 시간적 주석이 있는 기호적 베이스라인과 이력 기반 LSTM/트랜스포머 베이스라인을 포함한 기호적 및 신경망 베이스라인을 능가한다. 전이 정책 ablation에서 경량 로컬 단기 전용 변형이 최고 성능을 보이며, 스텝 수준 행동은 정책이 내비게이션 및 쿼리 관련 사실은 유지하면서 낮은 가치의 후보 사실은 폐기함을 보여주어, 메모리 제약 하에서 명시적이고 해석 가능한 메모리 결정을 뒷받침한다.

arXiv:2607.13475v1cs.RO

부분 관측성 하에서 자율 수술 조직 견인을 위한 변형체 상태 추정

Deformable State Estimation for Autonomous Surgical Tissue Retraction Under Partial Observability

수술 조직 견인은 부분적이고 노이즈가 있는 인식 하에서 효과적인 조작 계획을 필요로 한다. 본 연구는 변형 가능한 조직 견인에 대한 상태 추정을 다루며, 의사결정 시점에는 조직 표면의 희소 관측만 이용 가능하다. 우리는 40개의 노이즈가 있는 정점 관측으로부터 전체 변형 가능 메시 상태를 복원하는 학습 기반 상태 추정기를 제안한다. 이 추정기는 다층 퍼셉트론과 저차원 PCA 잠재 표현을 결합하며, 매끄럽고 물리적으로 타당한 변형을 유도하는 기하학 인식 정규화를 사용하여 학습된다. 우리는 단일 단계 및 다중 단계 견인 계획을 사용하여 2D 변형 가능 시트 시뮬레이션에서 이 접근법을 평가한다. 결과는 학습된 추정기가 다중 단계 견인에서 효율적인 추론을 지원하면서 오라클 성능의 98.1%를 달성함을 보여준다. 이러한 결과는 학습 기반·기하학적으로 정규화된 상태 추정이 현실적인 인식 제약 하에서 효과적인 변형체 조작을 지원할 수 있음을 보여준다.

arXiv:2607.06157v1cs.CL

숙의적 협력을 위한 LLM 에이전트: 부분 관측 가능성 하의 공동 의사결정에 관한 연구

LLM Agents for Deliberative Collaboration: A Study on Joint Decision Making Under Partial Observability

부분 관측 가능한 환경에서 LLM 에이전트들이 숙의(deliberation)를 통해 공동 의사결정을 수행하는 능력을 평가하기 위해, 메뉴 설계 및 작업 배분 등 여러 도메인에 걸친 확장 가능한 벤치마크를 제안한다. 최신 LLM을 대상으로 한 체계적인 실험 결과, 복잡한 숙의적 협력 과제는 여전히 최첨단 모델에게 도전적이나, 숙의 과정이 오류 수정 기회를 제공해 중앙집중식 기준선(centralized baseline) 대비 성능을 향상시키기도 함을 밝혔다.

arXiv:2605.24709v2cs.LG

실시간 순환 학습을 활용한 부분 관측 가능성 환경에서의 스트리밍 강화학습

Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning

부분 관측(partial observability) 환경에서 스트리밍 강화학습(Streaming RL)을 가능하게 하기 위해, 대각 순환 아키텍처인 Recurrent Trace Units(RTU)에 실시간 순환 학습(RTRL)을 결합하여 리플레이 버퍼 없이도 선형 시간·메모리 복잡도로 정확한 시간적 크레딧 할당을 구현한다. MemoryChain, POPGym, 마스킹된 MuJoCo 벤치마크에서 기존 스트리밍 TBPTT(1) 기준선이 실패하는 상황에서도 성능을 유지하며, 배치 PPO와 경쟁력 있는 결과를 달성한다.

arXiv:2607.02686v1cs.AI

어둠 속의 ASK: 부분 관측 환경에서 불확실성 게이팅 기반 LLM 보조

ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability

부분 관측 환경에서 동작하는 강화학습 에이전트는 불완전한 정보를 기반으로 행동해야 하므로, 광범위한 추론 사전 지식을 보유한 소형 언어 모델(SLM)의 안내를 받기에 자연스러운 후보이다. 그러나 이 환경에 SLM 안내를 통합하는 것은 어렵다는 것이 밝혀졌다: 모든 테스트 환경에서 일반적인 불확실성 게이팅 방식은 덮어쓰기 비율(overwrite rate)이 0에 가깝거나 0을 기록하여, SLM이 독립적인 행동을 거의 기여하지 못한다. 우리는 이 실패의 원인을 진정한 추론을 위한 컨텍스트가 부족한 자기중심적 프롬프트에서 찾아내며, 이를 용량 문제가 아닌 컨텍스트 문제로 규명한다. 우리는 ASK+를 제안하는데, 이는 SLM에 궤적 인식 컨텍스트(부분적으로 공개된 지도, 방문 위치, 행동 이력)와 구조화된 사고의 연쇄(Chain-of-Thought) 추론을 제공하여, SLM을 수동적인 중복 검사 도구에서 정책을 때때로 교정하는 더 유익한 컨설턴트로 전환한다. 또한 선택적 질의에 사용되는 예측 엔트로피 신호가 상태 불확실성이 아닌 행동 불확실성을 측정하며 부분 관측 마르코프 결정 과정(POMDP)에서도 정보적 가치를 유지한다는 점을 규명하여, 완전 관측 환경을 넘어 불확실성 게이팅 보조가 실행 가능함을 보인다. 상태 보존 프롬프트는 상당한 성능 향상을 이끈다: DoorKey에서 일반 ASK가 PPO와 동일한 성공률(둘 다 89%)을 기록하는 반면 ASK+는 93%에 도달하고, FourRooms에서는 성공률이 53%에서 70%로 상승하며, HigherLower에서는 정확도가 73.7%에 달해 SLM 단독 상한선과 일치한다. 모든 환경에서 Qwen3.5-2B는 Qwen3.5-4B와 동등하거나 이를 능가하여, 프롬프트 설계와 선택적 게이팅이 모델 스케일의 영향보다 우세함을 확인하며, 대형 모델 없이도 안내가 가능함을 보여준다.

arXiv:2603.02491v3cs.LG

유능한 에이전트가 알아야 할 것: 불확실성 하의 강건한 의사결정을 위한 선택 정리

What Capable Agents Must Know: Selection Theorems for Robust Decision-Making under Uncertainty

불확실성 하에서 유능한 에이전트가 되기 위해 어떤 내부 표현이 반드시 필요한가라는 문제에 대해, 이 연구는 평균적 후회(regret)가 낮은 강력한 태스크 성능이 세계 모델(world model), 신념 유사 메모리(belief-like memory), 그리고 태스크 혼합 환경에서 감정의 기능적 원시 요소와 유사한 레짐 추적 변수를 필연적으로 요구함을 증명하는 정량적 선택 정리(selection theorems)를 제시한다. 예측 모델링을 이진 베팅(betting) 결정으로 환원하는 기술적 접근을 통해, 부분 관측 가능성(partial observability) 환경에서 예측 상태(predictive state)와 신념 유사 메모리의 필요성을 도출하여 기존 세계 모델 복원 연구의 미해결 문제를 해결한다.

arXiv:2509.20008v2cs.LG

부분 가관측성 하에서 견고한 침투 테스트 정책 학습: 체계적 평가

Learning Robust Penetration Testing Policies under Partial Observability: A systematic evaluation

부분 가관측·확률적 침투 테스트 환경 StochNASim에서 PPO 기반 이력 집약 기법(프레임 스택킹, 관측 보강, LSTM, TrXL)을 체계적으로 비교했으며, 이력 집약이 다른 접근보다 최대 4배 빠르게 수렴하고 단순 관측 보강이 LSTM·TrXL 같은 복잡한 아키텍처를 능가할 수 있음을 보였다.

arXiv:2606.18888v1cs.AI

부분적으로 관측 가능한 환경에서의 내비게이션을 위한 생성 모델 기반 예측 계획

Generative-Model Predictive Planning for Navigation in Partially Observable Environments

부분 관측 가능한 환경 내비게이션을 위해 BeliefDiffusion을 제안하며, 확산 모델로 관찰 이력에 맞는 다중 모달 맵 신념(belief)을 생성하고 모델 예측 제어(MPC)로 여러 후보 구성에 걸쳐 경로를 계획한다. 합성 맵 실험에서 모델 프리 강화학습 및 다른 생성적 접근 대비 내비게이션 성공률과 경로 효율이 유의미하게 높았다.

arXiv:2606.12497v1cs.LG

μVLA: VLA 모델에서 부분 관측 가능 조작을 위한 순환 메모리

$μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models

부분 관측 가능한 조작 환경에서 기존 VLA 모델의 한계를 해결하기 위해 사전학습된 백본에 최소한의 순환 메모리(recurrent memory)만을 추가한 $\mu$VLA를 제안한다. MIKASA-Robo 벤치마크에서 학습 작업의 성공률을 0.42에서 0.84로 향상시키고, LIBERO에서는 성능 저하 없이 96.2%의 성공률을 달성하여 순환 메모리의 효과를 검증했다.

arXiv:2510.02149v2cs.LG

행동 트리거 관측 기반 강화학습

Reinforcement Learning with Action-Triggered Observations

본 논문에서는 Action-Triggered Sporadically Traceable Markov Decision Processes(ATST-MDPs)를 소개합니다. 이는 부분 관측 가능성(partial observability)을 위한 강화학습 프레임워크로, 각 단계에서 전체 상태 관측이 선택된 행동에 의해 결정되는 확률로 확률적으로 발생합니다. 우리는 이 설정에 맞춘 벨만 방정식(Bellman equations)을 유도하고 최적 정책(optimal policy)의 존재를 확립합니다. 간헐적 관측이 전체 상태를 드러낸다는 점을 활용하여, 에이전트가 연속적인 관측 사이의 행동 시퀀스(action-sequences)에 대해 수행하는 것으로 동등한 정형화를 제공합니다. 선형 MDP(linear MDP) 가정 하에서, 우리는 이러한 행동 시퀀스에 대한 가치 함수(value function)가 유한 차원 특징 맵(feature map)에서 선형 표현을 가짐을 보여주어, 표준 회귀 기반 방법을 적용할 수 있음을 입증합니다. 응용으로서, 우리는 기하 분포를 따르는 시간 지평(horizons)을 가진 에피소드 학습에 대해 $\widetilde{O}(\sqrt{Kd^3(1-γ)^{-3}})$의 리그릿(regret)을 달성하는 낙관적 알고리즘인 ATST-LSVI-UCB를 도출합니다. 여기서 $K$는 에피소드 수, $d$는 특징(feature) 차원, $γ$는 할인 계수(에피소드 지속 확률)이며, 이는 완전 관측 가능성(full observability)을 갖는 선형 MDP에 대한 알려진 비율과 일치합니다.