PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32652v2cs.AI

기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포

Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions

소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.

arXiv:2512.05990v2cs.LG

푸앵카레와 벨만의 만남: 변화하는 환경에서의 수정 가능한 기억, 연산적 몫, 그리고 증거 기반 학습

Poincaré Meets Bellman: Revisable Memory, Operational Quotients, and Evidence-Supported Learning in Changing Environments

기억 공고화(memory consolidation)는 학습자가 현재 수행할 수 있는 작업과 향후 구현 가능한 상태로 남는 변화를 모두 결정합니다. 본 연구에서는 안정성-증거-수정(SER; stability-evidence-revision) 프레임워크 하에서 연산적 상태 추상화와 최적 제어의 유한 모델(model) 종합을 개발합니다. '푸앵카레와 벨만의 만남'이라는 명칭은 두 가지 상호보완적인 역할을 나타냅니다. 정성적 동역학은 재사용 가능한 행동-반응 구조를 식별하고, 동적 계획법(dynamic programming)은 획득, 유지, 재사용, 병합 및 망각에 대한 비용을 평가합니다. 재귀성(recurrence)은 미래 수요의 시점과 가치를 통해 별도로 개입합니다. 저자들은 능동적인 몫 병합(quotient merging)과 역사적 정보 소거를 구별하고, 무오차 함수 코딩(zero-error functional coding) 및 인과적 이동(causal migration)을 통한 정확한 수정을 규명하며, 은닉 상태와 배치된 완전 기억의 결합 법칙에 대한 벨만 재귀식을 도출합니다. 최초 복귀 모델은 명시적인 유지 규칙을 산출합니다. 조건부 결과는 인자 공유가 조합 열거를 방지하는 방법과 독립적인 정보성 관측이 식별 능력을 향상시키는 동시에 일부 무오차 증거 예산은 변경하지 않고 유지하는 방식을 보여줍니다. 유한 열거를 통해 코딩 및 유지 계산을 검증합니다. 이러한 종합은 보편적 재귀성, 제한된 메모리 기반의 개방형 학습, 또는 다루기 쉬운 전역 계획을 주장하지 않으면서도, 지정된 유한 모델에 대한 정확한 벤치마크를 제공합니다.

arXiv:2606.25357v2cs.LG

Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning

State abstraction plays a key role in scaling reinforcement learning to complex but structured systems. In studying such systems, a wide range of behavioral structures have been studied in reinforcement learning, including value functions, invariants, bisimulation relations, and behavioral metrics. However, a general principle for determining what structures are provably preserved under state abstraction is still lacking. In this paper, we present a unified framework for defining and analyzing behavioral structures in reinforcement learning. Our framework provides a compositional way to specify behavioral semantics based on local, one-step descriptions of system dynamics. Using this framework, we establish results showing how behavioral structures can be safely transferred between abstract and concrete systems. We further show how to construct quantitative metrics from logical behavioral semantics with soundness guarantees. Together, these results provide a principled foundation for reasoning about behaviors under state abstraction in reinforcement learning and offer reusable definition and proof principles for a broad class of behavioral structures in reinforcement learning.