PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2606.07627v5cs.LG

Learning Transfers: Kan Extensions of Topological Invariants of Learned Representations

When a learned representation is reused for a new task, which of its structure should survive? A task is a small category, a change of task is a functor $J$, and the invariants of a trained representation form a functor $F$. The left Kan extension $\operatorname{Lan}_JF$ is the invariant that the source and the change of task force on the target: by its universal property, every comparison of the source with an observed target invariant factors through it. The transfer discrepancy is the largest distance, over the target objects, between this extension and the observed invariant. For persistent homology the extension is a cokernel over comma categories, and a functorial version of the discrepancy, which also compares the maps between target objects, is $1$-Lipschitz under interleavings. On finite samples the discrepancy is a bottleneck distance, computed without approximation. For data glued from two pieces whose exclusive parts lie farther apart than the filtration scale, a Mayer-Vietoris sequence identifies what extending homology loses, while extending chains loses nothing. For a merge of labelled point clouds, the degree-zero discrepancy vanishes if and only if some $1$-Lipschitz classifier has a margin above the filtration scale at every sample point. In experiments on sampled manifolds, trained encoders and pretrained image models, every exact prediction holds on every sample. The discrepancy of truncated invariants recovers a hidden merge of separated parts far above chance and tells the intended target of a merge from a permuted control, but across pretrained models it does not track the accuracy of a linear probe.

arXiv:2606.01444v2cs.AI

과학을 위한 자기 수정 발견 시스템: 에이전틱 인공지능을 위한 범주론적 프레임워크

Self-Revising Discovery Systems for Science: A Categorical Framework for Agentic Artificial Intelligence

과학적 발견은 단순한 답변 생성이 아니라, 증거·산출물·연산·검증기가 타입화되는 표현 체제(representational regime)를 수정하는 일이다. 본 논문은 재료과학을 위한 에이전틱 발견에 대한 범주론적 설명을 전개한다. 스키마 범주 S_b를 갖는 고정된 체제 b에서 시스템 상태는 코프리셰프(copresheaf) I_t: S_b -> Set이며, 출처(provenance)는 원소의 범주 \int_{S_b} I_t이다. 고정 체제에서의 연산은 이러한 상태에 대한 업데이트이며, 출처를 보존하는 정제(refinement)가 명시되고 보존될 때에만 자기함자적(endofunctorial)이다. 반면 발견은 검증된 체제 전이 u: S_b -> S_b'이다. 기존 산출물은 보존되고, 좌 Kan 확장 Lan_u I_t를 통해 전달(transport)되며, 전이 이후의 상태와 비교되어 함자적 전달을 넘어서는 잔여 내용을 식별한다. 이를 통해 주관적 새로움 개념 없이도 검색, 탐색, 발견을 구분할 수 있다. 우리는 이 프레임워크를 두 가지 시스템에 적용한다. Builder/Breaker에서는 최소 기술 길이(Minimum Description Length) 게이트 하에서 단백질 역학 월드 모델이 수정되며, 수용된 법칙은 사슬 내 유연성을 느린 집합 모드(collective-mode) 참여도에 의해 조건화된 전체 모드 탄성 컴플라이언스, 즉 모드 조건부 컴플라이언스(mode-conditioned compliance)로 표현한다. CategoryScienceClaw에서는 타입화된 스킬, 산출물, 미충족 요구(open needs), 워크플로 변형, 게이트, 스트레스 테스트, 공개 담론이 증명을 동반하는 지식-연산 그래프가 된다. 섬유 네트워크 예시는 후보 모델, 기각된 대안, AIC 게이트, 섭동 테스트, 그리고 등방성 섬유 개수 기술자 대비 수용된 방향 텐서 기반 이방성 강성 대리 모델(surrogate)을 기록한다. 종합하면, 이 사례들은 범주론이 발견을 위한 수학적 언어이자 자기 수정 AI 발견 시스템을 위한 엔지니어링 명세가 될 수 있음을 보여준다.

arXiv:2606.25357v2cs.LG

Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning

State abstraction plays a key role in scaling reinforcement learning to complex but structured systems. In studying such systems, a wide range of behavioral structures have been studied in reinforcement learning, including value functions, invariants, bisimulation relations, and behavioral metrics. However, a general principle for determining what structures are provably preserved under state abstraction is still lacking. In this paper, we present a unified framework for defining and analyzing behavioral structures in reinforcement learning. Our framework provides a compositional way to specify behavioral semantics based on local, one-step descriptions of system dynamics. Using this framework, we establish results showing how behavioral structures can be safely transferred between abstract and concrete systems. We further show how to construct quantitative metrics from logical behavioral semantics with soundness guarantees. Together, these results provide a principled foundation for reasoning about behaviors under state abstraction in reinforcement learning and offer reusable definition and proof principles for a broad class of behavioral structures in reinforcement learning.

arXiv:2607.15629v1cs.LO

토포스 인과 모델의 큐비컬 형식화: 개입, 층 접합, 그리고 직관주의적 do-계산

A cubical formalisation of topos causal models: intervention, sheaf gluing, and the intuitionistic do-calculus

토포스 인과 모델은 인과 추론을 토포스 내부에서 재구성한다. 인과 세계는 presheaf이고, 개입은 부분객체 분류자(subobject classifier)로의 특성 맵(characteristic map)이며, 추론은 직관주의적 내부 언어에서 수행된다. 우리는 이전에 검증된 확률 모나드와 do-계산 위에서 Cubical Agda로 이 1-토포스 핵심의 최초 기계 검증 서술을 제공한다. 우리는 sieve의 분류자를 구성하고 개입 $\mathrm{do}(X := x_0)$을 분류 정리와 함께 특성 맵으로 실현한다. 원 논문이 주장하지만 증명하지 않은 독립적 메커니즘의 층 접합을 증명하고, 내부 언어의 Kripke-Joyal forcing 절을 기계 검증한다. 모달 층에서 우리는 공백을 발견하고 수정한다. 세 가지 표준 Lawvere-Tierney 공리는 폐包 연산자(closure operator)를 강제하지 않는다. 누락된 법칙을 복원하면 이중 부정 위상(double-negation topology)을 구체적 사례로 제시하고, 개입과 Pearl의 규칙이 모든 위상 하에서 안정적임을 보인다. 체제 덮개(cover of regimes)에 걸친 반사실(counterfactual)의 전달 가능성(transportability)은 덮개에 걸친 불변성으로 이해되는 이 $j$-안정성과 일치한다. 우리는 이 연구 프로그램이 고려하지 않는 현상을 추가한다. 쌍별로 일관된 국소 데이터가 전역 모델을 허용하지 않는, 기계 검증된 맥락성(contextuality) 장애이다. 이 개발은 공리를 가정하지 않으며 Agda의 --safe 플래그 하에서 타입 검사되고, 순서체는 $\mathbb{Q}$에서 구체적으로 처리된다. 범위는 presheaf(1-토포스) 단편이며, 타입 수준 층화(type-level sheafification)와 방향성 들어올림(directed lift)은 향후 연구로 남긴다.

arXiv:2607.15107v1cs.LG

무한소 비조합적 스케치에서의 학습

Learning in Infinitesimal Non-Compositional Sketches

이 논문은 범주적 틀인 Learning in Infinitesimal Non-Compositional Sketches(LINCS)를 비조합성의 복구로 정식화한다. 이는 다이어그램이 몫 스케치(quotient sketch)를 통해 인수분해되지 못하는 실패를 접선 범주(tangent category) 설정으로 올린 것이다. 기계학습 문제는 스케치, 즉 교환 조건 $\mathcal D$, 극한 원뿔 $\mathcal L$, 여극 코원뿔 $\mathcal K$를 가진 그래프로 명세되며, 이는 손실 함수의 스칼라화나 벡터 공간 가정의 통상적 표현을 일반화한다. 비조합성은 순수하게 보편적 인수분해 문제의 실패로 정의되며, 원하는 예측과 실제 예측 사이의 산술 오류로 정의되지 않는다. 학습 스케치 $\mathbb S=(S,\mathcal D,\mathcal L,\mathcal K)$(기저 그래프는 $S$)와 모델 $D:J \rightarrow C$가 주어졌을 때, 기본 결함(base defect)은 인수분해 $\mbox{Obs}(\mbox{Fact}_{\mathbb S}(D))$의 장애(obstruction)이다. 접선 승급(tangent lift)은 접선 functor $T$를 적용하여 $TD:J \rightarrow C$를 얻으며, LINCS는 장애 $\mbox{Obs}(\mbox{Fact}_{\mathbb S}(TD))$로 정의된다. 이는 무한소 섭동이 조합성 제약을 보존하는지를 묻는 것이다. 또한 이 논문은 Cockett-Cruttwell 접선 구조를 갖춘 스케치인 접선 학습 스케치(Tangent Learning Sketches)를 도입한다. INC endofunctor를 정의하며, 이는 접선 승급을 반복하여 $D,TD,T^2D, \cdots$의 인수분해 문제 타워를 생성한다. 이에 따라 ML은 연속적인 접선 전개(tangent unfolding)가 안정화되는($\nu T_{\mbox{INC}}$) 석대(coalgebraic) 고정점을 탐색하는 것으로 공식화된다. Aczel--Mendler 정리를 이용하여, $T_{\mbox{INC}}$가 최종 carrier를 생성하는 집합 기반 클래스 실현(set-based class realization)을 허용할 때마다 최종 INC 석대(final INC coalgebra)의 존재를 증명한다. LINCS에 대한 상세한 실험적 평가는 심층 학습, 대규모 언어 모델, 강화학습을 포함한 여러 구체적 ML 설정에서 진행 중이며, 동반 논문에서 기술된다.

arXiv:2607.13796v1cs.IT

CAS I: 기하학적 코딩 정리

CAS I: A Geometric Coding Theorem

이 논문은 대칭 군(symmetry group) 설정에서 고전 코딩 정리(Coding Theorem)의 직접적인 유사물을 확립한다. 우리는 이진 문자열 집합 위의 계산 가능한 쌍사(bijection)를 대칭(symmetry)이라 부르고, 문자열의 대칭 사전확률(symmetry prior)을 주어진 군에서 무작위로 선택된 대칭이 그 문자열을 유일한 고정점(unique fixed point)으로 갖는 확률로 정의한다. 우리는 고정점-수축 가능(fix-retractable)한 대칭 군, 즉 모든 문자열에 대해 격리 대칭(isolating symmetry)을 선택하는 계산 가능한 단면(section)을 허용하는 군에 대해, 대칭 사전확률이 보편적 하반계산가능 준측도(universal lower semi-computable semi-measure)임을 보인다. 이 경우 기하학적 코딩 정리(Geometric Coding Theorem)가 성립한다. 우리는 또한 G의 부분군과 이진 문자열 부분집합 사이의 갈루아(Galois) 연결을 발전시켜 닫힌 점(closed points)과 극대 닫힌 부분군(maximal closed subgroups)을 특성화하고, 밀집 부분군(dense subgroups)의 결합 반 격格(join-semilattice)를 탐구한다. 우리의 결과는 알고리즘 정보 이론(algorithmic information theory)과 군론(group theory)을 통합하고 대칭 유도 복잡도 측도(symmetry-induced complexity measures)를 연구하기 위한 틀을 제공한다. 이 논문은 계산 알고리즘 통계(Computational Algorithmic Statistics, CAS) 시리즈의 첫 번째 편이다.

arXiv:2607.11493v1cs.LG

리 대수로이드 기반 에이전틱 스킬 최적화

Agentic Skill Optimization over Lie Algebroids

에이전틱(Agentic) 시스템은 프롬프트, 루브릭, 계획, 도구 계약, 예시, 검증기, 트레이스 등의 스킬을 편집함으로써 점점 더 스스로를 개선하고 있다. 스킬 편집은 벡터 공간의 독립적인 좌표가 아니라, 롤아웃, 검증, 비평 이후에만 효과를 관찰할 수 있는 구조화된 아티팩트에 대한 국소적 수정이다. 서로 다른 편집이 라우팅 컨텍스트, 템플릿 상태, 가드레일 범위, 또는 향후 합성 가능성에서 차이가 있으면서도 동일한 즉각적인 가시 효과를 가질 수 있다. 편집의 순서 역시 중요할 수 있다: 스키마를 정규화 규칙보다 먼저 수정하는 것은 동일한 편집을 역순으로 적용하는 것과 반드시 동등하지는 않다. 이 논문은 리 대수로이드 스킬 최적화(Lie Algebroid SKill Optimization)를 의미하는 LASKO라는 새로운 스킬 최적화 프레임워크를 소개한다. LASKO는 타입이 지정되고 앵커된 Markdown 스킬을 기반 카테고리로, 사용 가능한 편집 정책을 앵커 $ρ$를 가진 제어된 리 대수로이드의 섹션으로 모델링한다. 앵커는 편집 정책을 가시적인 Markdown 효과에 매핑하고, 커널 $\ker(ρ)$는 잠재적인 템플릿, 라우팅 또는 구현 구조를 나타내며, 대수로이드 브래킷은 비가환적 편집 합성을 측정한다. 논문에서 보여주듯이, LASKO는 예비 벤치마크 결과에서 스킬 최적화의 수십 배 속도 향상을 달성하는데, 이는 주로 대규모 언어 모델(LLM)을 실행해야 하는 비용이 큰 검증에 투자하기 전에 마이크로초 단위로 실행되는 저렴한 리 브래킷 스크리닝 테스트로 대체하기 때문이다. 자연어에서의 인과 추출 태스크에서, LASKO는 671B 파라미터를 가진 DeepSeek V3.1 4-bit 모델을 통해 모든 편집을 검증하는 브루트포스 방식 대비 거의 $15\times$의 속도 향상을 달성했다.

arXiv:2607.00220v1math.CT

A Category Theory Account of AI Identity

배포 후 재학습·재구성 등으로 변화하는 AI 시스템이 언제 동일한 시스템으로 간주될 수 있는지라는 형이상학적 문제를 범주론(category theory)으로 형식화하며, 신뢰성(trustworthiness) 수준을 보존하는 라이프사이클 변환으로 구성된 상태 범주 $\mathsf{Sys}_\diamondsuit$와 실현된 이력 범주 $\mathsf{Traj}_{\diamondsuit,[t_0,T]}$를 통해 약한 동일성(신뢰성 수준 동등)과 강한 동일성(상태 동형·자연 동형)의 계층적 기준을 도출한다. 이 프레임워크는 AI 거버넌스에서 책임 있는 AI 증거와 규제 절차를 버전 간 혹은 배포 환경 간에 이전하기 위한 동일성 관련 선행 조건을 식별하는 데 활용된다.

arXiv:2606.27737v1cs.LG

확률적 화학 반응 네트워크의 축소

Reduction of Probabilistic Chemical Reaction Networks

세포 수준에서 적응적 행동을 프로그래밍하는 것은 오랜 목표이며, 이는 생화학적 시스템에서 확률적 계산이 어떻게 구현될 수 있는지에 대한 질문을 제기한다. 화학 반응 네트워크(CRN)는 이러한 기질을 제공하며, 은닉 마르코프 모델(hidden Markov model)과 팩터 그래프(factor graph) 등 확률 모델을 구현할 수 있음이 보여졌고, 그 역학은 베이지안 추론(Bayesian inference)과 믿음 전파(belief propagation)를 재현한다. 그러나 이러한 알고리즘을 인코딩하는 데는 일반적으로 지나치게 큰 반응 네트워크가 필요하며, 고전적인 CRN 축소 기법은 직접 적용되지 않는다. Napp–Adams 컴파일 CRN에 인코딩된 팩터 그래프 구조를 복원함으로써, 최근 팩터 그래프 축소 결과를 화학적 구현으로 이식하여, 남은 변수들에 대한 믿음 전파 고정점을 보존하면서 훨씬 더 작은 CRN을 얻는다.

arXiv:2606.24621v1math.CT

Infinitesimal Causality

This paper introduces a categorical account of infinitesimal causality in Frobenius Markov categories equipped with tangent-bundle semantics. IDC captures the infinitesimal layer in which interventions act as tangent deformations of copy/discard structure. Two distinct Frobenius structures interact: (1) the categorical Frobenius algebra on classical variables encoding copying, comparing, and discarding; and (2) the geometric Frobenius integrability condition, namely involutive closure of the intervention distribution, distinct from the algebraic Frobenius structure. Categorical causal sufficiency is defined as the compatibility of these two notions. A key observation is that, for structural causal models, infinitesimal causality is most naturally formulated in the slice of deterministic mechanisms over exogenous variables, with visible stochastic kernels obtained only after pushforward. Interventions are tangent vectors that deform the Frobenius copy/discard operations; their Lie brackets measure whether this deformation preserves classical information-flow structure. Pearl's do-calculus is used as a guiding example of intervention identities: ignoring irrelevant interventions corresponds to counit invariance, action/observation exchange to coproduct compatibility with pushforward, and independence to involutive bracket closure of the visible intervention distribution.

arXiv:2606.19279v1cs.AI

NeSyCat Torch: 뉴로심볼릭 학습을 위한 범주론적 의미론의 미분 가능한 텐서 구현

NeSyCat Torch: A Differentiable Tensor Implementation of Categorical Semantics for Neurosymbolic Learning

파편화된 뉴로심볼릭(NeSy) 진리 의미론을 NeSyCat이 모나드(monad) 매개변수로 통합했지만 신경망이 학습한 술어·함수에 대한 설명이 부족했고, NeSyCat Torch가 이를 확률적 프로그래밍·텐서 백엔드의 미분 가능 구현으로 연결한다. 분포·게으른 로그-텐서·배치 모나드 기반 do-notation 공리 코드로 MNIST 덧셈에서 HaskTorch·JAX·PyTorch 구현이 LTN·DeepProbLog보다 빠르고 정확하며 DeepStochLog에 근접한 정확도를 달성하면서, 다양한 1차 NeSy 접근을 하나의 균일한 프레임워크로 유지한다.

arXiv:2606.13634v1cs.CL

LLM에서의 구성적 추론을 위한 오퍼라드

Operads for compositional reasoning in LLMs

질문 분해(question decomposition), 즉 복잡한 질의를 더 간단한 하위 질의로 나누고 그 답변을 합성하여 최종 답변을 생성하는 방식은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 널리 사용되는 전략이지만, 현재로서는 엄밀한 수학적 기초가 결여되어 있습니다. 본 논문에서는 다중 입력 단일 출력 연산 및 그 합성을 모델링하는 수학적 구조인 오퍼라드(operads)를 질문 분해를 기술하기 위한 자연스러운 프레임워크로 제안합니다. 우리는 연산이 질문 템플릿에 해당하고 합성이 하위 답변의 치환에 해당하는 질문 오퍼라드 $Q$를 정의하고, QA(질의응답) 모델이 $Q$ 위의 대수(algebras)로 해석될 수 있음을 보여줍니다. 기존 관행을 재정립하는 것을 넘어, 이러한 오퍼라드적 관점은 새로운 방법론, 특히 QA 모델의 답변이 질문 분해 트리의 부분 축소(partial collapses) 과정에서 일치하는지를 측정하는 오퍼라드적 일관성(operadic consistency)이라는 개념을 제시합니다. 오퍼라드적 일관성에 대한 실증적 평가는 관련 논문(Bottman, Liu, and Richardson, 2026)에서 보고되었으며, 해당 연구는 12개의 LLM과 4개의 멀티홉 QA 데이터셋에서 정확도와 강한 상관관계가 있음을 확인하고 표준 온도 기반 자기 일관성(self-consistency) 기준선(baselines)보다 우수한 성능을 보였습니다. 우리는 오퍼라드가 질문 분해를 위한 자연스러운 수학적 귀착지이며, 오퍼라드적 일관성과 같은 불변량(invariants)이 다단계 추론의 신뢰성을 분석하고 개선하는 새로운 방향을 제시한다고 주장합니다.