PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07627v5cs.LG

Learning Transfers: Kan Extensions of Topological Invariants of Learned Representations

When a learned representation is reused for a new task, which of its structure should survive? A task is a small category, a change of task is a functor $J$, and the invariants of a trained representation form a functor $F$. The left Kan extension $\operatorname{Lan}_JF$ is the invariant that the source and the change of task force on the target: by its universal property, every comparison of the source with an observed target invariant factors through it. The transfer discrepancy is the largest distance, over the target objects, between this extension and the observed invariant. For persistent homology the extension is a cokernel over comma categories, and a functorial version of the discrepancy, which also compares the maps between target objects, is $1$-Lipschitz under interleavings. On finite samples the discrepancy is a bottleneck distance, computed without approximation. For data glued from two pieces whose exclusive parts lie farther apart than the filtration scale, a Mayer-Vietoris sequence identifies what extending homology loses, while extending chains loses nothing. For a merge of labelled point clouds, the degree-zero discrepancy vanishes if and only if some $1$-Lipschitz classifier has a margin above the filtration scale at every sample point. In experiments on sampled manifolds, trained encoders and pretrained image models, every exact prediction holds on every sample. The discrepancy of truncated invariants recovers a hidden merge of separated parts far above chance and tells the intended target of a merge from a permuted control, but across pretrained models it does not track the accuracy of a linear probe.

arXiv:2404.11624v4math.GM

토큰 공간: AI 연산을 위한 범주론 프레임워크

Token Space: A Category Theory Framework for AI Computations

토큰 공간(Token Space)은 AI 연산을 위한 범주론적(categorical) 프레임워크이자 수학적 언어입니다. 이는 내부 관계, 프로그램 기술, 실행 상태 및 관찰을 연결하여 구조, 동작 및 비용에 관한 질문들을 적절한 수준에 배치합니다. 다섯 가지 핵심 관점은 구조적 내부, 범주론적 자기 기술, 인터페이스, 출현 동일성 및 확장 가능한 연산과 관련됩니다. 토큰(token)은 운반자 원소와 고정된 기호들의 유한한 레코드이며, 토큰 사상은 선택된 힙을 보존합니다. 기본 범주는 준토포스(quasitopos)이며, 따라서 국소 데카르트 닫힘(locally cartesian closed)이지만 토포스는 아닙니다. 대수적 토큰화(tokenization)는 고정된 유한 시그니처에 대해 충실충만(fully faithful)합니다. 표현된 유한 사상은 동시 그래프 실행, 접합, 함자적 경계, 그리고 커널(kernel) 포함으로 특징지어지는 정확한 상태 이전을 허용합니다. 트랜스포머는 하나의 구현 패밀리입니다. 일관된 출현 접두 문맥(prefix)은 자연스러운 수치 사상을 산출하며, 캐시 불변량은 전체 접두 문맥 평가와의 일치를 증명합니다. 규정된 접근 정책은 재구성 배제 원칙 하에서 최소 유지 인덱스 집합을 결정합니다. 매개변수화된 상태는 변화하는 인터페이스를 표현합니다. 지정된 미래 관찰 힙에 대해 구조적 비식별성은 동작적 동치성입니다. 인코딩이 정확한 점진적 실행을 허용하는 것은 해당 커널이 그 동치성에 포함되는 우합동(right congruence)일 때와 정확히 일치하며, 도달 가능한 모든 정확한 실현은 동작적 상(behavioral quotient) 위로 유일하게 사상됩니다. 교사 유도 힙과 선언된 리드아웃은 이러한 구성을 지식 증류(distillation) 및 명시적 지식과 연결합니다. 정의, 예시, 정리는 이 언어가 표현, 실행, 관찰을 구별하면서 추론의 흐름들을 어떻게 결합하는지 보여줍니다. 효과적인 구현과 정량적 성능은 추후 과제로 남아 있습니다.

arXiv:2610.01383v1cs.AI

PRISM: 멀티모달 유추를 측정하고 개선하기 위한 범주론적 프레임워크

PRISM: A Category-Theoretic Framework for Measuring and Refining Multimodal Analogies

유추적 추론(analogical reasoning)은 서로 다른 도메인 간의 관계 구조를 식별하고 보존하는 것을 수반합니다. 그러나 AI 기반 멀티모달 유추 생성에 대한 기존 접근 방식들은 생성된 결과물에서 이러한 구조가 이해되고 유지되는지 여부를 해석 가능하게 측정하는 방법이 부족합니다. 본 논문에서는 시각적 은유 생성을 통해 평가된, 멀티모달 유추에서 관계적 정렬을 측정하고 개선하기 위한 모달리티 독립적(modality-agnostic) 프레임워크인 PRISM(Pullback Refinement via Interpretable Structural Mapping)을 제안하여 이러한 공백을 해결합니다. PRISM은 유추를 범주론(category theory)에 기반한 명시적인 관계 매핑으로 표현하며, 비전-언어 모델(VLM)을 활용하여 여러 모달리티에 걸쳐 이러한 구조를 인스턴스화합니다. 첫 번째 구성 요소인 풀백 점수(pullback score)는 결과 그래프 표현으로부터 관계적 정렬을 정량화합니다. AnaloBench 벤치마크에서 풀백 점수만으로 올바른 유추를 선택했을 때 82.5%의 정확도를 달성하여 해당 점수가 유의미한 관계 정보를 포착함을 입증했습니다. PRISM의 두 번째 구성 요소는 풀백 점수를 문맥 내 피드백(in-context feedback) 신호로 사용하여 생성된 이미지가 더 깊은 관계적 깊이를 갖도록 반복적으로 수정하는 반복 정제 루프(iterative refinement loop)입니다. VLM 기반 평가(VLM-as-a-judge) 및 인간 평가 결과, PRISM은 제로샷(zero-shot) 생성 대비 은유 일관성과 유추 적절성을 지속적으로 향상시키며, 쌍별 비교에서 인간 참가자의 57.65%가 정제된 결과물을 선호했습니다. 그러나 정성적 분석에 따르면 이러한 정제 과정이 진정으로 더 깊은 관계적 대응보다는 시각적으로 복잡하게 얽힌 구성을 선호하게 만들 수도 있음을 보여줍니다.

arXiv:2607.15107v1cs.LG

무한소 비조합적 스케치에서의 학습

Learning in Infinitesimal Non-Compositional Sketches

이 논문은 범주적 틀인 Learning in Infinitesimal Non-Compositional Sketches(LINCS)를 비조합성의 복구로 정식화한다. 이는 다이어그램이 몫 스케치(quotient sketch)를 통해 인수분해되지 못하는 실패를 접선 범주(tangent category) 설정으로 올린 것이다. 기계학습 문제는 스케치, 즉 교환 조건 $\mathcal D$, 극한 원뿔 $\mathcal L$, 여극 코원뿔 $\mathcal K$를 가진 그래프로 명세되며, 이는 손실 함수의 스칼라화나 벡터 공간 가정의 통상적 표현을 일반화한다. 비조합성은 순수하게 보편적 인수분해 문제의 실패로 정의되며, 원하는 예측과 실제 예측 사이의 산술 오류로 정의되지 않는다. 학습 스케치 $\mathbb S=(S,\mathcal D,\mathcal L,\mathcal K)$(기저 그래프는 $S$)와 모델 $D:J \rightarrow C$가 주어졌을 때, 기본 결함(base defect)은 인수분해 $\mbox{Obs}(\mbox{Fact}_{\mathbb S}(D))$의 장애(obstruction)이다. 접선 승급(tangent lift)은 접선 functor $T$를 적용하여 $TD:J \rightarrow C$를 얻으며, LINCS는 장애 $\mbox{Obs}(\mbox{Fact}_{\mathbb S}(TD))$로 정의된다. 이는 무한소 섭동이 조합성 제약을 보존하는지를 묻는 것이다. 또한 이 논문은 Cockett-Cruttwell 접선 구조를 갖춘 스케치인 접선 학습 스케치(Tangent Learning Sketches)를 도입한다. INC endofunctor를 정의하며, 이는 접선 승급을 반복하여 $D,TD,T^2D, \cdots$의 인수분해 문제 타워를 생성한다. 이에 따라 ML은 연속적인 접선 전개(tangent unfolding)가 안정화되는($\nu T_{\mbox{INC}}$) 석대(coalgebraic) 고정점을 탐색하는 것으로 공식화된다. Aczel--Mendler 정리를 이용하여, $T_{\mbox{INC}}$가 최종 carrier를 생성하는 집합 기반 클래스 실현(set-based class realization)을 허용할 때마다 최종 INC 석대(final INC coalgebra)의 존재를 증명한다. LINCS에 대한 상세한 실험적 평가는 심층 학습, 대규모 언어 모델, 강화학습을 포함한 여러 구체적 ML 설정에서 진행 중이며, 동반 논문에서 기술된다.

arXiv:2607.00220v1math.CT

A Category Theory Account of AI Identity

배포 후 재학습·재구성 등으로 변화하는 AI 시스템이 언제 동일한 시스템으로 간주될 수 있는지라는 형이상학적 문제를 범주론(category theory)으로 형식화하며, 신뢰성(trustworthiness) 수준을 보존하는 라이프사이클 변환으로 구성된 상태 범주 $\mathsf{Sys}_\diamondsuit$와 실현된 이력 범주 $\mathsf{Traj}_{\diamondsuit,[t_0,T]}$를 통해 약한 동일성(신뢰성 수준 동등)과 강한 동일성(상태 동형·자연 동형)의 계층적 기준을 도출한다. 이 프레임워크는 AI 거버넌스에서 책임 있는 AI 증거와 규제 절차를 버전 간 혹은 배포 환경 간에 이전하기 위한 동일성 관련 선행 조건을 식별하는 데 활용된다.

arXiv:2606.24621v1math.CT

Infinitesimal Causality

This paper introduces a categorical account of infinitesimal causality in Frobenius Markov categories equipped with tangent-bundle semantics. IDC captures the infinitesimal layer in which interventions act as tangent deformations of copy/discard structure. Two distinct Frobenius structures interact: (1) the categorical Frobenius algebra on classical variables encoding copying, comparing, and discarding; and (2) the geometric Frobenius integrability condition, namely involutive closure of the intervention distribution, distinct from the algebraic Frobenius structure. Categorical causal sufficiency is defined as the compatibility of these two notions. A key observation is that, for structural causal models, infinitesimal causality is most naturally formulated in the slice of deterministic mechanisms over exogenous variables, with visible stochastic kernels obtained only after pushforward. Interventions are tangent vectors that deform the Frobenius copy/discard operations; their Lie brackets measure whether this deformation preserves classical information-flow structure. Pearl's do-calculus is used as a guiding example of intervention identities: ignoring irrelevant interventions corresponds to counit invariance, action/observation exchange to coproduct compatibility with pushforward, and independence to involutive bracket closure of the visible intervention distribution.