PyTorchKR Papers

최신 논문

총 84편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.24236v1cs.CC

$SO(3)$의 유한 부분군으로부터: $C_2$는 Holant 이분법으로 이어진다

From a finite subgroup of $SO(3)$:$C_2$ leads to a Holant dichotomy

Holant 프레임워크 내의 계수 복잡도는 복잡도 이분법 정리를 통해 폭넓게 연구되어 왔다. 다양한 제한된 설정에서 상당한 진전이 이루어졌으나, 보조 단항 시그니처가 없는 일반적인 복소수 값 짝수 차수 경우는 대체로 미해결로 남아 있다. 본 논문은 이진 시그니처들이 \(M(B(\mathcal{F}))\cong C_2\)를 만족하는 군 구조를 유도하는 이 프로그램의 근본적인 경우를 연구한다. 이진 시그니처 행렬의 사영 동치류가 \(SO(3)\)의 유한 부분군에 자연스럽게 임베딩됨을 관찰하였으며, 이는 구조적 분류를 위한 대수적 관점을 제공한다. 본 논문은 더 나아가 \(C_2\) 경우에 대해 정규(normal) 경우와 등방(isotropic) 경우라는 근본적으로 다른 두 체제를 규명하고 각각의 복잡도 거동을 분석한다. 가젯 구성, 분해 기법, 보간 논증, 그리고 복소수 값 설정을 동등한 실수 구조 프레임워크로 변환하는 실수화(realnumberization) 접근법을 결합하여, 완전한 이분법 정리를 확립한다. 즉 \(M(\B(\mathcal{F}))\cong C_2\)를 만족하는 모든 짝수 차수 시그니처 집합 \(\mathcal{F}\)에 대해, 문제 \(\mathrm{Holant}(\mathcal{F})\)는 다항 시간에 계산 가능하거나 \#P-난해이다. 또한 실현 가능한 시그니처를 정리하고 표준 기저에서는 덜 분명한 구조적 관계를 드러내기 위한 대수적으로 자연스러운 언어로서 시그니처의 파울리 기저 표현을 추가로 도입한다.

arXiv:2611.21941v1quant-ph

양자 연상 검색의 복잡도와 정밀도

Complexity and precision in quantum associative retrieval

우리는 양자 비트 수에 대해 다항식으로 증가하는 임의 개수의 패턴에 대해, 효율적이고 고정밀인 양자 연상 검색이 고전적 무차별 대입 방식에 비해 지수적 복잡도 이점을, 고전적 신경망 구현에 비해 다항식적 용량 이점을 가지고 가능함을 보인다. 고전 신경 연상 기억과 양자 연상 기억은 모두 패턴을 해밀토니안에 저장한다. 고전적인 경우 동역학은 끌개를 향한 비가역적 이완이며, 양자의 경우 유효 열 분포를 생성하는 유니터리 변환 뒤에 측정이 이어진다.

arXiv:2611.21840v1quant-ph

비국소 게임을 통한 확률분포 수송에서의 양자-고전 분리

Quantum-Classical Separation in Probability Distribution Transport via Nonlocal Games

다체 물리학과 생성형 인공지능에서 국소성은 상 동등성의 자연스러운 개념을 제공한다. 국소 동역학이 한 양자 상태나 고전 확률분포를 다른 것으로 가역적으로 변환할 수 있을 때, 두 상태는 같은 상에 있다고 간주된다. 이는 근본적인 질문을 제기한다. 국소 양자 동역학은 국소 고전 동역학이 할 수 없는 방식으로 고전 확률분포를 수송할 수 있는가? 우리는 분포 수송에서의 양자-고전 분리를 확립한다. 즉, 두 고전 분포는 상수 깊이의 국소 양자 회로로 정확하고 가역적으로 연결될 수 있는 반면, 고전적 확률 수송은 훨씬 더 큰 공간적 범위를 필요로 한다. 우리는 이 분리를 1차원 사슬에서 명시적으로 보이고, 비국소 게임에 기반한 그래프 상의 일반적인 구성 원리를 개발한다. 더 나아가 원천 분포 자체도 단순한 국소 고전 과정으로 생성될 수 있으므로, 분포 생성에서도 양자 이점이 성립한다. 우리의 결과는 초기 상태와 최종 상태가 모두 완전히 고전적인 경우에도 고전적 국소 가역성과 양자 국소 가역성 사이에 근본적인 차이가 있음을 보여준다.

arXiv:2610.28141v3cs.GT

고정 집합과 상관 균형 계산의 난해성

Fixed Sets and the Hardness of Computing Correlated Equilibria

폴리토프 게임의 근사 상관 균형을 계산하는 문제가 PPAD-완전임을 보이며, 따라서 이는 내시 균형을 찾는 문제와 다항 시간 동치이다. 이는 상관 균형이 내시 균형보다 다루기 쉬운 대상이라는 게임 이론의 통상적 관점에 이의를 제기한다. 개념적으로 우리는 상관 균형을 고정점의 자연스러운 일반화인 고정 집합과 연결한다. 연속 함수 $f$의 고정 집합이란 $S \subseteq \operatorname{conv} f(S)$를 만족하는 비어 있지 않은 유한 집합 $S$이다. 핵심 기술적 기여는 고정 집합 계산이 역다항 정밀도에서도 PPAD-난해임을 증명한 것이다.

arXiv:2611.14892v1cs.CG

거의 ETH 하에서 유클리드 k-means 근사에 대한 거의 최적의 하한

Almost Optimal Lower Bounds under Almost ETH for Approximating Euclidean k-means

유클리드 $k$-means 문제에서는 $\mathbb{R}^d$의 $n$개 점 집합이 주어지며, 각 점에서 가장 가까운 대표점까지의 제곱 거리 합을 최소화하도록 공간에서 $k$개의 대표점을 찾는 것이 목표이다. 알고리즘 측면에서, de la Vega, Karpinski, Kenyon, Rabani [STOC'03]와 Kumar, Sabharwal, Sen [JACM'10]은 고차원 유클리드 $k$-means에 대해 시간 $2^{(k/\varepsilon)^{O(1)}} \cdot dn^{O(1)}$의 $(1+\varepsilon)$-근사를 얻었고, 이는 이후 Feldman, Monemizadeh, Sohler [SoCG'07]에 의해 $2^{\tilde{O}(k/\varepsilon)} + O(ndk)$로 개선되었다. 하한 측면에서, Cohen-Addad, Karthik, Saulpic, Schwiegelshohn [SoCG'26]의 최근 연구는 정점 확장자(vertex expander) 상의 Vertex Cover에 대한 $(1+\varepsilon)$-근사의 지수 시간 난해성을 주장하는 확장자 지수 시간 가설(XXH)을 제안하고, 이를 이용해 $k=\tilde{\omega}(1/\varepsilon)$일 때마다 거의 일치하는 실행 시간 하한을 증명하였다. 본 논문은 XXH가 위 결과에 필요한 매개변수 영역에서는 성립하지 않음을 관찰하고, 더 표준적인 가정 하에서 그들의 환원을 어떻게 수정할 수 있는지 보인다. 보다 정확히, 3-SAT에 대한 거의 지수 시간 가설(Almost ETH)을 가정하면, 모든 상수 $\beta\in(0,1)$에 대하여 $k=\tilde{\omega}(1/\varepsilon)$일 때 $\mathbb{R}^d$에서의 유클리드 $k$-means는 시간 $2^{(k/\varepsilon)^{1-\beta}}\text{poly}(n,d)$에 동작하는 $(1+\varepsilon)$-근사 알고리즘을 갖지 않음을 보인다. 구성을 수정하여 유클리드 $k$-median 문제의 근사에 대해서도 유사한 결과를 얻는다.

arXiv:2611.15074v1cs.DS

토큰화: 난해성과 이중 기준 근사 알고리즘

Tokenization: Hardness and Bicriteria Approximation Algorithms

우리는 이진 토큰화를 연구한다. 이는 $\{0,1\}$ 위의 이진 문자열 코퍼스와 어휘 예산 $K$가 주어졌을 때, 코퍼스를 표현하는 데 필요한 전체 토큰 수를 최소화하도록 최대 $K$개의 부분 문자열(어휘)을 선택하는 문제이다. 기본 기호 $0$과 $1$은 항상 사용할 수 있으며, 각 문서는 별도로 분할되어야 한다. $n$을 전체 코퍼스 길이, $M$을 최대 문서 길이라 할 때, 모든 고정된 $\varepsilon\in(0,1)$에 대해 $\mathsf{P}=\mathsf{NP}$가 아닌 한 이진 토큰화 문제에는 다항 시간 $n^{1-\varepsilon}$-근사 알고리즘이 존재하지 않음을 증명한다. 이 난해성 결과를 보완하기 위해 $\gamma = \sqrt{M}\log n$인 다항 시간 $(\gamma,\gamma)$-이중 기준 알고리즘을 제시한다. 이 알고리즘은 크기가 최대 $\gamma K$인 어휘를 출력하며 토큰 수는 최대 $\gamma {\rm OPT}_K$이다. 여기서 ${\rm OPT}_K$는 원래 예산 $K$ 하에서의 최적 토큰 수이다. 또한 선택된 부분 문자열 길이의 합이 $B$로 제한되는 저장 예산 변형도 연구한다. $2\le B<n$에 대해 $(O(\log n\log B),O(\log n\log B))$-이중 기준 근사 알고리즘을 얻는다.

arXiv:2611.13568v1cs.DS

쌍 병합 토큰화는 이진 문자열에서 근사하기 어렵고 단항 데이터셋에서 강한 의미로 NP-난해하다

Pair-Merge Tokenisation Is Hard to Approximate on Binary Strings and Strongly NP-Hard on Unary Datasets

바이트 쌍 인코딩(BPE)과 같은 토크나이저는 인접한 기호 쌍을 새로운 기호로 반복적으로 병합하여 텍스트를 단축하며, 토큰이 적을수록 계산량이 줄어든다. 우리는 효율적인 알고리즘이 $k$번의 병합을 선택하여 길이 $n$인 문자열을 가능한 한 짧게 만들 수 있는지를 묻는다. 아무것도 하지 않아도 이미 인수 $n$ 이내이다. 우리는 P = NP가 아닌 한, 어떤 상수 $c>0$에 대해 어떤 다항 시간 알고리즘도 인수 $c\,n/\log n$ 이내로 접근할 수 없음을 증명하며, 이는 하나의 이진 문자열과 모든 출현을 치환하는 BPE 방식의 병합에 대해서도 이미 성립한다. 핵심 아이디어는 $k$번의 병합이 $k$개 규칙을 가진 문법을 이룬다는 점이다. 정점 덮개의 간극이 문법 크기의 간극이 되며, 이를 재레이블링된 복사본으로 증폭하고 이진수로 인코딩하여 명시적 병합으로 구현한다. 출현을 건너뛸 수 있는 병합의 경우 간단한 알고리즘이 $O(n/\log\log n)$을 달성하며, coNP $\subseteq$ NP/poly가 아닌 한 어떤 Karp 환원도 $n/\log n$ 차수를 넘는 난해성을 증명할 수 없다. 한 글자 알파벳에서는 Kastreva 등이 미해결로 남긴 두 토큰화 문제가 모두 반복 문자열을 가진 데이터셋에서 강한 의미로 NP-완전이다.

arXiv:2604.10819v3cs.DS

분포 속성의 차분 프라이버시 검증

Differentially Private Verification of Distribution Properties

Chiesa와 Gur가 시작하고 Herman과 Rothblum이 발전시킨 최근의 일련의 연구는 강력하고 지식이 많지만 신뢰할 수 없는 증명자의 도움을 받아 분포의 속성을 검증하는 데 필요한 표본 복잡도와 통신 복잡도를 조사한다. 본 연구에서는 차분 프라이버시 분포 속성 검증에 대한 연구를 시작한다. 결국, 검증을 돕는 증명자를 신뢰하지 않는다면 민감한 표본을 그에게 맡겨야 할 이유가 무엇이겠는가. 우리는 분포 속성의 차분 프라이버시 검증에 대한 전반적인 지형을 제시한다. 비프라이버시 경우에는 단일 라운드 비공개 코인(private-coin) 프로토콜이 공개 코인(AM) 프로토콜보다 복잡도가 상당히 낮을 수 있음이 알려져 있다. 반면 차분 프라이버시 대화형 증명에서 개선 가능성은 프라이버시 매개변수 영역과 모델에 따라 달라진다. 문헌의 프라이버시와 복제 가능성 간의 연결 및 프라이버시 증폭 기법을 활용하여 다음을 보인다. 1. 매개변수 영역 $\varepsilon = O(1/\sqrt{s})$ 및 $\delta= O(1/s^{5/2})$에서, 임의의 단일 라운드 $(\varepsilon,\delta)$-차분 프라이버시 비공개 코인 프로토콜로부터 거의 동일한 프라이버시, 표본 복잡도, 통신 복잡도를 갖는 차분 프라이버시 AM 프로토콜로의 환원이 존재한다. 로컬 모델에서는 이것이 $\varepsilon = O(1/\sqrt{\log s})$로 완화된다. 2. 그러나 프라이버시 보장이 매우 느슨한 경우($\varepsilon \in \Omega(\log s)$)에는 비공개 코인이 실제로 표본 복잡도와 통신 복잡도를 줄인다. 또한 표본이 곱 분포에서 추출되었는지를 프라이버시를 보장하며 검정하는 계산적으로 효율적인 Merlin-Arthur 증명을 얻고, 균일성 검정을 불리언 속성의 독립성 검정으로 환원하고 프라이버시 균일성 검정의 표본 복잡도에 대한 알려진 하한을 활용하여, 그 표본 복잡도가 $polylog N$ 인자 이내에서 최적임을 증명한다.

arXiv:2611.12618v1cs.CC

타입 논리 문법과 형식 언어

Type-logical grammars and formal languages

우리는 곱, 결합성, 추출, 삽입(infixation)에 대한 표준 규칙을 갖춘 타입 논리 문법이 NP-완전인 고정 인식 문제를 가짐을 보인다. 이는 1차 선형 논리의 문법이 교집합에 대해 닫혀 있으므로 준선형이 아니며 약한 문맥 민감도도 아님을 이미 보인 Pshenitsyn(2025)의 1차 선형 논리 구성을 응용한 것이다. 우리는 이 결과를 강화하여, 1차 선형 논리 문법이 Book & Greibach(1970)의 준선형 문법, 즉 비결정적 선형 시간(NSPACE(n) 또는 NLIN)에서 인식되는 문법을 시뮬레이션할 수 있음을 보인다. 나는 NLIN 역시 흥미로운 형식 언어 부류이며, LOGCFL이 공간 복잡도의 유용한 상한인 것처럼 자연어에 사용되는 형식 체계의 시간 복잡도에 대한 유용한 상한이 된다고 주장한다. 이를 종합하면, 1차 선형 논리는 비결정적 선형 시간 문자열 언어, 그래프 언어, 오토마타의 논리로 볼 수 있다.

arXiv:2611.11224v1cs.LG

특징 상호작용은 설명 가능성을 깨뜨리는가? 임의 차수 뉴럴 가법 모델에 대한 증명 가능한 설명

Do Feature Interactions Break Explainability? Provable Explanations for Any-Order Neural Additive Models

신경망에 대한 사후 설명 방법은 흔히 휴리스틱하며 증명 가능한 보장이 부족하다. 최근 몇 년간 연구된 이러한 방법의 일반적인 대안은 모델의 예측을 결정하기에 증명 가능하게 충분한, 크기가 최소인(cardinally-minimal) 입력 특징 부분집합을 계산하는 것이다. 그러나 일반적인 신경망에서는 이러한 설명을 찾는 것이 계산적으로 다루기 어렵다. 이에 반해 최근 연구는 특정 신경망 계열, 즉 뉴럴 가법 모델(NAM)에서는 이 문제가 더 다루기 쉬워짐을 보였으나, 표준 NAM은 특징 상호작용을 전혀 허용하지 않아 매우 제한적이다. 본 연구에서는 완전히 일반적인 신경망과 순수 가법 모델 사이의 간극을 메우면서, 제한된 특징 상호작용을 갖는 신경망에 대해 증명 가능하게 최소이며 충분한 설명의 계산을 연구한다. 먼저 상수 차수의 상호작용만 있어도 이 문제가 $\Sigma_2^P$-난해임을 증명하며, 이는 최악의 경우 지수적 복잡도를 피할 수 없음을 의미한다. 이어서 증명 가능하게 다루기 쉬운 두 가지 설정을 규명한다. 하나는 상호작용 구조의 희소성에 기반한 것이고, 다른 하나는 상호작용을 고려하는 더 강한 충분성 개념에 기반한 것이다. 두 설정 중 어느 쪽에서든, 가법 모델의 계산 효율성을 상당 부분 유지하면서 임의 차수 상호작용을 갖는 신경망에 대해 증명 가능한 설명을 계산하는 알고리즘을 개발한다. 실험적으로 이러한 설명이 표준 알고리즘이 만든 것보다 크기가 상당히 작고 더 빠르게 얻어지며, 표준 NAM보다 훨씬 높은 정확도를 달성하는 모델에서 도출됨을 보인다. 종합하면, 본 연구의 결과는 효율적인 증명 가능한 설명을 허용하는 신경망의 범위를 넓히는 데 기여하는 동시에, 복잡도를 결정하는 데 있어 특징 상호작용이 하는 근본적인 역할을 밝힌다.

arXiv:2607.17469v4cs.CC

상관된 무작위성하의 국소 탐색

Local Search with Correlated Randomness

무작위 알고리즘의 실행 시간 분포는 독립적인 무작위성 하에서 계산되지만, 독립성은 소스가 보장하는 경우가 드물다. 본 논문은 테이프의 모든 유한 접두사 $w$에 대해 $\nu[w]\le DP[w]^s$를 만족하는 소스 $\nu$를 연구한다. 여기서 $P$는 독립 기준 법칙이고 $0<s\le1$, $D\ge1$이며, 개별 선택은 예측 가능하거나 과거에 의해 결정될 수도 있다. 임의의 닫힌 테이프 사건 $E$의 최악 확률은 정확히 $\min\{1,DC_s(E)\}$이며, 여기서 $C_s(E)$는 다양한 깊이의 접두사로 $E$를 덮는 비용의 하한이다. 이 트리 최대 유량/최소 절단 항등식은 최악 확률을 정확하게 하고 최적화 가능하게 만든다. 이로부터 세 가지 응용이 따른다. 스케줄링에서는 한 기계에서 $n$개의 작업 각각이 다음 무작위 기호가 해당 성공 집합에 속할 때까지 재시도되며, 독립 무작위성 하에서는 모든 스케줄의 완료 시간 분포가 같지만, 본 제약 하에서는 두 고정 순서가 선형 마감 기한을 놓칠 최악 확률이 각각 $1$과 $\exp[-\Theta(n)]$이고, 정적 우선순위 규칙이 모든 마감 기한에서 최적이다. 각 절의 과반을 만족하는 할당이 존재하는 $k$-CNF에 대한 표준 국소 탐색의 경우, 날카로운 소스 임계값 $s_*$를 찾는다. 그 아래에서는 일부 인스턴스에서 허용 가능한 한 소스가 모든 절 선택에 대해 비종료를 강제하며, 임계값에서는 $D$가 고정될 때 기대 뒤집기 횟수가 초기 거리의 세제곱 이하이고(독립성 하에서는 선형), 변수 수의 일정 비율까지의 거리에서 일치하는 인스턴스가 존재하며, 임계값보다 고정된 여유만큼 위에서는 선형 의존성이 회복된다. 접두사 한정 비교 오류가 있는 잡음 선행자 탐색의 경우, 검증된 백트래킹은 소스 임계값 이상에서 임의의 지정된 오류 확률을 달성하며(이 임계값의 날카로움은 미해결로 남긴다), 동일한 세제곱-선형 질의 한계를 갖는다. 공유 테이프에서의 재시작은 비종료 사건이 비용 1 미만의 접두사 덮개를 가질 때에 한해 정확히 지수적 꼬리를 회복한다.

arXiv:2605.10219v3math.OC

구간별 아핀 함수와 얕은 CNN 손실에 대한 정류성 검사의 매개변수화 복잡도

Parameterized Complexity of Stationarity Testing for Piecewise-Affine Functions and Shallow CNN Losses

비평활 최적화의 기본 과제인, 연속 구간별 아핀(PA) 함수에 대해 지정된 점에서 근사 1차 정류성을 검사하는 문제의 매개변수화 복잡도를 연구한다. PA 함수는 비평활 정류성 검사의 표준 모형이며 ReLU 유형 학습 손실에서 나타나는 국소 다면체 기하를 포착한다. Tian과 So(2025)의 최근 연구는 PA 함수의 근사 정류성 개념을 검사하는 것이 최악의 경우 계산적으로 다루기 어려움을 보였으며, 고정 차원에서의 tractability를 미해결 방향으로 제시하였다. 본 연구는 이 방향을 주변 차원 $d$를 매개변수로 하는 매개변수화 복잡도의 관점에서 다룬다. 본 논문에서는 다루기 쉬운 쪽에 대해 고정 차원에서의 XP 알고리즘을 제시하고, 상보적인 쪽에 대해 W[1]-난해성을 증명한다. 더 나아가 매개변수화 $k$-클리크 가설 하의 하한은 어떤 계산 가능한 함수 $\rho$에 대해서도 시간 $\rho(d)s^{o(d)}$에 실행되는 결정론적 알고리즘을 배제하며, 여기서 $s$는 인스턴스의 전체 이진 부호화 길이이다. 추가적인 귀결로, 본 결과는 연속 PA 함수의 국소 최소성 검사에 대한 대응하는 매개변수화 복잡도 구도도 제공한다. 또한 난해성 결과를 학습 가능한 가중치 공간에서 검사되는 얕은 ReLU CNN 학습 손실의 계열로 확장한다. 따라서 단순한 CNN 학습 손실에서도 동일한 매개변수화 복잡도 구도가 나타난다. 특히 본 하한은 $N$개 꼭짓점 그래프의 $k$-클리크가 어떤 계산 가능한 함수 $\rho$에 대해서도 결정론적 $\rho(k)N^{o(k)}$ 시간 알고리즘을 허용하지 않는다고 가정한다. 지수 시간 가설(ETH)에 대한 최근의 반증(OpenAI, 2026)과 더 강한 세밀한 $k$-클리크 가설에 대한 반증(Vassilevska Williams and Zamir, 2026)은 이 가정과 모순되지 않는다.

arXiv:2611.09759v1cs.LG

사고의 연쇄에 대한 엄밀한 계층 구조

A Tight Hierarchy for Chain of Thought

사고의 연쇄(CoT) 추론은 트랜스포머 기반 모델의 계산 능력을 확장하는 강력한 패러다임으로 부상했다. 최근 증가하는 일련의 연구는 CoT로 보강된 트랜스포머의 세밀한 계산 능력과 고전 복잡도 이론과의 연결을 밝혀 내기 시작했다. 본 연구에서는 CoT 기반 계산에 대한 최초의 계층 정리를 확립함으로써 이 연구 흐름을 진전시킨다. 주요 결과는 $r(n) \geq n$인 임의의 합리적인 자원 한계 $r(n)$과 임의의 $\varepsilon > 0$에 대해 \[ \mathrm{CoT}(r(n)) \subsetneq \mathrm{CoT}(r(n)^{1+\varepsilon}), \] 가 성립함을 보인다. 여기서 $\mathrm{CoT}(r(n))$은 길이 $n$의 입력에 대해 트랜스포머가 $O(r(n))$개의 CoT 추론 단계를 사용하여 풀 수 있는 결정 문제의 클래스를 나타낸다. 이 결과는 CoT 추론 단계 수를 늘리면 증명 가능하게 엄밀히 더 큰 계산 능력을 얻음을 보여 주며, CoT 단계가 트랜스포머 기반 계산에서 근본적인 자원임을 확립한다. 대개 대각화로 증명되는 고전적 계층 정리와 달리, 우리의 접근은 CoT로 보강된 트랜스포머와 튜링 기계 사이의 양방향으로 알려진 거친 수준의 시뮬레이션을 활용한다. 이러한 연결을 바탕으로, 복잡도 이론의 고전적 패딩 기법을 이 설정에 맞게 적용하여 엄밀한 계층 구조를 얻는다. 본 연구의 핵심적인 기술적 기여는 트랜스포머 기반 CoT 모델 내에서 패딩을 구현한 것이다.

arXiv:2605.20122v2stat.ML

와서스타인 거리 추정을 위한 계산-통계적 실행 시간 최적화

Optimizing Computational-Statistical Runtime for Wasserstein Distance Estimation

제곱 와서스타인 거리는 확률분포 간 불일치를 측정하는 데 자주 사용되는 도구이다. 이 거리는 보통 두 기저 확률 표본에서 얻은 크기 $n$의 경험적 측도 사이에서 계산된다. 그러나 저차원 유클리드 공간 문제($d \in \{2,3\}$)에서조차, 근사 또는 정확한 정밀도 보장을 갖는 와서스타인 거리 계산 알고리즘은 $n$과 원하는 정밀도의 함수로서 실행 시간 확장성이 좋지 않다. 이에 우리는 계산-통계적 실행 시간을 고려한다. 여기서 목표는 표본으로부터 잠재적으로 매끄러운 측도 사이의 와서스타인 거리를 표집에 대한 기댓값에서 $\epsilon$-가법 오차 이내로 추정하는 것이며, 표본을 수집하는 데 $O(1)$의 계산 비용을 허용한다. 이를 위해 표본의 정규 직교 격자 스케치를 도입하는 표본-스케치-해결(Sample-Sketch-Solve) 패러다임을 개발한다. 우리는 (특히 $\alpha$-횔더 매끄러운 분포 하에서) 이것이 점근적 오차를 증가시키지 않고 데이터를 압축할 수 있으며, 더 빠른 정확 알고리즘을 가능하게 하는 구조 정칙화도 제공함을 보인다. 결과적으로 $(0,1)^{d}$ 위의 $0 < \alpha < 1$ 횔더 매끄러운 분포 $P,Q$에 대해 $\epsilon^{-\max(2,\frac{d+1+o(1)}{1+\alpha})}$ 시간에 $\epsilon$ 오차 이내로 $W_2^2(P,Q)$를 근사하며, 이는 $d=2$이고 $\alpha > 1/2$일 때 최적인 $\Theta(\epsilon^{-2})$이고 $d = 3$일 때 $\alpha \to 1$이면 거의 최적이다.

arXiv:2611.06303v1cs.CC

유계 정지 문제에 대한 공학적 해석과 범용 기계의 관측 가능한 성질

An Engineering Reading of the Bounded Halting Problem and Observable Properties of a Universal Machine

정지 문제는 자원에 제한이 없을 때 프로그램이 결국 정지하는지를 묻는다. 반면 공학 시스템은 유계 정지(bounded halting)를 검증한다. 즉, 프로그램과 입력, 단계 예산 T가 주어졌을 때 해당 프로그램이 T단계 이내에 정지하는지를 판정한다. 본 논문은 이 문제의 두 가지 용도를 연구한다. 첫째, 모의 실행되는 프로그램과 검사기를 동일한 단위 비용 시간 척도에 놓는 정확한 유한 예산 문제를 정의하며, 이에 따라 검사기를 적대적 프로그램 안에 내장할 수 있다. 명시적인 가산 오버헤드를 갖는 대각선 논증을 통해, 충분히 큰 T에 대해 어떠한 고정된 결정론적 검사기도 T의 1 미만인 어떠한 고정 비율 이내에서 모든 사례를 판정할 수 없음을 보인다. 비결정론적 경우에는 T가 안정적으로 관측 가능한 판정에 허용되는 분기 깊이를 제한한다. 둘째, 유계 정지 사례는 유한적 범용성(finitary universality)에 대한 적대적 시험을 제공한다. 범용 모델은 T가 커짐에 따라 임의의 유한 계산을 지원해야 하기 때문이다. 이 시험은 T에 따른 자원 증가, 고정된 숙고 한계의 부재, 중간 데이터에 대한 이후의 접근 가능성을 점검한다. 이를 통해 확장 가능한 외부 자원을 가진 고정 모델, T에 따라 커지는 모델 계열, 고정된 구성 요소를 중심으로 구축된 더 큰 시스템을 구분한다. 기계학습 시스템의 경우, 이는 범용성 주장이 가정하는 자원 증가가 무엇인지, 그리고 실제 배포된 모델에서 그 가정이 성립하지 않는지를 밝혀 준다.

arXiv:2604.24737v2cs.LG

여러 사고자로부터 생각하는 법 배우기: 사고의 연쇄 이질성이 효율적 학습 가능성에 미치는 영향

Learning to Think from Multiple Thinkers: How Chain-of-Thought Heterogeneity Affects Efficient Learnability

사고의 연쇄(chain-of-thought, CoT) 지도는 다음 토큰 예측으로 쉽게 학습할 수 있는 중간 단계를 드러냄으로써 계산적으로 어려운 학습 문제를 다루기 쉽게 만든다. 그러나 실제로 CoT 데이터셋은 서로 다른 추론 방식을 가진 이질적인 출처에서 구성되며, 다음 토큰 학습에 적합한 지도를 선별하는 데 상당한 노력이 들어간다. 이러한 선별은 CoT 지도의 계산적 이점을 가능하게 하는 데 어떤 역할을 하는가? 본 연구에서는 학습 이론적 관점에서 이 질문을 이해하기 위한 첫걸음을 내딛는다. 우리는 여러 출처로부터의 $이질적$ $CoT$ $지도$에 대한 여러 모델을 도입하며, 각 출처는 최종 답은 같지만 중간 단계가 서로 다른 올바른 추적을 제공한다. 어느 단일 출처에서 나온 $동질적$ 추적에 다음 토큰 예측기를 적합시키는 것이 계산적으로 다루기 쉽다고 가정할 때, 이것이 이질적 지도로부터의 효율적 학습에 언제 충분한지 묻는다. 우리는 동질적 CoT로부터의 학습은 쉬움에도 불구하고, 여러 출처에서 $수동적으로$ 수집한 추적으로부터의 학습이 $암호학적$ $난해성$을 가짐을 보인다. 이 난해성은 도메인의 서로 다른 부분에서 어떤 출처가 추적을 제공하는지를 결정하는 $학습하기$ $어려운$ $기여$ $편향$에서 비롯될 수도 있고, $여과되지$ $않은$ 이질적 혼합을 받는 데서 비롯될 수도 있다(동질적 추적의 여과된 부분집합은 효율적 학습에 충분하다). 긍정적인 측면으로, 언어 모델의 반복적이고 적응적인 미세조정에서 착안하여, 목표 오차 $\varepsilon$와 완전히 무관한 출처별 CoT 예산으로 여러 출처에서 CoT를 $능동적$이고 $적응적$으로 수집하는 계산적으로 효율적인 학습 알고리즘을 제시한다. 우리의 결과는 CoT 지도를 학습에 효과적으로 만드는 데 핵심적인 데이터 수집 및 선별 관행을 밝혀 준다고 주장한다.

arXiv:2611.06055v1cs.DS

고정 차원에서 임의의 온도를 갖는 소프트맥스 어텐션: 알려진 최선의 최대 내적 한계와 일치

Softmax Attention with Any Temperature in Fixed Dimension: Matching the Best Known Maximum-Inner-Product Bounds

어텐션은 언어, 비전, 과학적 모델링을 위한 현대 AI 모델의 핵심이다. 그러나 직접 계산은 모든 질의를 모든 키와 비교하므로 문맥 길이에 대해 이차 시간이 필요하며, 이는 긴 문맥으로의 확장성을 제한한다. 따라서 어텐션의 복잡도 한계를 규명하는 것은 근본적으로 중요하다. 고정된 모든 차원 $d$에 대해, $m$개의 질의, $n$개의 키-값 쌍, 가산 오차 $\varepsilon$에 대한 알고리즘을 제시하며, 기대 시간은 $ \widetilde{\mathrm{O}}\bigl((mn)^{k/(k+1)}+m+n\bigr),\qquad k=\lfloor d/2\rfloor. $ 이다. 고정된 차원과 고정된 개수의 값 채널에 대해, soft-O는 $\operatorname{poly}_d\bigl(b,\log(m+n),\log B,\log(1/\varepsilon)\bigr),$ 형태의 인자를 숨기며, 여기서 $b$는 입력 인코딩 길이의 상한이고 $B$는 좌표와 값 크기의 상한이다. 특히 $B$와 $1/\varepsilon$에 대한 의존성은 다로그 수준이어서 임의의 양의 온도를 허용한다. $m=n$이고 $d\ge2$일 때 한계는 $\widetilde{\mathrm{O}}(n^{2-2/(\lfloor d/2\rfloor+1)})$이며, 이는 2차원과 3차원에서 거의 선형이고, 4차원과 5차원에서 지수 $4/3$, 6차원과 7차원에서 $3/2$이다. 이는 기존의 $\widetilde{\mathrm{O}}(n^{2-1/d})$ 상한을 개선하며, 각 고정 차원에서 알려진 최선의 배치 최대 내적 한계와 일치한다. 추가로, 정수 배치 최대 내적 계산을 동일한 차원과 입력 크기 $m,n$을 갖는 한 번의 어텐션 호출로 환원한다.

arXiv:2611.05813v1cs.CC

강한 로그 오목성과 로그 소볼레프 부등식 하에서 샘플링의 질의 복잡도에 대하여

Towards the Query Complexity of Sampling under Strong Log-Concavity and Log-Sobolev Inequalities

본 논문은 1차 오라클을 사용하여 $\mathbb R^d$ 상의 매끄러운 분포로부터 샘플링할 때의 질의 복잡도를 연구한다. 조건수 $\kappa=2$인 $d$차원 강한 로그 오목 목표 분포에 대해, 상수 수준의 웜 스타트에서조차 임의의 무작위 샘플러가 $\exp({\Omega(\log^{1/3} d)})$번의 질의를 필요로 함을 증명한다. 이는 다로그(polylogarithmic) 수준의 차원 의존성을 배제하며, 강한 로그 오목 샘플링을 가우시안 샘플링과 엄밀하게 구분한다. $L$-매끄러운 포텐셜을 가지며 $\kappa= L/\alpha$인 $\alpha$-로그 소볼레프 부등식을 만족하는 목표 분포에 대해서는, $d\gtrsim\log^2\kappa$일 때 $\Omega(\kappa)$의 질의 하한을 증명한다. 이는 로그 소볼레프 샘플링이 강한 로그 오목 샘플링보다 엄밀하게 더 어렵다는 것을 보여 준다. 우리의 증명은 목표 분포의 샘플은 대체로 통과하지만 적은 수의 질의를 수행하는 알고리즘의 출력은 대체로 실패하는 인스턴스 의존적 검정을 구성한다. 강한 로그 오목 목표 분포의 경우, 숨겨진 가우시안들의 열을 매끄러운 게이트를 가진 고차 텐서 다항식에 임베딩하여, 어떤 알고리즘이든 층을 순차적으로 밝혀내도록 강제한다. 로그 소볼레프 구성은 목표 질량의 일정 비율을 각도 캡에 숨기면서, 정밀한 추정을 통해 로그 소볼레프 상수를 제어한다.

arXiv:2611.04074v2cs.CC

매개변수 다중집합으로부터의 ReLU 신경망 합성의 복잡도

The Complexity of ReLU Network Synthesis from a Parameter Multiset

본 논문은 매개변수 값이 미리 주어졌을 때 ReLU 신경망을 구성하는 것이 얼마나 어려운지를 묻는다. 하나의 사례는 목표 동작의 적절한 인코딩, 유리수의 다중집합, 그리고 (출력 뉴런을 포함한) 뉴런 수의 상한을 제공한다. 문제는 이 상한 내에서 ReLU 신경망의 그래프를 선택하고, 주어진 수들을 그 간선과 편향에 배치하여 목표를 만족시킬 수 있는지 여부이다. 이는 수 값을 구조로부터 분리한다. 두 개의 레이블된 예시를 정확히 맞추는 것만으로도 이미 $\mathsf{NP}$-완전이므로, 목표가 모든 입력에 대해서 또는 평균적으로 성립해야 할 때 무엇이 달라지는지를 묻는다. 모든 불리언 입력에서 불리언 회로와 일치하는지 판정하는 문제는 뉴런이 네 개일 때에도 $\Sigma_2^{\mathsf P}$-완전이다. 모든 실수 입력에서 주어진 ReLU 신경망과 일치하는지 판정하는 문제는 고정된 모든 뉴런 수 상한에 대해 $\mathsf{DP}$에 속하며, 뉴런이 세 개일 때 $\mathsf{DP}$-완전이다. 단위 정육면체 위에서 모든 곳에서 절대 오차 1 이내로 ReLU 신경망을 근사하는 문제는 은닉 뉴런이 없고 모든 수가 같고 양수인 경우에도 $\Sigma_2^{\mathsf P}$-완전이다. 어떤 신경망의 기대 제곱 손실이 임계값 이하인지 판정하는 문제는 균등 불리언 입력에 대해 $\mathsf{NP}^{\mathsf{PP}}$-완전이다. 단위 정육면체 위의 균등 입력과 양의 임계값을 갖는 표준 가우시안 입력의 경우, 이진수로 주어지며 지수적으로 작을 수도 있는 양의 위험 간극이 예 사례와 아니오 사례를 구분할 때 뉴런 두 개에 대해서도 동일한 결과가 성립한다. 간극이 없는 경우 정육면체 버전은, 다항 길이의 문자열을 추측한 뒤 지수적으로 많은 유리수의 합을 임계값과 비교하는 문제에 대해 완전하며, 이 모든 계산은 입력과 추측으로부터 다항 시간에 수행 가능하다.

arXiv:2009.03996v5math.LO

결정론과 비결정론의 결합

Combining Determinism and Indeterminism

우리의 목표는 양자 무작위성으로부터 측정된 비결정론을 계산적 결정론과 결합하여 비기계적 행동이 계산에서 보존되도록 하는 수학적 연산을 구성하는 것이다. 형식적으로, 계산가능 열거 가능(c.e.) 집합과 쌍면역(bi-immune) 집합에 적용되는 연산에 관한 몇 가지 결과가 여기서 증명되며, 이때 목적은 연산이 쌍면역성을 보존하도록 하는 것이다. 자연수 위의 재배열 연산을 개발하는 과정에서, 우리는 쌍면역 재배열이 자연수 $\mathbb{N}$ 위의 무한 대칭군(Sym$(\mathbb{N})$)의 비가산 부분군을 생성함을 발견했다. 이 새로운 비가산 부분군을 쌍면역 대칭군이라 부른다. 우리는 쌍면역 대칭군이 자연수 위의 유한형 대칭군을 포함하며, 결과적으로 고도로 추이적임을 보인다. 나아가 쌍면역 대칭군은 점별 수렴 위상에 대해 Sym$(\mathbb{N})$에서 조밀하다. 쌍면역 대칭군과, 하나 이상의 쌍면역 재배열로 생성되는 그 부분군들의 완전한 구조는 알려져 있지 않다.