PyTorchKR Papers

최신 논문

총 97편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2607.15645v1cs.DS

유계 구별자에 대한 분포 검정

Testing Distributions Against Bounded Distinguishers

고차원 또는 연속 영역 위의 분포를 검정하는 난제에서 동기를 얻어, 유계 구별자(bounded distinguishers) 클래스에 대한 분포 검정을 연구한다. 대표적인 과제는 매우 큰 영역 위의 미지 분포 $P$에서 표본을 사용하여 두 경우 중 하나를 판별하는 것이다: 고정된 기준 분포 $P_{\mathsf{ref}}$에 대해 $P = P_{\mathsf{ref}}$이거나, 유계 클래스 $\mathcal{F}$ 내의 구별자(distinguisher) $f$가 $|\mathbf{E}_P[f] - \mathbf{E}_{P_{\mathsf{ref}}}[f]| > ε$인 분리를 증명하는 경우. 이는 fooling distance에 대한 동일성 검정(identity testing) 과제이며, 이 이름은 의사난수(pseudorandomness)와의 개념적 연관에서 영감을 받았다. (형식적으로, 우리 모델은 유계 표현력(bounded expressivity)을 갖는 Boolean 클래스로부터 적분 확률 거리(integral probability metrics)를 구체화한다.) 우리는 fooling distance에 대한 검정이 고차원 설정에서도 표본 효율적(sample-efficient) 알고리즘을 허용하는 자연스러운 계산 문제일 뿐만 아니라, 겉보기에 무관해 보이는 세 연구 영역—검증 가능 학습(testable learning), 학습 알고리즘의 검증(verification of learning algorithms), 구조화된 분포의 검정(testing of structured distributions, 우리 프레임워크가 확장하는 "$\mathcal{A}_k$-testing" 모델)— 사이의 연관을 드러내고 그 기반을 이룬다는 것을 보인다. 이러한 연관은 다음을 포함하여 이 모든 모델에 대한 새로운 결과를 산출한다: 1. 반공간(halfspaces)과 결정 트리(decision trees)에 대해 멤버십 쿼리(membership queries)를 사용하는 검증 가능 적절(proper) 학습기. 2. Rademacher 복잡도(Rademacher complexity) 관점의 검증 가능 PAC 검증 하한, 그리고 $k$개의 다차원 직사각형의 불연(disjoint) 합집합에 대한 분포 무관(distribution-free) 검증 프로토콜. 3. Boolean 및 연속 하이퍼큐브 영역 위에서, 결정 트리 분포와 낮은 차수 다항식 밀도를 갖는 분포에 대한 (전체 변동 거리(total variation distance) 기준) 동일성 검정기(identity testers).

arXiv:2607.14375v1cs.CC

무작위 매개변수 노이즈는 정확한 렐루 검증을 쉽게 만들지 않는다

Random Parameter Noise Does Not Make Exact ReLU Verification Easy

우리는 적대적 스무딩 모델에서 렐루 네트워크의 정확한 검증을 연구한다. 모든 네트워크 가중치와 바이어스는 가우시안 노이즈로 독립적으로 섭동되고, $[-2,2]$로 클리핑되며, 입력 비트 복잡도에 의해 결정되는 정확한 이진 소수(dyadic) 격자로 반올림된다. 우리는 표준 가정 $\mathrm{NP}\not\subseteq\mathrm{BPP}$ 하에서, 모든 기본 인스턴스에 대해 기대 실행 시간이 네트워크 크기, 비트 복잡도, 및 역 노이즈 수준에 대해 다항식인 건전하고 완전한 검증기가 존재하지 않음을 보인다. 이 결론은 이미 고정 노이즈 수준 $σ_\star=2^{-11}$에서, 단위 박스 위의 단일 은닉층 네트워크에 대해, 은닉층 fan-in이 최대 3이고 기본 계수가 $[-1,1]$에 있을 때 성립한다. 증명은 정확한 간격 임베딩과 정량적 견고성 논증을 결합한다. $m$개 절을 갖는 모든 E3SAT 공식 $Φ$에 대해, 절당 4개의 렐루를 사용하는 구성은 $\max_{x\in[0,1]^n} g_Φ(x)=(m-\operatorname{unsat}(Φ))/3$을 만족하며, 좌표별 임계값 반올림은 목적함수를 결코 감소시키지 않는다. 가중 매개변수 민감도 부등식과 가우시안 집중은 검증 간격이 $m$에 선형적으로 남아, 모든 계수의 집합적 섭동 이후에도 확률 최소 $1-e^{-m/8}$로 유지됨을 보인다. 증명에는 클리핑, 정확한 이진 소수 반올림, 출력층 섭동, 반올림된 가우시안 분포의 다항 비트 샘플링, 그리고 기대 스무딩 실행 시간에서 BPP 알고리즘으로의 변환이 포함된다. 계산 검증은 정확한 항등식을 시험하고, 광범위한 간격과 상수 간격의 서로 다른 스케일링을 보여준다. 이들은 복잡도 정리에 대한 증거라기보다 진단용이다. 이 결과는 명시된 절대 노이즈 모델에서 최악의 경우 기본 네트워크에 관한 것이지만, 매개변수 비퇴화(nondegeneracy)만으로는 정확한 검증에 대한 보편적인 스무딩-다항식 보장이 주어지지 않음을 보여준다.

arXiv:2606.18918v4cs.LG

이진화 신경망 견고성 검증에 관한 일부 복잡도 결과

Some Complexity Results for Robustness Verification for Binarized Neural Networks

본 논문은 활성화와 가중치가 이진인 이진화 신경망(BNN)에 대한 검증 문제의 계산 복잡도를 조사한다. 구체적으로 세 가지 검증 문제를 연구한다. 먼저, BNN에 대한 선형 속성의 만족 가능성(satisfiability) 확인이 불리언 만족 가능성(SAT) 문제로부터의 환원을 통해 NP-완전함을 증명한다. 둘째, 비균일(non-uniform) 이미지 가림 하에서의 견고성 검증이 SAT로부터의 환원을 통해 NP-완전함을 보인다. 마지막으로, 균일(uniform) 가림이 네트워크 출력에 구간별 상수(piecewise-constant) 구조를 유도하며, 이는 견고성 검증을 위한 다항 시간 알고리즘 설계를 가능하게 함을 보여준다.

arXiv:2607.13782v1cs.FL

Alice와 Bob이 보는 정규성

Regularity as seen by Alice and Bob

이 논문의 목표는 서로 다른 출력 domain을 갖는 함수들에 걸쳐 정규성의 Nerode식 특성화를 위한 통합 모델을 제안하는 것이다. 통신 복잡도(communication complexity)에서 Hauser의 연구를 바탕으로, 계산 가능성 가정을 완화하고 비Boolean 출력 domain을 허용함으로써 설정을 일반화한다. 우리는 유한 알파벳 $Σ$와 임의의 domain $\domain$에 대해, $Σ^* \to \domain$ 타입의 함수를 고려한다. 여러 domain에 대해, 이 모델이 알려진 계산 모델과 일치함을 보인다. 우리는 또한 현재 정규성에 대한 Nerode식 특성화가 부족한 다른 domain들에 대해서도 유사한 대응 관계가 성립할 것이라고 추측하며, 이를 뒷받침하는 충분한 증거를 제시한다. 이 모델에서 입력 문자열 $w$는 $w = w_1 w_2$로 분할되어 협력하는 두 당사자 Alice와 Bob에게 배분되며, 그들은 상수 개의 메시지를 교환하여 함수 값을 계산한다. 각 메시지는 출력 domain의 원소이거나 유한 신호 집합에서 뽑힌 신호이며, 당사자들은 모든 허용 가능한 분할 $w = w_1 w_2$에 대해 올바른 출력을 생성해야 한다. 우리는 nominal sets 설정에서 무한 알파벳으로 프레임워크를 더 확장하고, 원자(atoms)를 갖는 단어들의 언어에 대한 표현력을 조사한다.

arXiv:2607.04875v2cs.CC

저랭크 행렬 부호화 및 원소별 거듭제곱 행렬 분해의 복잡도에 관하여

On the Complexity of Low-Rank Matrix Signing and Entrywise Power Matrix Factorization

비음수 행렬 $X$, 분해 랭크 $r$, 그리고 양의 정수 $p$가 주어질 때, 원소별 거듭제곱 행렬 분해(EPMF)는 $X = |X_r|^{\circ p}$ (정확한 경우) 또는 $X \approx |X_r|^{\circ p}$ (근사 경우)를 만족하는 저랭크 행렬 $X_r$을 탐색하는 문제이며, 여기서 $(\cdot)^{\circ p}$는 원소별 지수를 나타낸다. EPMF는 모듈러스 모델($p=1$)과 원소별 제곱 분해($p=2$)를 특수 경우로 포함하며, 후자는 제곱근 랭크와 밀접하게 관련된다. 본 논문에서는 정확한 결정 문제와 Frobenius 노름 근사 문제의 계산 복잡도를 분석하고 완전한 복잡도 전경을 확립한다. 정확한 경우에서, EPMF는 주어진 행렬 $X$의 원소 부호를 뒤집어 랭크-$r$ 행렬을 얻는 조합론적 문제—본 논문에서 저랭크 행렬 부호화(LRMS) 문제라 칭함—와 동치임을 보인다. 먼저 LRMS, 그리고 이에 따라 정확한 EPMF가 강 NP-난해(strongly NP-hard)임을 보임으로써, 제곱근 랭크에 대한 약 NP-난해 결과(Math. Prog., 2015)를 개선한다. 이어서 $r$이 고정될 때 LRMS가 다항 시간에 풀림을 보인다. 더 나아가, 랭크 $r$이 입력의 일부인 경우, 일반 행렬에 대해 알고리즘이 매개변수 $r$에 대해 고정-매개변수 다루기 가능(FPT)함을 보이며, 실제로 수행 시간은 입력 행렬의 원소 수에 대해 고정-매개변수 선형임을 증명한다. Frobenius 노름을 오차 척도로 사용하는 근사 경우에서는, 가장 작은 비자명 경우인 $r=2$일 때조차 EPMF가 NP-난해임을 보인다.

arXiv:2607.05791v1stat.ML

리스트 복호 가능 코드를 활용한 부스팅

Boosting with List-Decodable Codes

XOR 폐쇄 성질을 만족하는 개념 클래스에서 Freund(1995)의 라운드 복잡도 하한을 우회하는 새로운 부스팅 알고리즘을 제시하며, 부스팅과 리스트 복호 가능 코드(list-decodable codes) 간의 연결을 통해 기존 $O(\log(1/\varepsilon)/\gamma^2)$ 대신 $O(\log(1/\varepsilon))$회의 약한 학습기 호출만으로 강한 학습을 달성한다.

arXiv:2607.06155v1cs.FL

유한 정밀도 순환 모델의 표현력을 도구 사용이 언제 증가시키는가

When Does Tool Use Increase the Expressive Power of Finite-Precision Recurrent Models?

유한 정밀도 순환 모델이 외부 도구를 사용할 때 계산 표현력이 언제 증가하는지를 이론적으로 분석하여, 유한 상태 도구는 표현력을 거의 높이지 못하지만 로컬 read/write/move 명령을 지원하는 테이프 도구 하나만으로도 시스템이 튜링 완전(Turing complete)해짐을 증명한다. 또한 이 구성이 이진 원-핫 은닉 상태를 가진 단층 유한 정밀도 선택적 아핀 SSM으로 정확히 실현됨을 보이며, $O(\log B)$의 순환 비트로 임의의 $B$-상태 튜링 기계를 시뮬레이션할 수 있다는 자원 효율성 결과도 함께 제시한다.

arXiv:2607.03561v1cs.AI

토론을 피하는 방법: 이중 효율 대화형 증명을 통한 확장 가능한 AI 안전성

How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs

AI 모델이 강력한 능력을 계속 발전시켜 나감에 따라, 그 출력이 우리의 의도와 정렬(aligned)되어 있음을 검증할 수 있는 것이 매우 중요해졌다. 최근 일련의 연구들은 토론(debate)을 통한 검증에 초점을 맞추고 있는데, 이는 두 명의 경쟁하는 강력한 증명자(prover), 즉 AI 모델이 서로 토론하여 약한 검증자(verifier), 즉 인간에게 자신의 주장의 정확성을 납득시키는 대화형 증명 모델이다. 그러나 토론은 두 AI 모델이 동등한 능력을 보유하고 그중 하나가 진실을 말한다고 가정하는데, 이는 현실적이지 않을 수 있다. 본 연구에서 우리는 토론을 피하는 방법을 제시한다: AI 안전성을 위한 단일 증명자(single-prover) 대화형 증명 연구를 시작한다. 단일 증명자 대화형 증명에 관한 기존 결과들은 AI 안전성 환경으로 바로 이전되지 않는다. 예를 들어, 인간의 판단이나 웹과 같은 외부 데이터베이스에 대한 오라클(oracle)에 접근하는 계산에는 작동하지 않는다. 우리는 오라클 보조 계산(oracle-aided computation, 상대화 증명(relativizing proofs)이라고도 함)에 대한 이중 효율 단일 증명자 대화형 증명 및 인수(arguments)를 다음 두 가지 환경에서 제시한다: (1) 오라클 질의 응답 중 최대 소수 비율이 올바르지 않아도 출력이 변하지 않는다는 의미에서 계산이 강건(robust)한 경우, 또는 (2) 오라클이 저차 다항식(low-degree polynomial)인 경우. 이러한 결과는 구조화되거나 잡음에 강한 오라클 접근 하에서 토론 없이도 대화형 검증이 가능함을 시사한다.

arXiv:2607.02444v1quant-ph

제한된 양자 메모리 하에서의 최적 스태빌라이저 테스팅 및 학습

Optimal Stabilizer Testing and Learning with Limited Quantum Memory

제한된 결맞음 양자 메모리 환경에서 스태빌라이저 상태(stabilizer state)의 테스팅과 학습 복잡도를 연구하며, $k$ 큐비트 메모리를 사용할 때 테스팅의 샘플 복잡도는 $\Theta(n-k)$, 비적응적 학습의 샘플 복잡도는 $\Theta(n^2/k)$임을 증명한다. 메모리가 $k=cn$ 수준으로 제한되면 기존에 상수 복사본으로 가능했던 테스팅과 학습의 분리가 사라지며, 두 경우 모두 $\Theta(n)$개의 복사본이 필요해 결맞음 양자 메모리가 이 분리를 가능하게 하는 핵심 자원임을 규명한다.

arXiv:2511.02644v2cs.LG

Recursively Enumerably Representable Classes and Computable Versions of the Fundamental Theorem of Statistical Learning

계산 가능한 PAC(CPAC) 학습 프레임워크에서 통계적 학습의 기본 정리(Fundamental Theorem of Statistical Learning)가 성립하지 않는 문제를 다루며, 재귀적으로 열거 가능한 표현 클래스(RER)와 CPAC 학습 가능성 사이의 깊은 연관성을 규명한다. RER 클래스만으로 비균일(nonuniform) CPAC 학습 가능성을 보장할 수 있음을 증명하고, 유효 VC-차원(effective VC-dimension)이 전통적 VC-차원보다 임의로 큰 값을 가질 수 있으나 계산 가능한 ERM이 존재하면 두 차원이 일치함을 보여 다양한 학습 가능성 개념을 분리하는 예시군을 구축한다.

arXiv:2604.04535v2cs.LG

동치 쿼리로부터의 학습, 재고찰

Learning from Equivalence Queries, Revisited

생성 모델과 추천 시스템 같은 현대 기계학습 시스템은 배포, 사용자 상호작용, 주기적 모델 업데이트의 순환을 통해 발전하는 경우가 많다. 이는 고정된 예측 과제 시퀀스에 대한 손실 또는 후회 최소화에 초점을 맞추는 표준 지도학습 프레임워크와 다르다. 이러한 설정에 착안하여, 우리는 Angluin(1988)이 도입한 동치 쿼리로부터의 학습이라는 고전적 모델을 재고찰한다. 이 모델에서 학습자는 반복적으로 가설을 제안하고, 배포된 가설이 부적절할 경우 반례를 받는다. 그러나 완전 적대적 반례 생성 하에서는 모델이 지나치게 비관적일 수 있다. 또한 대부분의 선행 연구는 학습자가 반례의 올바른 레이블도 관찰하는 완전 정보(full-information) 설정을 가정하는데, 이는 항상 자연스러운 가정이 아니다. 우리는 환경을 덜 적대적인 반례 생성기의 광범위한 부류로 제한함으로써 이러한 문제를 해결하며, 이를 대칭적(symmetric) 생성기라 부른다. 비형식적으로, 이러한 생성기는 가설과 타깃 사이의 대칭 차집합만을 기반으로 반례를 선택한다. 이 부류는 무작위 반례(Angluin and Dohrn, 2017; Bhatia, 2021; Chase, Freitag, and Reyzin, 2024)와 같은 자연스러운 메커니즘뿐 아니라, 주어진 복잡도 척도에 따라 가장 단순한 반례를 반환하는 생성기도 포괄한다. 이 프레임워크 내에서 완전 정보 피드백과 밴딧(bandit) 피드백 양쪽 설정 하에 동치 쿼리로부터의 학습을 연구한다. 두 설정 모두에서 학습 라운드 수에 대한 타이트한 경계를 도출하고, 향후 연구 방향을 제시한다. 우리의 분석은 대칭적 적대자에 대한 게임 이론적 관점과 적응적 가중치 기법, 그리고 미니맥스(minimax) 논증을 결합한다.

arXiv:2601.18747v2cs.IR

The $\mathbf{P}$-Completeness of Inverted Index Traversal: On the Complexity of Evaluating Boolean Query DAGs

역색인(inverted index) 위에서 중첩된 비단조 Boolean DAG 쿼리를 평가할 때, DAAT는 재수렴 논리에서 쿼리 복잡도가 지수적으로 폭발하고 TAAT는 부정(negation) 처리 시 전체 문서 집합 스캔(Universal Scan) 비용이 발생한다는 한계를 밝힌다. DAG 기반 검색 언어 ℒ_R의 평가 문제가 P-Complete임을 증명하고, Positive-Negative 이중 표현과 DAG 메모이제이션을 쓰는 ComputePN으로 평가 시간을 O(|Q|·|U_active|)로 제한해 두 병목을 피하는 실행 기반을 제시한다.

arXiv:2606.24074v1cs.CC

Token Complexity of Certifying Stochastic-Oracle Reliability

Wang~\cite{Wang2026} introduced the Stochastic-Oracle Turing Machine (SOTM) framework and defined token complexity as the minimum expected cost of interacting with a stochastic oracle needed to attain a specified solution quality for a task. This paper develops an analogous notion for certifying the reliability of a stochastic oracle on a given domain. Certification token complexity is the minimum expected token cost required, with controlled error probability, to distinguish oracles that meet a target reliability level from those that fall below a lower reliability threshold. We construct an SPRT-based certification SOTM that queries the oracle, computes binary correctness scores, and stops when the accumulated log-likelihood evidence crosses a decision threshold. The SOTM halts almost surely, satisfies the desired two-sided error guarantee over the reliability regions to be certified, and yields an explicit upper bound on certification token complexity in terms of the reliability thresholds, the error bound, and the expected per-turn token cost. We then establish a matching information-theoretic lower bound: even with adaptive queries, every error-bounded certification SOTM must incur the same leading-order expected token cost as the SPRT-based construction as the prescribed error bound tends to zero. Together, these bounds characterize the leading-order certification token complexity in the small-error regime.

arXiv:2606.13576v1cs.LG

시뮬레이터를 활용한 학습: 계산적으로 제한된 세계에서의 후회 없음

Learning with Simulators: No Regret in a Computationally Bounded World

데이터 분포를 근사하는 시뮬레이터에 접근할 수 있는 시뮬레이션 가능한 프로세스(simulatable processes) 프레임워크를 도입하여 강하게 의존적인 데이터에서도 VC 차원(VC dimension)에 기반한 학습 보장을 회복한다. 또한 시간 제한 콜모고로프 복잡도에 의해 후회(regret)가 제어되는 단일 알고리즘을 통해 다항식 시간 내에 샘플링 가능한 모든 프로세스에서 학습이 가능함을 보여준다.

arXiv:2606.12647v1cs.CC

AI 증강 컴퓨팅을 위한 토큰 복잡도 이론

Token Complexity Theory for AI-Augmented Computing

AI 증강 컴퓨팅에서 쿼리 및 응답 비용을 측정하기 위해 토큰 복잡도(token complexity)라는 형식적 자원 척도를 도입하고 AI-Oracle 튜링 기계 프레임워크 내에서 이론적 기초를 확립했습니다. 이를 통해 토큰 복잡도의 단조성, 볼록성 등의 성질을 증명하고 복잡도 경계의 구조를 규명했습니다.

arXiv:2606.11946v1cs.DB

뉴로-관계 프로그램: 구조화 데이터에 대한 쿼리와 신경 계산의 통합

Neuro-Relational Programs: Unifying Queries and Neural Computation over Structured Data

관계형 데이터베이스에 대한 심층 학습의 기존 접근법은 그래프 신경망(GNN)과 같은 신경 모델을 데이터베이스의 그래프 표현에 적용한다. 최근 접근법은 대신 데이터베이스를 직접 다루며, 튜플에 임베딩을 연관시키고 쿼리 메커니즘을 확장하여 임베딩과 관계형 내용을 함께 처리한다. 이러한 발전에 영감을 받아, 우리는 각 사실에 수치 벡터 임베딩이 부여된 관계형 데이터베이스를 위한 선언적 쿼리 언어인 뉴로-관계 프로그램(NRP)을 제안한다. NRP는 임베딩을 결합·집계·변환하는 연산으로 Datalog 스타일 규칙을 확장하여, 단일 형식 체계 안에서 관계형 추론과 학습 가능한 신경 구성요소를 교차한다. 이를 통해 관계형 데이터에 대한 신경 계산의 일반적 접근이 가능해지며, NRP는 학습 가능한 구성요소를 갖는 쿼리 계획이면서 동시에 관계 구조가 내장된 신경 아키텍처로도 읽을 수 있다. NRP의 자연스러운 구문적 단편은 기존 아키텍처와 쿼리 형식 체계를 특수 사례로 포괄한다. 0-원 NRP는 비적응적 쿼리 알고리즘에 대응하고, 단항 NRP는 GNN 스타일 메시지 패싱을 일반화하며 Deep Homomorphism Networks를 정확히 포착한다. 이 연결은 row-id를 갖는 데이터베이스 위의 frontier-guarded NRP까지 확장한다. 렐루-FFN 변환을 갖는 비제한 NRP의 표현력은 FOCQ로 특성화되는데, FOCQ는 실수 가중 구조 위에서 해석되는 계수를 포함한 일계논리의 확장이며, 순서가 있는 데이터베이스 위의 uniform TC$^0$와의 정확한 연결을 이끌어낸다. 이러한 결과를 종합하면 NRP는 관계형 데이터에 대한 쿼리와 신경 계산을 위한 포괄적인 선언적 프레임워크로 자리매김한다.

arXiv:2606.12320v1cs.AI

프로덕션 AI 에이전트의 런타임 거버넌스를 위한 5-평면 참조 아키텍처

A Five-Plane Reference Architecture for Runtime Governance of Production AI Agents

기존 보안 체계로는 제어하기 어려운 프로덕션 AI 에이전트의 워크플로 내 위험을 관리하기 위해, 추론 평면과 네 가지 시행 평면으로 구성된 5개 평면 분해 및 복합 보안 주체를 포함하는 런타임 거버넌스 참조 아키텍처를 제안합니다. 제안된 아키텍처는 마이크로초 단위의 판단 속도와 구조화된 감사 기능을 통해 다양한 위협을 방지할 수 있음을 참조 구현을 통해 입증했습니다.