PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10611v2cs.AI

에이전트 AI의 검증과 자기 개선: 기초 및 한계

Verification and Self-Improvement in Agentic AI: Foundations and Limits

A self-improving agent can find accepted solutions more often without expanding the tasks its verification interface can accept. We extend task-relative verification with explicit support and transcript interfaces to distinguish search gains from changes in accepted-task coverage. A stage's native reach contains tasks accepted with default support; its closure frontier contains tasks accepted with any support the declared interface permits. A semantic containment criterion identifies the authority or exposure condition that every verified escape must violate, while guard-transfer invariance prevents a change of representation from being counted as a capability expansion. An executable Boolean-program repair agent makes the distinction concrete: over 36,864 paired runs, counterexample feedback reduces verifier calls without changing coverage, whereas an enforced permission change admits a new target with a proof excluding every old-interface program. Exact and uniformly gapped randomized verification share this account; independent majority amplification improves reliability while preserving the accepted language. Separate adaptive-selection contracts state what is additionally required to interpret a proposed successor's score as evidence of deployment improvement. Classical hierarchy results and finite audits provide supporting boundaries. The framework specifies the evidence needed to establish improved search, wider accepted capability, and reliable successor selection.

arXiv:2610.02557v1cs.AI

민감한 토론을 수행하는 방법: AI 토론을 위한 인스턴스 최적 프로토콜

How to Have a Sensitive Debate: An Instance-Optimal Protocol for AI Debate

강력한 인공지능(AI) 시스템이 인지적으로 까다로운 다양한 작업 전반에서 인간 전문가의 능력을 도달하거나 때로는 능가함에 따라, 이러한 시스템에 대한 정확한 감독 및 관리 감독(supervision) 문제가 점점 더 시급해지고 있습니다. 유망한 접근법 중 하나는 두 개의 강력한 AI 간의 토론을 활용하여 복잡한 질문을 직접 쉽게 판단할 수 있는 더 단순한 주장들로 분해하는 AI 토론(AI debate)입니다. 토론에 관한 이론적 연구는 계산 복잡도 이론의 언어로 이러한 직관을 공식화해 왔으며, 여기서의 목표는 제한된 감독 하에서도 복잡한 문제에 대한 해답 판단의 정확성을 엄격하게 보장하는 프로토콜(즉, 토론 게임의 규칙)을 설계하는 것입니다. 구체적으로, 현재 최상의 프로토콜은 하위 문제로 충분히 안정적인 분해가 가능한 모든 문제에 대해 작동하는 것으로 입증되었습니다. 본 논문에서는 동일한 문제 군을 대상으로 이전 연구를 여러 방면에서 개선한 새로운 프로토콜을 설계합니다. 첫째, 정확성이 평균적(average-case) 의미가 아닌 최악의 경우(worst-case)에도 유지됩니다. 둘째, 정직하고 정확하게 행동하는 것이 슈타켈버그 균형(Stackelberg equilibrium)이 아니라 양쪽 토론자 모두에게 우월 전략 균형(dominant-strategy equilibrium)이 됩니다. 마지막으로, 블랙박스 하한(black-box lower bounds)을 증명하여 새로운 프로토콜이 인스턴스별 최적(instance-wise optimal)임을 보입니다. 즉, 이 문제 군에 대해 인간의 판단에 대한 블랙박스 질의만을 수행하면서 본 프로토콜보다 우수한 성능을 낼 수 있는 프로토콜은 존재하지 않습니다. 저자들은 안정적인 문제 분해라는 개념을 질의 복잡도(query complexity)의 분수 블록 민감도(fractional block sensitivity) 개념과 연관 지음으로써 이러한 결과를 도출합니다.

arXiv:2410.13548v3cs.LG

적응형 및 무지형 통계적 적대자의 동등성

Adaptive and oblivious statistical adversaries are equivalent

본 연구에서는 적대자(adversary)가 샘플을 오염시킬 때 학습(learning)과 같은 통계적 작업을 수행할 수 있는 능력에 관한 근본적인 문제를 해결합니다. 이러한 적대자는 가할 수 있는 오염의 유형과 샘플에 대해 보유한 지식 수준에 따라 정의됩니다. 후자는 오염을 선택할 때 샘플의 내용을 알고 있는 샘플-적응형(sample-adaptive) 적대자와, 그렇지 않은 샘플-무지형(sample-oblivious) 적대자를 구분합니다. 우리는 모든 오염 유형에 대해, 샘플-적응형 적대자와 샘플-무지형 적대자가 샘플 크기에서 다항 인자(polynomial factors) 차이에 불과할 정도로 동등함을 증명합니다. 이는 [BLMT22]에서 제기되고 [CHL+23]에서 추가로 탐구되었던 주요 미해결 문제를 해결합니다. 구체적으로, 샘플-무지형 적대자가 입력을 오염시키는 상황에서도 통계적 작업을 해결하는 임의의 알고리즘 $A$를 고려해 보겠습니다. 우리는 그에 대응하는 샘플-적응형 적대자가 입력을 오염시킬 때 동일한 작업을 해결하는 알고리즘 $A'$가 존재함을 보입니다. $A'$의 구성은 단순하며 $A$의 계산 효율성을 유지합니다. 즉, $A$가 사용하는 것보다 다항식만큼 더 큰 샘플을 요청한 다음 균등한 무작위 부분 샘플(subsample)에서 $A$를 실행하는 방식입니다.

arXiv:2607.22636v1cs.AI

선형 및 Guarded 존재 규칙 하에서의 경로 쿼리 응답

Answering Path Queries under Linear and Guarded Existential Rules

온톨로지 매개 쿼리 응답(ontology-mediated query answering)은 데이터베이스 인스턴스와 온톨로지로 구성된 지식 베이스에 대한 쿼리 응답 문제를 다룬다. 이 분야의 대부분의 연구는 연결 쿼리(conjunctive queries, CQ)에 초점을 맞추고 있지만, 탐색 쿼리(navigational queries)에 대한 관심이 점점 커지고 있다. 본 논문에서는 온톨로지가 guarded 존재 규칙의 집합으로 주어지는 지식 베이스에 대해 양방향 (연결) 정규 경로 쿼리((C)RPQ) 응답의 복잡도를 조사한다. 먼저 선형 존재 규칙의 부분 클래스를 고려하여, (C)RPQ 응답이 데이터 복잡도(data complexity)에서 NL-complete임을 보인다. 이는 온톨로지가 없는 일반 그래프 데이터베이스(plain graph database)에서 RPQ 응답의 데이터 복잡도와 일치한다. 결합 복잡도(combined complexity)에서는 일반적인 경우 두 작업 모두 ExpTime-complete이지만, 술어 치수(predicate arity)에 상한이 있으면 RPQ 및 CRPQ 응답은 각각 PTime-complete 및 PSpace-complete로 낮아진다. guarded 규칙에 대해서는 선형 경우로의 비자명한(non-trivial) 환원을 제공하며, 이를 통해 (C)RPQ 응답의 복잡도가 CQ와 동일함을, 즉 결합 복잡도에서 2ExpTime-complete(치수 상한(bounded-arity) 경우 ExpTime-complete), 데이터 복잡도에서 PTime-complete임을 보인다.

arXiv:2607.20811v1cs.LG

신경망 학습의 다항 시간 해결 가능성에 대한 새로운 복잡도 이론적 경계

New Complexity-Theoretic Frontiers of Tractability for Neural Network Training

현대 기계학습 연구에서 신경망이 근본적인 역할을 수행함에도 불구하고, 신경망을 최적으로 학습하는 문제의 계산 복잡도에 대한 이해는 가장 단순한 종류의 활성화 함수를 다루는 경우에도 여전히 불완전하다. 실제로 선형 및 렐루 활성화 함수 하에서 이 문제에 대해 점점 더 엄격한 하한을 확립하는 매우 최근의 결과들이 다수 있었지만, 새로운 다항 시간 내 해결 가능한 신경망 구조를 식별하는 데에는 그에 비해 진전이 적었다. 본 논문에서는 선형 및 렐루 활성화 신경망을 최적으로 학습하는 문제에 대한 새로운 알고리즘적 상한을 제시하여, 이러한 문제들의 다항 시간 해결 가능성 경계를 기존 최첨단을 넘어 확장한다. 특히 렐루 신경망의 경우, 은닉 뉴런의 출력 차수(out-degree)가 $1$인 모든 구조에 대한 다항 시간 해결 가능성을 확립함으로써 Arora, Basu, Mianjy 및 Mukherjee의 기존 알고리즘을 개선한다. 한편 선형 활성화 함수를 갖는 신경망에 대해서는, 새로운 데이터 처리량(data throughput) 조건을 만족하는 신경망 구조를 최적으로 학습할 수 있는 알고리즘을 통해 자명하지 않은 최초의 다항 시간 해결 가능 신경망 클래스를 식별한다.

arXiv:2607.14375v1cs.CC

무작위 매개변수 노이즈는 정확한 렐루 검증을 쉽게 만들지 않는다

Random Parameter Noise Does Not Make Exact ReLU Verification Easy

우리는 적대적 스무딩 모델에서 렐루 네트워크의 정확한 검증을 연구한다. 모든 네트워크 가중치와 바이어스는 가우시안 노이즈로 독립적으로 섭동되고, $[-2,2]$로 클리핑되며, 입력 비트 복잡도에 의해 결정되는 정확한 이진 소수(dyadic) 격자로 반올림된다. 우리는 표준 가정 $\mathrm{NP}\not\subseteq\mathrm{BPP}$ 하에서, 모든 기본 인스턴스에 대해 기대 실행 시간이 네트워크 크기, 비트 복잡도, 및 역 노이즈 수준에 대해 다항식인 건전하고 완전한 검증기가 존재하지 않음을 보인다. 이 결론은 이미 고정 노이즈 수준 $σ_\star=2^{-11}$에서, 단위 박스 위의 단일 은닉층 네트워크에 대해, 은닉층 fan-in이 최대 3이고 기본 계수가 $[-1,1]$에 있을 때 성립한다. 증명은 정확한 간격 임베딩과 정량적 견고성 논증을 결합한다. $m$개 절을 갖는 모든 E3SAT 공식 $Φ$에 대해, 절당 4개의 렐루를 사용하는 구성은 $\max_{x\in[0,1]^n} g_Φ(x)=(m-\operatorname{unsat}(Φ))/3$을 만족하며, 좌표별 임계값 반올림은 목적함수를 결코 감소시키지 않는다. 가중 매개변수 민감도 부등식과 가우시안 집중은 검증 간격이 $m$에 선형적으로 남아, 모든 계수의 집합적 섭동 이후에도 확률 최소 $1-e^{-m/8}$로 유지됨을 보인다. 증명에는 클리핑, 정확한 이진 소수 반올림, 출력층 섭동, 반올림된 가우시안 분포의 다항 비트 샘플링, 그리고 기대 스무딩 실행 시간에서 BPP 알고리즘으로의 변환이 포함된다. 계산 검증은 정확한 항등식을 시험하고, 광범위한 간격과 상수 간격의 서로 다른 스케일링을 보여준다. 이들은 복잡도 정리에 대한 증거라기보다 진단용이다. 이 결과는 명시된 절대 노이즈 모델에서 최악의 경우 기본 네트워크에 관한 것이지만, 매개변수 비퇴화(nondegeneracy)만으로는 정확한 검증에 대한 보편적인 스무딩-다항식 보장이 주어지지 않음을 보여준다.

arXiv:2607.04875v2cs.CC

저랭크 행렬 부호화 및 원소별 거듭제곱 행렬 분해의 복잡도에 관하여

On the Complexity of Low-Rank Matrix Signing and Entrywise Power Matrix Factorization

비음수 행렬 $X$, 분해 랭크 $r$, 그리고 양의 정수 $p$가 주어질 때, 원소별 거듭제곱 행렬 분해(EPMF)는 $X = |X_r|^{\circ p}$ (정확한 경우) 또는 $X \approx |X_r|^{\circ p}$ (근사 경우)를 만족하는 저랭크 행렬 $X_r$을 탐색하는 문제이며, 여기서 $(\cdot)^{\circ p}$는 원소별 지수를 나타낸다. EPMF는 모듈러스 모델($p=1$)과 원소별 제곱 분해($p=2$)를 특수 경우로 포함하며, 후자는 제곱근 랭크와 밀접하게 관련된다. 본 논문에서는 정확한 결정 문제와 Frobenius 노름 근사 문제의 계산 복잡도를 분석하고 완전한 복잡도 전경을 확립한다. 정확한 경우에서, EPMF는 주어진 행렬 $X$의 원소 부호를 뒤집어 랭크-$r$ 행렬을 얻는 조합론적 문제—본 논문에서 저랭크 행렬 부호화(LRMS) 문제라 칭함—와 동치임을 보인다. 먼저 LRMS, 그리고 이에 따라 정확한 EPMF가 강 NP-난해(strongly NP-hard)임을 보임으로써, 제곱근 랭크에 대한 약 NP-난해 결과(Math. Prog., 2015)를 개선한다. 이어서 $r$이 고정될 때 LRMS가 다항 시간에 풀림을 보인다. 더 나아가, 랭크 $r$이 입력의 일부인 경우, 일반 행렬에 대해 알고리즘이 매개변수 $r$에 대해 고정-매개변수 다루기 가능(FPT)함을 보이며, 실제로 수행 시간은 입력 행렬의 원소 수에 대해 고정-매개변수 선형임을 증명한다. Frobenius 노름을 오차 척도로 사용하는 근사 경우에서는, 가장 작은 비자명 경우인 $r=2$일 때조차 EPMF가 NP-난해임을 보인다.

arXiv:2606.12647v1cs.CC

AI 증강 컴퓨팅을 위한 토큰 복잡도 이론

Token Complexity Theory for AI-Augmented Computing

AI 증강 컴퓨팅에서 쿼리 및 응답 비용을 측정하기 위해 토큰 복잡도(token complexity)라는 형식적 자원 척도를 도입하고 AI-Oracle 튜링 기계 프레임워크 내에서 이론적 기초를 확립했습니다. 이를 통해 토큰 복잡도의 단조성, 볼록성 등의 성질을 증명하고 복잡도 경계의 구조를 규명했습니다.

arXiv:2606.12610v1cs.LG

AI 윈터의 수학: AI 윈터에서 패러다임 취약성의 수학적 분류

The Mathematics of AI Winters: The mathematical Taxonomy of Paradigm Fragility in AI Winter

AI 윈터의 원인을 공학적 실패뿐만 아니라 표현, 최적화, 계산 복잡도 등 수학적 장벽과 연결하여 패러다임 취약성을 분석한다. 초기 AI 패러다임의 수학적 병목 현상을 다양한 이론적 결과로 설명하고 이를 완화한 후기 발견과 연관시킨다.