자기 개선 에이전트는 검증 인터페이스가 수용할 수 있는 과제를 확장하지 않고도 수용되는 해를 더 자주 찾을 수 있다. 우리는 탐색에서의 이득과 수용 과제 범위의 변화를 구분하기 위해 과제 상대적 검증을 명시적인 지원 및 트랜스크립트 인터페이스로 확장한다. 한 단계의 고유 도달 범위는 기본 지원으로 수용되는 과제를 포함하고, 폐包 경계는 선언된 인터페이스가 허용하는 어떤 지원으로든 수용되는 과제를 포함한다. 의미적 봉쇄 기준은 검증된 모든 탈출이 위반해야 하는 권한 또는 노출 조건을 식별하며, 가드 전이 불변성은 표현의 변경이 능력 확장으로 계산되는 것을 방지한다. 실행 가능한 불리언 프로그램 수정 에이전트가 이 구분을 구체적으로 보여 준다. 36,864회의 쌍 실행에서 반례 피드백은 커버리지를 바꾸지 않고 검증기 호출 횟수를 줄이는 반면, 강제된 권한 변경은 기존 인터페이스의 모든 프로그램을 배제하는 증명과 함께 새로운 목표를 수용한다. 정확한 검증과 균일하게 간격이 있는 무작위 검증은 이 설명을 공유하며, 독립적인 다수결 증폭은 수용되는 언어를 보존하면서 신뢰성을 개선한다. 별도의 적응적 선택 계약은 제안된 후속 모델의 점수를 배포 개선의 증거로 해석하기 위해 추가로 무엇이 필요한지를 명시한다. 고전적 계층 결과와 유한 감사가 이를 뒷받침하는 경계를 제공한다. 이 프레임워크는 개선된 탐색, 더 넓은 수용 능력, 신뢰할 수 있는 후속 모델 선택을 입증하는 데 필요한 증거를 규정한다.
자기 개선 에이전트는 지원 교사를 언제 안전하게 제거할 수 있는지 알지 못한 채 절차를 습득할 수 있다. 본 연구는 진화하는 에이전트의 오라클 상대적 모델을 명시적인 습득 계약과 완료 계약으로 확장하여, 해결기를 학습하는 것과 그 독립성을 인증하는 것을 분리한다. 알려진 유한 차원 불리언 특징 언어에 대해, 질의 이력은 그 특징 생성공간에 속하는 답을 정확히 결정한다. 보호된(guarded) 프로토콜은 질의 제안자의 수정을 허용하면서도 최적의 교사 호출 횟수로 완료를 보장하며, 주어진 분리 명세는 유한 족으로의 확장을 제공한다. 그 결과로 얻는 해결기는 교사 없이 모든 입력에 답하며 기준 계산가능성 층에 머문다. 핵심적인 장애물은 완료 명세를 제공하는 문제에 있다. 즉, 이미 한 개의 특징 차원이나 두 개의 후보 기술에서조차, 임의의 전체 프로그램으로부터 유효한 생성공간이나 분리 명세를 균일하게 추출할 수 있는 기준 효과적 절차는 존재하지 않는다. 고전적인 상대 계산 및 극한 수정(limiting-revision) 결과는 실질적 개선에 상한을 부과하지 않으면서 이러한 주장들의 위치를 규정한다. 통제된 실험은 정확한 교사 제거와 저위험 중단을 구별하고, 더 강력한 탐욕 기준선에 대비하여 적응의 이점과 비용을 측정한다. 이 프레임워크는 역량을 습득하고, 인증하고, 배포하는 데 필요한 정보를 명시적으로 드러낸다.
Consider the scenario where multiple agents have to move in an optimal way through a network, each one towards their ending position while avoiding collisions. By optimal, we mean as fast as possible, which is evaluated by a measure known as the makespan of the proposed solution. This is the setting studied in the Multiagent Path Finding problem. In this work, we additionally provide the agents with a way to communicate with each other. Due to size constraints, it is reasonable to assume that the range of communication of each agent will be limited. What should be the trajectories of the agents to, additionally, maintain a backbone of communication? In this work, we study the Multiagent Path Finding with Communication Constraint problem under the parameterized complexity framework. Our main contribution is three exact algorithms that are efficient when considering particular structures for the input network. We provide such algorithms for the case when the communication range and the number of agents (the makespan resp.) are provided in the input and the network has a tree topology, or bounded maximum degree (has a tree-like topology, i.e., bounded treewidth resp.). We complement these results by showing that it is highly unlikely to construct efficient algorithms when considering the number of agents as part of the input, even if the makespan is $3$ and the communication range is $1$.
언어 모델은 스키마를 따르는 JSON이나 타입이 지정된 인자를 갖는 도구 호출과 같이 구조화된 출력을 요구받는 경우가 점점 더 많아지고 있습니다. 오토마톤(automaton)이라는 작은 기계는 형식을 깨뜨리는 토큰을 금지함으로써 이러한 형식을 강제합니다. 본 연구에서는 이 기계에 드문 특성이 있음을 관찰했습니다. 즉, 기계의 임의의 상태에서 각 토큰은 정확히 하나의 경로로만 이어진다는 점입니다. 임의의 두 점을 연결하는 경로가 소수에 불과한 그래프는 복잡도 이론의 고전적인 연구 대상이며, 본 논문의 이론적 결과는 이러한 그래프에 관한 미해결 문제를 해결합니다. 즉, 매우 적은 메모리만으로도 해당 그래프가 실제로 소수의 경로를 갖는지 검증하면서 두 점이 연결되어 있는지 판별할 수 있습니다. 구체적으로 이 문제는 ReachUL, LOGDCFL, C=L, SC2 복잡도 클래스에 속하며, Savitch 정리의 고전적 O(log2 n)보다 낮은 O(log2 n/ log log n) 공간만을 필요로 합니다. 증명 이면의 구성 방식들은 추론 엔진으로 구현됩니다. 형식이 강제하는 텍스트는 모델 실행 없이 작성되고, 마스크는 테이블 없이 GPU에서 재계산되며, 재귀적 형식은 작은 스택을 사용하고, 모든 출력은 토큰 제한 내에서 유효성을 유지하며, 독립적인 필드들은 병렬로 디코딩된 후 검증됩니다. 16 GB Apple M2 Pro 환경에서 Qwen3.5-2B 및 4B를 사용해 해당 하드웨어의 표준 구성인 llguidance 기반 MLX와 비교한 결과, 스키마 제약 추출은 동일한 답변을 내면서도 1.2~1.3배 더 빠르게 완료되었고, 문법(grammar) 용량은 최대 1.5 GB 대신 3 MB에 불과했으며, 기존 테이블 방식에서는 메모리가 부족했던 환경에서도 단일 서버에 16개의 문법을 탑재할 수 있었고, 16개의 도구 호출 에이전트는 2.5배 더 빠르게 작업을 마쳤습니다.
식별(Identification)은 샘플링된 데이터로부터 미지의 참(ground-truth) 모델의 매개변수를 복원하는 작업입니다. 참 모델이 아닌 다른 매개변수들이 동일한 출력 분포를 유도할 때, 데이터만으로는 참 모델을 복원하기에 충분한 정보를 제공하지 못하며, 이러한 모델을 식별 불가능(unidentifiable)하다고 부릅니다. 본 연구에서는 은닉 마르코프 모델(HMM)의 식별 가능성 문제를 다룹니다: 주어진 HMM은 식별 가능할까요? HMM 식별에 관한 기존 연구는 참 HMM이 식별될 수 있는 조건들을 제시합니다. 그러나 이러한 조건들 대부분은 필요조건이 아닌 충분조건이므로, 모델이 해당 조건을 만족하지 못할 경우 식별 가능성을 단정할 수 없습니다. 대신 우리는 계산적 관점을 취합니다: 주어진 HMM이 식별 가능한지 판별하는 건전하고 완전한(sound and complete) 알고리즘이 존재하는가, 존재한다면 이 결정 문제의 복잡도는 무엇인가? 우리는 문헌에 등장하는 결정적(deterministic), 제네릭(generic), 전역적(global), 국소적(local), 상태 순열 불변(state-permutation-invariant), 유한 알파벳(finite-alphabet) 식별 가능성을 포함한 다양한 식별 가능성 개념에서 발생하는 결정 문제들을 고려합니다. 우리는 한정 기호 교차(quantifier alternation) 계층 구조의 다양한 수준에서 실수 이론(theory of the reals)으로의 환원을 통해, 이 모든 문제들이 PSPACE 내에서 결정 가능함을 보입니다. 나아가 단순 매개변수화된 패밀리에 대해서도 결정적 변형 문제들이 이미 coETR-난해(따라서 coNP-난해)임을 보입니다.
최근 마르코프 게임(Markov game)에서의 상관균형(correlated equilibrium) 개념에 관한 연구가 급증하고 있다. 그러나 기존 결과들은 정규형 상관균형(normal-form correlated equilibria, NFCE)보다 약한 개념에 초점을 맞추고 있어, Papadimitriou와 Roughgarden의 선구적 연구(JACM'08)로까지 거슬러 올라가는, 그러한 균형을 계산하는 더 어려운 문제는 미해결로 남아 있다. 본 논문에서는 플레이어 수 $n$이 고정된 유한 구간(finite-horizon) 마르코프 게임에서 NFCE에 대한 최초의 효율적인 알고리즘을 제시한다. 구체적으로, 상태(state) 수가 $S$, 구간(horizon)이 $H$, 플레이어당 행동(action) 수가 최대 $A$일 때, 이 알고리즘은 $S(AH/ε)^{O(n)}$ 시간에 $ε$-NFCE를 계산한다. 이는 정규형(normal-form) 설정을 넘어서는 흥미로운 문제 범주에서 NFCE에 대해 $1/ε$ 및 게임 기술(description)에 대해 다항 시간(polynomial time)인 최초의 알고리즘이다. 더불어, 추천(recommendation)이 상태들 간에 독립적이라는 일반적인 가정 하에서, 우리는 다수 플레이어 게임이거나 정밀도가 지수적으로 작은 경우 PPAD-완전성(PPAD-completeness)—즉 내쉬 균형(Nash equilibrium)과의 계산적 동치성—을 보인다. 우리 접근법의 핵심 아이디어는 일련의 보조 단계 게임(auxiliary stage game)들에 대해 후방 귀납법(backward induction)을 수행하는 것이지만, 각 단계에서 상수 기댓값 상관균형(constant-expectation correlated equilibrium)을 계산한다는 차이가 있다. 이는 추천을 따를 때의 조건부 기대 보상(payoff)이 추천 내용과 독립적인, 상관균형의 자연스러운 세분화(refinement)이다. 실제로 우리의 환원(reduction)은 양방향으로 성립하여, 마르코프 게임에서 상수 기댓값 상관균형(constant-expectation CE)과 NFCE 사이의 동치성을 확립한다. 플레이어 수가 고정된 경우, 상수 기댓값 상관균형은 선형계획법(linear programming)과 적절한 이산화(discretization)를 결합하여 근사적으로 계산할 수 있음을 관찰한다. 반면, i) 다항행렬(polymatrix, 다수 플레이어) 게임에서는 상수 정밀도에서, ii) 2인 게임에서는 지수적으로 작은 정밀도에서 PPAD-hard임을 보인다. 후자의 결과는 랭크-2(rank-2) 2인 게임과의 예상치 못한 연관성에서 비롯된다.
본 연구에서는 시간 진화(time-evolution) 연산자에 접근할 수 있지만 그 역연산자에는 접근할 수 없는 환경에서 해밀토니안(Hamiltonian) 속성 테스팅의 하한(lower bound)을 규명합니다. 각 실험은 시간 진화 연산자를 여러 번 쿼리할 수 있으며, 해밀토니안 간 거리는 정규화된 프로베니우스 노름(normalized Frobenius norm)으로 측정됩니다. 이 모델(model)에서 해밀토니안이 $k$-국소($k$-local)인지 아니면 모든 $k$-국소 해밀토니안과 $\varepsilon$ 이상 떨어져 있는지를 테스트하려면 $Ω(1/\varepsilon^2)$의 총 진화 시간이 필요함을 보이며, 이는 Kallaugher와 Liang(TQC'25)의 상한과 일치합니다. 또한 미지의 해밀토니안이 목표 해밀토니안과 동일한지 아니면 이와 $\varepsilon$ 이상 떨어져 있는지를 테스트하는 데에도 $Ω(1/\varepsilon^2)$의 총 진화 시간이 필요함을 증명하여, Sinha와 Tong(2025)의 상한과 일치함을 보입니다. 이는 해밀토니안 학습 및 테스팅의 자연스러운 문제들에서 $1/\varepsilon$의 하이젠베르크 한계 스케일링(Heisenberg-limited scaling)을 배제하는 최초의 하한 결과입니다. 세 번째 결과로, 정밀도(precision) $\varepsilon$까지의 진폭 추정(amplitude estimation)에는 $Ω(1/\varepsilon^2)$의 총 시간 진화가 필요함을 보여 연속 시간 쿼리 모델에서 Tang과 Wright(QIP'26)의 결과를 재현합니다. 이 세 가지 결과는 모두 영 해밀토니안(zero Hamiltonian)과 적절히 선택된 무작위 해밀토니안 앙상블(ensemble)을 구별하는 난이도에서 비롯됩니다. 본 논문에서는 연속 시간 적대자 방법(continuous-time adversary method)을 순방향 해밀토니안 진화에 맞게 적용함으로써 이러한 난이도를 증명합니다.
최근 연구들은 계층적 구조를 가진 함수나 데이터를 조사하여 심층 학습(deep learning)의 성공 원인을 탐구하고 있습니다. 본 연구에서는 계층적 구조를 가진 함수의 학습 복잡도를 연구하기 위해, 독립적인 입력에 대한 트리 계층 구조를 갖는 함수의 노이즈 안정성을 연구합니다. 계층 구조 내의 각 함수가 선형 함수와 $\varepsilon$만큼 떨어져 있다면, 노이즈 안정성은 계층의 깊이에 따라 지수적으로 작아짐을 보입니다. 본 연구 결과는 불가지론적 학습(agnostic learning)에 즉각적으로 적용될 수 있습니다. 불리언(Boolean) 설정에서는 Dachman-Soled, Feldman, Tan, Wan, Wimmer (2014)의 결과를 활용하여, 계층적 함수에 기반한 클래스를 불가지론적으로 학습하는 데 대한 통계적 질의(Statistical Query, SQ) 초다항식 하한을 제공합니다. 또한 임계 사이트 퍼콜레이션(critical site percolation)의 횡단 사건 지시자(indicator)에 기반한 유사한 SQ 하한도 도출합니다. 이러한 횡단 사건은 본 논문에서 정의한 형식적인 계층 구조는 아니지만, 수리물리학에서 연구된 바와 같이 일부 계층적 특성을 갖추고 있습니다. Abbe, Bengio, Cornacchia, Kleinberg, Lotfi, Raghu, Zhang (2022)의 결과를 활용하여, 완전 연결 신경망에서 경사하강법(gradient descent)으로 계층적 함수를 학습할 때의 샘플 복잡도 하한을 도출합니다. 마지막으로 가우시안 설정에서는 Diakonikolas, Kane, Pittas, Zarifis (2021)의 결과를 활용하여 불가지론적 SQ 학습에 대한 초다항식 하한을 제공합니다.
강력한 인공지능(AI) 시스템이 인지적으로 까다로운 다양한 작업 전반에서 인간 전문가의 능력을 도달하거나 때로는 능가함에 따라, 이러한 시스템에 대한 정확한 감독 및 관리 감독(supervision) 문제가 점점 더 시급해지고 있습니다. 유망한 접근법 중 하나는 두 개의 강력한 AI 간의 토론을 활용하여 복잡한 질문을 직접 쉽게 판단할 수 있는 더 단순한 주장들로 분해하는 AI 토론(AI debate)입니다. 토론에 관한 이론적 연구는 계산 복잡도 이론의 언어로 이러한 직관을 공식화해 왔으며, 여기서의 목표는 제한된 감독 하에서도 복잡한 문제에 대한 해답 판단의 정확성을 엄격하게 보장하는 프로토콜(즉, 토론 게임의 규칙)을 설계하는 것입니다. 구체적으로, 현재 최상의 프로토콜은 하위 문제로 충분히 안정적인 분해가 가능한 모든 문제에 대해 작동하는 것으로 입증되었습니다. 본 논문에서는 동일한 문제 군을 대상으로 이전 연구를 여러 방면에서 개선한 새로운 프로토콜을 설계합니다. 첫째, 정확성이 평균적(average-case) 의미가 아닌 최악의 경우(worst-case)에도 유지됩니다. 둘째, 정직하고 정확하게 행동하는 것이 슈타켈버그 균형(Stackelberg equilibrium)이 아니라 양쪽 토론자 모두에게 우월 전략 균형(dominant-strategy equilibrium)이 됩니다. 마지막으로, 블랙박스 하한(black-box lower bounds)을 증명하여 새로운 프로토콜이 인스턴스별 최적(instance-wise optimal)임을 보입니다. 즉, 이 문제 군에 대해 인간의 판단에 대한 블랙박스 질의만을 수행하면서 본 프로토콜보다 우수한 성능을 낼 수 있는 프로토콜은 존재하지 않습니다. 저자들은 안정적인 문제 분해라는 개념을 질의 복잡도(query complexity)의 분수 블록 민감도(fractional block sensitivity) 개념과 연관 지음으로써 이러한 결과를 도출합니다.
고전 데이터 처리 및 머신러닝 분야에서 널리 적용 가능한 양자 우위(quantum advantage)를 입증하는 것은 오랜 기간 근본적인 미해결 문제였습니다. 본 연구에서는 폴리로그(polylogarithmic) 크기의 소형 양자 컴퓨터가 샘플을 실시간(on the fly)으로 처리함으로써 대규모 고전 데이터에 대한 대규모 분류(classification) 및 차원 축소를 수행할 수 있음을 증명합니다. 반면, 동일한 예측 성능을 달성하는 임의의 고전 컴퓨터는 기하급수적으로 더 큰 크기를 필요로 합니다. 나아가, 요구되는 크기보다는 작지만 기하급수적으로 큰 고전 컴퓨터라 하더라도 초다항식적(superpolynomially)으로 더 많은 샘플과 시간을 필요로 합니다. 저자들은 단일 세포 RNA 시퀀싱 및 영화 리뷰 감성 분석(sentiment analysis)을 포함한 실제 응용 분야에서 이러한 양자 우위의 증거를 제시하며, 60개 미만의 논리 큐비트로 크기를 4~6 자릿수(orders of magnitude) 감소시킬 수 있음을 입증합니다. 이러한 양자 우위는 무작위 고전 데이터 샘플만을 사용하여 양자 중첩 상태에서 고전 세계에 접근하는 알고리즘인 양자 오라클 스케칭(quantum oracle sketching)을 통해 가능해집니다. 고전적 그림자(classical shadows)와 결합된 본 알고리즘은 데이터 로딩 및 판독(readout) 병목 현상을 우회하여 대규모 고전 데이터로부터 간결한 고전 모델을 구축하며, 이는 해당 양자 컴퓨터보다 기하급수적으로 크지 않은 고전 컴퓨터로는 불가능함이 증명된 과제입니다. 이러한 양자 우위는 고전 컴퓨터에 무제한의 시간이 주어지거나 BPP = BQP인 경우에도 유지되며, 오직 양자역학의 정확성에만 의존합니다. 종합적으로, 본 연구 결과는 고전 데이터 기반 머신러닝이 양자 우위의 광범위하고 자연스러운 영역이자 복잡도 경계에서 양자역학을 검증하는 근본적인 테스트임을 확립합니다.
본 연구에서는 적대자(adversary)가 샘플을 오염시킬 때 학습(learning)과 같은 통계적 작업을 수행할 수 있는 능력에 관한 근본적인 문제를 해결합니다. 이러한 적대자는 가할 수 있는 오염의 유형과 샘플에 대해 보유한 지식 수준에 따라 정의됩니다. 후자는 오염을 선택할 때 샘플의 내용을 알고 있는 샘플-적응형(sample-adaptive) 적대자와, 그렇지 않은 샘플-무지형(sample-oblivious) 적대자를 구분합니다. 우리는 모든 오염 유형에 대해, 샘플-적응형 적대자와 샘플-무지형 적대자가 샘플 크기에서 다항 인자(polynomial factors) 차이에 불과할 정도로 동등함을 증명합니다. 이는 [BLMT22]에서 제기되고 [CHL+23]에서 추가로 탐구되었던 주요 미해결 문제를 해결합니다. 구체적으로, 샘플-무지형 적대자가 입력을 오염시키는 상황에서도 통계적 작업을 해결하는 임의의 알고리즘 $A$를 고려해 보겠습니다. 우리는 그에 대응하는 샘플-적응형 적대자가 입력을 오염시킬 때 동일한 작업을 해결하는 알고리즘 $A'$가 존재함을 보입니다. $A'$의 구성은 단순하며 $A$의 계산 효율성을 유지합니다. 즉, $A$가 사용하는 것보다 다항식만큼 더 큰 샘플을 요청한 다음 균등한 무작위 부분 샘플(subsample)에서 $A$를 실행하는 방식입니다.
의료 기록을 기반으로 한 직무 적합성 평가나 비밀 구조로부터 신약 후보 물질의 특성을 예측하는 것과 같이, 기밀 데이터로부터 출력을 생성하는 AI 시스템이 점점 더 많아지고 있습니다. 기본 데이터를 공개하지 않으면서 이러한 출력이 올바른지 검증하는 것은 중요합니다. 최근 일련의 연구에서는 정답 여부가 인간의 판단, 물리적 실험, 웹과 같은 오라클(oracle)에 의존할 수 있는 오라클 보조 계산(oracle-aided computation)에 대해 대화형 증명(interactive proofs) 및 토론(debate)을 통한 AI 출력 검증을 연구하고 있습니다. 이러한 연구들은 계산보다 훨씬 빠르게 실행되는 검증자(verifier)에 의한 검증에 초점을 맞추고 있습니다. 그러나 일반적인 오라클 보조 계산에서는 이러한 효율적인 검증이 불가능하므로, 기존 연구들은 추가적인 가정을 기반으로 합니다. 우리는 그 대신 프라이버시에 초점을 맞춥니다. 즉, 검증자가 계산에 대한 다항 시간(polynomial time) 내에 실행되도록 허용하면서, 오라클 보조 계산을 위한 대화형 논증(interactive arguments)이 영지식(zero knowledge)이 될 수 있는지, 그리하여 검증자가 출력의 정확성 외에는 기밀 데이터에 대해 아무것도 알 수 없도록 할 수 있는지 묻습니다. 우리는 일반적으로는 이것이 불가능하다는 것을 증명합니다. 랜덤 오라클 모델(random oracle model)에서는 증명자(prover)와 검증자 모두가 계산 자체보다 훨씬 오래 실행되도록 허용되더라도, 모든 오라클 보조 계산에 대한 영지식 증명(zero-knowledge proofs)이 존재하지 않습니다. 이러한 불가능성은 확장 가능한 감독(scalable oversight)의 대표적 모델인 토론(debate)으로도 확장됩니다. 긍정적인 측면으로, 오라클이 각 답변에 암호학적 서명을 첨부하는 경우 충돌 저항성 해시 함수(collision-resistant hash functions)만을 가정하여 효율적인 증명자와 검증자를 통해 모든 오라클 보조 계산을 영지식으로 검증할 수 있음을 보입니다. 프라이버시를 넘어, 이는 토론에서처럼 정직한 상대방에게 의존하지도 않고, 기존 단일 증명자 프로토콜에서처럼 계산의 강건성(robustness)에 의존하지도 않는 확장 가능한 감독을 위한 대안적 접근 방식을 제공합니다.
엣지 가속기에 조기 종료 신경망(Early-Exiting Neural Networks, EENN)을 배포하려면 네트워크 아키텍처뿐만 아니라 하드웨어 배포 최적화도 함께 이루어져야 합니다. 조기 종료(exit) 구성, 양자화(quantization), 하드웨어 워크로드 매핑은 단순하지 않은 방식으로 상호작용하며 메모리 트래픽, 가속기 활용도, 궁극적으로는 에너지-지연 시간 트레이드오프에 영향을 미칩니다. 본 연구에서는 단일화된 NAS(Neural Architecture Search) 프로세스 내에서 조기 종료 구성, 양자화 인식 학습(quantization-aware training), 멀티코어 하드웨어 매핑을 공동으로 최적화하는 EENN용 하드웨어 인식 코디자인 프레임워크를 제시합니다. 분석적 설계 공간 탐험(exploration)을 활용하는 이 프레임워크는 탐색 과정에서 정확한 지연 시간 및 에너지 추정치를 제공하는 동시에 각 후보 아키텍처에 대한 효율적인 워크로드 매핑을 식별합니다. 나아가 EENN 배포를 예측 정확도, 에너지-지연 시간 곱(energy-latency product), 조기 종료 오버헤드, 동적 추론(inference) 효율성의 균형을 맞추는 제약 조건 다목적 최적화 문제로 공식화합니다. CIFAR-10에 대한 실험 결과에 따르면 제안된 프레임워크는 8비트 양자화 환경에서 정적 베이스라인 대비 에너지-지연 시간 곱을 50% 이상 절감하는 것으로 나타났습니다. 이러한 결과는 이종 엣지 가속기에서 동적 추론의 완전한 효율성 잠재력을 실현하기 위해 아키텍처와 배포를 공동 최적화하는 것이 필수적임을 입증합니다.
우리는 재귀적 자기 개선이 일어나는 부류인 튜링 완전(Turing-complete) 자기 수정 시스템에 대해, 고정된 시스템 자체와 그 시스템의 자기 수정 과정 전반 모두에서 알고리즘적 안전성 검증의 수학적 한계를 규명한다. 정적으로는 건전성(sound), 완전성(complete), 다루기 쉬움(tractable)을 모두 갖춘 검증기가 존재하지 않는다. 무한 도메인에서는 라이스(Rice)의 정리와 괴델(Gödel)의 정리에 의해, 모든 유한 구성에 대해서는 트라크텐브로트(Trakhtenbrot)의 정리에 의해, 그리고 간결하게 기술된 유한 환경에서는 적대자(adversary)에 대해 정책을 검증하는 문제가 coNP-완전이고 정책을 합성하는 문제가 PSPACE-완전이기 때문에 그러하다. 동적으로는 한 단계의 자기 수정을 코드에 대한 계산 가능한 변환으로 모델링하고, 안전성 속성이 그 변환 이후에도 유지되는지를 묻는다. 변환이 행동에만 의존한다면 이는 한 단계 위로 올라간 라이스의 정리에 해당한다. 자기 수정이 그러하듯 변환이 코드를 읽는다면 이 문제는 더 이상 의미론적이지 않지만, 행동이 동일한 프로그램들의 부류 내부에서도 동일한 s-m-n 환원이 성립하여 정지 문제의 차수(halting degree)를 그대로 물려받는다. 한 단계는 결코 해당 속성 자체보다 어렵지 않으며, 전체 궤적을 따라 속성이 지속되는지는 $\Pi^0_2$-완전일 수 있다. 전체 알고리즘(total algorithm)에 의한 인증은 표현력이 제한된 변환에 대해서만 가능하며, 단지 변화를 멈추는 시스템에 대해서만 가능한 것이 아니다. 감독자(supervisor)를 아무리 겹겹이 쌓아도 도움이 되지 않으며, 모든 전체 감독자는 결정 불가능한 시스템 집합에서 오류를 범한다. 효과적으로 점별(pointwise)인 속성에 대해서는, 유한한 행동 증거를 바탕으로 인증하는 모든 충실한(faithful) 유계 방식(bounded scheme)이, 속성이 위반되는 동안에도 모든 단계에서 인증되는 진화 궤적을 허용한다. 남는 것은 정확한 결과이다. 위반 시 경보를 울리는 모니터는 위반을 반결정(semidecide)하며, 고정된 기준(frozen reference)과의 비교는 전체 이론을 그대로 유지한다.
양자 신호 처리(Quantum Signal Processing, QSP)는 단변량 다항식을 생성하고 근사하는 강력한 양자 프레임워크이다. 그러나 QSP는 회로 깊이 병목과 실현 가능한 다항식 클래스에 대한 패리티 제약으로 종종 제한된다. 본 연구에서는 중심 회전 연산자에 가중치 함수를 부여하는 QSP의 확장인 가중 양자 신호 처리(Weighted Quantum Signal Processing, WQSP)를 제안한다. 이 정식화는 QSP에 대한 더 깊은 이해를 제공하며, QSP는 단위 가중치를 갖는 WQSP의 특수한 경우로 나타난다. 가중치의 선택은 WQSP 회로의 구조와 표현 능력을 결정한다. 가중치가 1보다 큰 자연수일 때 WQSP는 QSP의 가지치기(pruned) 버전으로 환원되어, 표준 프레임워크의 매개변수 중복을 드러낸다. 정수 가중치를 적절히 선택하면 WQSP는 근사 품질을 유지하면서 임의의 유계 단변량 다항식을 실현하는 데 필요한 매개변수 수를 선형에서 지수적으로 줄일 수 있다. 일반적인 가중치에 대해서는 대응하는 근사 오차 상한을 확립하고, 많은 경우 근사가 정확(exact)함을 보인다. WQSP를 다항식 생성이 선형계의 해로 정식화되는 결정론적 관점과, WQSP가 구조화되고 표현력 있는 양자 학습 모델로 작용하는 양자 기계 학습 관점 모두에서 분석한다. 또한 이 학습 프레임워크를 활용해 다변량 함수 근사를 위한 Kolmogorov-Arnold Networks에서 학습 가능한 활성화 함수를 매개변수화한다. 결과는 WQSP가 임의의 단변량 다항식을 실현하는 데 있어 기존 QSP보다 훨씬 적은 학습 가능 매개변수를 요구하면서도 compact하고 유연하며 이론적으로 정당화된 프레임워크를 제공함을 보여준다. 이는 표현력 있고 매개변수 효율적인 신경망 구조를 만들어 내고, 양자 강화 기계 학습을 위한 확장 가능한 기본 원소(primitive)로서 WQSP의 잠재력을 부각한다.
우리는 지정된 시간 및 공간 복잡도를 가진 코드를 이해하고 생성하는 생성형 언어 모델의 역량을 평가하기 위해 설계된 새로운 코딩 벤치마크(benchmark)인 BigO(Bench)를 소개한다. 이 벤치마크는 계산 복잡도(computational complexity)에 제약을 받는 코드를 이해하고 작성하는 모델의 능력을 간과해 온 기존 평가의 한계를 해결한다. BigO(Bench)는 인간 또는 LLM이 생성한 솔루션을 포함하여 모든 Python 함수의 알고리즘 복잡도를 프로파일링(profiling) 측정값으로부터 추론하는 도구를 포함한다. 또한 BigO(Bench)는 복잡도 프레임워크를 통해 추론된 (합성) 시간 및 공간 복잡도 레이블이 주석으로 추가된 Code Contests 기반의 3,105개 코딩 문제와 1,190,250개 솔루션 세트를 포함하며, 광범위한 입력 크기 집합에 대한 해당 실행 시간 및 메모리 사용량 값도 제공한다. 우리는 이 벤치마크에서 여러 최신 언어 모델을 평가한 결과를 제시하고, 복잡도 요구사항을 처리하는 데 있어 이들 모델의 강점과 약점을 조명한다. 특히 토큰(token) 공간 추론 모델은 코드 생성에서는 독보적이지만 복잡도 이해에서는 그렇지 못하며, 이는 학습(training) 시점에 보상(reward)이 주어지지 않은 작업에는 잘 일반화되지 않을 수 있음을 시사한다.
(성긴) 상관 균형((coarse) correlated equilibrium, CE)에서 플레이어가 고정된 행동을 고수함으로써 추천으로부터 얻는 보수(payoff)와 동일한 수준을 달성할 수 있을 때, 이를 정보 가치 없는(information-value-free, IVF) 균형이라고 합니다. 알고리즘 담합(algorithmic collusion)을 규제하는 문제에서 동기를 얻은 이 균형 정제(refinement) 개념은 Hartline, Wang, Zhang [EC'26]에 의해 도입되었으며, 명시적으로 표현된 정규형 게임(normal-form game)에서 다항 시간 내에 계산될 수 있음이 밝혀졌습니다. 본 논문에서는 다수의 플레이어 또는 지수적으로 많은 순수 전략을 특징으로 하여 보다 현실적인 전략적 상호작용을 모델링하는 간결한 게임(succinct game)에서 IVF(C)CE의 복잡도를 조사합니다. 먼저 다인 폴리매트릭스 게임(polymatrix game) 또는 2인 베이즈 게임(Bayesian game)에서 근사가 상수인 경우에도 정보 가치 없는 CE를 계산하는 것이 PPAD-완전(PPAD-complete)임을 보입니다. 또한 무조건적인 지수적 질의 하한(query lower bound)을 증명합니다. 우리의 결과는 중앙 집중형 모델에서조차 IVFCE 계산이 다루기 힘들며(intractable), 효율적인 학습 역학(learning dynamics)의 존재 가능성을 배제함을 입증합니다. 이는 특정 부류의 학습 알고리즘만을 다루었던 Hartline, Wang, Zhang의 불가능성 결과를 크게 강화하며, 최근의 알고리즘 담합 규제에 대한 강력한 계산적 비판을 제공합니다. 이러한 난해성 결과를 우회하기 위해 정보 가치 없는 CCE의 복잡도를 조사합니다. 후회 일치(regret matching)나 FTRL과 같은 특정 무후회(no-regret) 알고리즘은 이 문제에 대해 완전 다항 시간 근사 스킴(FPTAS)을 제공합니다. 근사가 지수적으로 작을 때의 복잡도는 미묘한 양상을 보입니다. 한편으로는 무후회 역학을 활용하여 $\text{CLS} = \text{PPAD} \cap \text{PLS}$에 속함을 규명합니다. 다른 한편으로는 이것이 적어도 P-행렬 선형 상보성 문제(P-matrix linear complementarity problem)만큼 어렵고, 따라서 단순 확률 게임(simple stochastic game)만큼 어렵다는 점을 보여줍니다. 이는 중대한 돌파구가 없는 한 IVFCCE조차 다항 시간 알고리즘을 허용할 가능성이 낮음을 보여줍니다.
실세계 응용에서 인공지능(AI)이 널리 도입되면서, 특히 중요(critical) 응용에서 그 신뢰성에 대한 우려가 크게 제기되었다. 설명 가능한 AI(eXplainable AI, XAI) 분야는 AI 시스템이 내린 결정에 대해 사용자에게 설명을 제공하는 것을 목표로 등장했다. 문헌에는 부울 분류기(boolean classifier)에 대한 여러 설명이 소개되어 있으며, 가설추론(abductive) 설명과 대조(contrastive) 설명을 포함해 각각 분류기 결정에 대한 서로 다른 통찰을 제공한다. 그러나 일반적으로 부울 분류기의 한 결정에 대한 설명을 계산하는 것은 어려운 문제이다. 이러한 복잡성을 다루는 한 방법은 분류기의 컴파일된(compiled) 표현에 의존하여 각 설명을 효율적으로 계산할 수 있게 하는 것이다. 불행히도 본 논문에서는 지식 컴파일(knowledge compilation) 지도에서 가장 다루기 쉬운(tractable) 부분집합 중 하나인 순서화 이진 결정 다이어그램(Ordered Binary Decision Diagrams, OBDD)에 대해서도 여러 클래스의 가설추론 설명을 계산하는 것이 여전히 어렵다는 것을 증명한다. 이러한 클래스에는 더 짧은 가설추론 설명이나 설명 대상자(explainee)의 선호를 반영한 가설추론 설명이 포함된다. 컴파일된 표현을 활용하는 이점을 되찾기 위해, 분류기의 듀얼-레일 인코딩(dual-rail encoding)을 적절히 표현하면 이러한 클래스의 설명을 효율적으로 계산할 수 있음을 보인다.
렐루(ReLU) 활성화 함수를 사용하는 신경망은 머신러닝에서 널리 사용되는 모델입니다. 따라서 이러한 신경망이 계산하는 함수의 특성을 깊이 이해하는 것은 중요합니다. 최근에는 이러한 특성을 판별하는 (매개변수화된) 계산 복잡도에 대한 관심이 높아지고 있습니다. 본 연구에서는 신경망 검증과 관련된 여러 문제의 매개변수화된 복잡도에 대해 몇 가지 공백을 메우고 Froese 등이 제기한 공개 문제[COLT '25]를 해결합니다. 구체적으로, 모든 $\ell\ge 2$에 대해 $\ell$-층 렐루 신경망이 계산하는 함수 $f:\mathbb{R}^d\to\mathbb{R}$의 양수성(positivity, 나아가 전사성(surjectivity))을 판별하는 문제는 입력 차원 $d$로 매개변수화되었을 때 W[$\ell-1$]-난해(W[$\ell-1$]-hard)임을 증명합니다. $\ell=2$인 경우는 조노토프 비포함(zonotope non-containment, 계산기하학, 제어 이론, 로보틱스에서 독자적인 관심을 갖는 문제) 문제가 주변 차원(ambient dimension) $d$에 대해 W[1]-난해임을 의미합니다. 또한, 임의의 곱셈 계수 내에서 최댓값을 근사하는 문제와 $p\in(0,\infty]$에 대한 $L_p$-립시츠 상수(Lipschitz constant)를 계산하는 문제가 $\ell$-층 신경망에서 $d$에 대해 NP-난해이며 W[$\ell-1$]-난해임을 보입니다. $\ell\ge 3$의 경우, $L_p$-립시츠 상수를 근사하는 것은 NP-난해이자 W[$\ell-2$]-난해입니다. 나아가 상수 $d$에 대해 위의 문제들이 $\ell$에 대해 (모든 $t\ge 1$에 대하여) NP-난해이자 W[$t$]-난해임을 보입니다. 특히, 우리의 난해성 결과는 이러한 기본 문제들에 대해 $n^{(\ell-1) d}\cdot\operatorname{poly}(N)$ 시간에 실행되는 단순 열거 기반 방법들이 지수 시간 가설(Exponential Time Hypothesis) 하에서 모두 본질적으로 최적임을 시사합니다.
단일 셀프 어텐션(self-attention) 층은 무엇을 계산할 수 있는가? 본 논문은 헤드 복잡도(head complexity), 즉 1층 어텐션 전용 모델에서 어떤 함수를 계산하는 데 필요한 어텐션 헤드의 최소 개수를 연구한다. 우리는 이 척도에 대한 정확한 계층 구조를 확립한다: $k$개의 헤드는 $k$비트 패리티(parity)를 계산할 수 있지만 $(k+1)$비트 패리티는 계산할 수 없다. 이 하한은 트랜스포머가 활용할 수 있는 두 자원에 대해 무조건적(unconditional)이다. 즉, 임베딩 차원과 수치 정밀도가 무한한 경우에도 성립한다. 증명은 교대합 장애물(alternating-sum obstruction)에 기반한다. 소프트맥스 분모를 소거한 뒤 얻어지는 결정 다항식의 모든 단항식은 $k+1$개의 입력 비트 중 적어도 하나를 포함하지 않으며, 이로 인해 패리티와의 상관관계가 0이 된다. 동일한 장애물은 잘 연구된 멀티홉 유도 헤드(induction-head) 과제를 포함한 관련 과제들에 대해서도 하한을 도출한다. 또한 임베딩 차원과 수치 정밀도에 대한 압축성(compactness) 한계도 확립한다. 구체적으로, 압축성 정리는 계산 가능한 모든 함수가 과제의 이산적 데이터, 즉 헤드 수, 알파벳 크기, 길이로 제한되는 임베딩 차원과 정밀도만으로 계산될 수 있음을 보인다. 따라서 잠재적으로 무한한 차원이나 정밀도는 헤드를 대체할 수 없음이 증명된다. 마지막으로, 일반 이진 함수에 대해 거의 일치하는 보편적 한계를 도출한다: 다중선형 전개의 단항식당 헤드 하나를 사용하면 $2^n$개의 헤드로 모든 $n$비트 이진 함수를 계산할 수 있으며, 계수 논증(counting argument)에 따르면 거의 모든 이러한 함수는 $Ω(2^n/n^2)$개의 헤드를 필요로 한다. 이 하한은 차원과 정밀도가 무한한 경우에도 상한과 $\operatorname{poly}(n)$ 배 이내로 일치한다. 이러한 결과들을 종합하면, 이 모델에서 불리언 계산에 필요한 헤드 요구량이 규명된다.