우리는 $d$차원 단위 hypercube의 compact convex down-closed 부분집합 위에서, 음이 아닌(nonnegative) 비단조 DR-준모듈 함수의 온라인 최대화를 연구한다. 대응하는 meta-solvability 가정 하에서 알려진 최고의 구성적(constructive) 오프라인 근사 계수는 $0.401$이며, 비교 가능한 적대적(adversarial) 온라인 보장은 $1/e$에 머물러 있었다. 우리는 이 계수가 온라인에서도 달성 가능함을 보인다. 사후 결정(post-decision) 완전 정보(full-information) 값 오라클(value-oracle) 모델에서, 오라클 피드백이 조건부 비편향(conditionally unbiased)이고 유계(bounded)일 때 우리 알고리즘은 $0.401$ 계수와 함께 sublinear 근사 regret을 달성한다. 온라인 알고리즘은 변하는 목적함수에 대해 오프라인 구성을 그대로 실행하지 않는다. 대신, 오프라인의 목적함수 의존 box step을 필요한 잔차(residual) 항들을 누적으로 제어하는 가중 온라인 learner로 대체한다. 정확한 비대칭 균형(asymmetric balance) 정리가 적대적 변화에도 불구하고 오프라인 계수를 보존한다. 직접 구현은 $O(T^{3/4})$ regret을 갖고 라운드당 $O(dT^{1/4})$번의 오라클 호출을 사용한다. 더 일반적으로, 모든 $\delta\in[0,1/4]$에 대해 배치(batching)는 라운드당 $O(T^\delta)$번의 호출과 $O(T^{4/5-\delta/5})$ regret을 주며, 호출 1회 $O(T^{4/5})$의 극단점을 포함한다. positive-anchor 조건 하에서, randomized blocking은 $O(T^{5/6})$ one-point bandit regret으로 $0.401$ 계수를 유지한다.
깊이, 유한 정밀도, 상태 차원, 사고의 연쇄(CoT)가 다층 상태공간 모델(SSM)의 표현력에 미치는 영향을 연구한다. 순차적 정보 전파를 위한 표준 벤치마크인 명시적 테이블 $K$-함수 합성(explicit-table $K$-function-composition) 문제에 대해, $(L+3)$-함수 합성을 푸는 임의의 $L$-층 SSM은 $d^2p=Ω(N/L^3)$를 만족해야 함을 증명한다. 여기서 $d$는 상태 차원, $p$는 스칼라당 정밀도이다. 반대로 $K$-함수 합성은 $d=1$, $p=Θ(\log N)$인 $(K+1)$-층 일반화 SSM으로 정확히 풀 수 있다. 이는 해당 형식적 문제군에 대한 최악의 경우 깊이 계층(depth hierarchy)을 제공한다. 이어 입력 후 추론(post-input reasoning)—모든 사고 토큰이 입력 이후에 생성되는 경우—과 입력 교차 추론(input-interleaved reasoning)—입력 스트림을 읽는 동안 사고 토큰을 삽입할 수 있는 경우—을 구분한다. 입력 후 추론은 통신 기반 하한 파이프라인을 우회하지 못하는 반면, 입력 교차 추론은 지속 메모리(persistent memory) 수준에서 일반적 결정론적 일패스 스트리밍 알고리즘과의 양방향 시뮬레이션을 허용한다. 마지막으로 기본 affine-state 모델에서 정확한 단계 보존(step-preserving) 시뮬레이션 하에서는 너비(width)와 정밀도가 상호 대체 불가능하지만, 입력 교차 추론이 허용되면 스트리밍 메모리 특성화(streaming-memory characterization)를 통해 상호 대체 가능해진다.
전통적인 지도 학습 모델에서 학습자의 목표는—$\mathbb{R}^d \times \{\pm 1\}$ 위의 임의의 결합 분포로부터 주어진 예시에 대해—어떤 클래스에 속한 가장 잘 맞는 개념(concept)에 $ε$ 이내로 경쟁력 있는 가설을 출력하는 것이다. 단순한 개념 클래스조차 학습하기 어렵다는 강한 난이도 결과를 피하기 위해, 우리는 학습자가 작은 무작위 가우시안 perturbation에 견고한 최적 분류기와만 경쟁하도록 요구하는 스무딩 분석(smoothed-analysis) 프레임워크를 도입한다. 이 미묘한 변화를 통해 (1) 저차원 부분공간에 의존하는(일명 multi-index model) (2) 유계 가우시안 표면적(bounded Gaussian surface area)을 갖는 모든 개념에 대해 폭넓은 학습 결과를 제시할 수 있다. 이 클래스는 반공간(halfspace)의 함수와 (저차원) 볼록 집합을 포함하며, 후자는 비스무딩 설정에서는 가우시안과 같이 highly structured distribution에 대해서만 학습 가능한 것으로 알려져 있었다. 우리가 정의한 스무딩 비지도적 학습(smoothed agnostic learning)은 인스턴스 분포 $D$와 최적 분류기가 임의로 결합(coupled)될 수 있는 경우(비지도적 학습 및 $σ= 0$에 해당)와 완전히 분리(decoupled)된 경우($σ= \infty$) 사이를 보간한다. 이러한 분리를 통해 복잡도 이론적 원시 연산(complexity-theoretic primitives)을 인코딩할 수 있는 최악의 개념을 피할 수 있다. 놀랍게도 우리 분석은 마진(margin)을 이용한 학습과 같은 전통적인 비스무딩 프레임워크에도 새로운 결과를 제공한다. 특히 마진 매개변수 $γ$에 대해 $k^{\mathrm{poly}(\frac{\log k}{εγ}) }$ 시간에 $k$개 반공간의 교집합을 비지도적으로 학습하는 최초의 알고리즘을 얻는다. 우리 연구 이전에는 알려진 최선의 실행 시간이 $k$에 대해 지수적이었다(Arriaga and Vempala, FOCS' 99).
본 논문의 동기는 기계학습에서 사용되는 확률 모델에 내재된 트레이드오프를 조사하는 것이다. 모델은 종종 조건부 확률의 형태로 예측을 수행하는 데 사용된다. 그러나 조건부 분포 p(x|y)와 p(y|x)의 한 쌍이 어떤 결합 분포 p(x,y)와도 호환되지 않을 수 있다. 이러한 두 조건부가 주어졌을 때 호환 가능한 결합이 존재하는지 판별하는 문제를 호환성 문제(compatibility problem)라 한다. 이산 확률변수의 경우, 조건부가 확률 테이블로 인코딩되면 호환성 문제에는 알려진 해법이 있으며 계산적으로 다루기 쉽다(tractable)다. 본 논문에서는 조건부 분포를 산술 회로(arithmetic circuits)로 인코딩하는 문제의 간결(succinct) 버전을 형식화하고 연구한다. 이는 신경망 모델을 포함하여 고차원 설정에서의 확률 모델링 실용 응용에 해당한다. 우리는 조건부의 간결한 회로 표현에 대해 호환성 문제가 다루기 어렵다(intractable)는 것을 보인다. 모든 확률이 0이 아닌 경우 문제는 co-NP-complete이다. 확률이 0일 수 있는 경우, 여러 호환성 개념이 구별될 수 있음을 보이는 예를 제시하고, 문제의 여러 버전이 PSPACE-complete임을 증명한다. 더 나아가, 다항식 계층(polynomial hierarchy)이 붕괴하지 않는다고 가정하면, 결합을 간결하게 표현할 수 없는 호환 가능한 간결 조건부가 존재함을 보인다. 확률 모델링 및 기계학습에 대한 이러한 결과의 함의를 논의한다.
립시츠 상수(Lipschitz constant)는 입력의 작은 섭동에 대한 신경망의 민감도를 정량화하는 표준적인 방법이지만, 얕은 ReLU 네트워크에 대해서조차 이를 계산하는 것은 어렵다. 본 연구에서는 음이 아닌 출력 가중치로 볼록성을 강제하는 제한된 아키텍처인 2층 입력 볼록 신경망(input-convex neural network, ICNN)에 대해 이 문제를 연구한다. 이러한 네트워크의 $L_p$-립시츠 상수를 계산하는 것은 조노토프(zonotope) 위에서 쌍대 노름(dual norm)을 최대화하는 것과 동치이다. 조노토프 위의 $L_1$-노름 및 $L_\infty$-노름 최대화는 각각 고정 매개변수 알고리즘과 다항 시간 알고리즘이 존재하지만, 나머지 $L_p$-노름의 매개변수화된 복잡도는 미해결 문제였다. 본 논문은 모든 고정된 $p\in (1,\infty)\cap \mathbb{Q}$에 대해, $\mathbb{R}^d$의 조노토프 위에서 $L_p$-노름을 최대화하는 문제가 차원 $d$에 대해 W[1]-난해(W[1]-hard)임을 증명한다. 더 나아가, 본 논문의 난해성 결과는 지수 시간 가설(Exponential Time Hypothesis) 하에서 이 문제에 대해 전수 탐색(brute-force enumeration) 알고리즘이 본질적으로 최적임을 함의한다. 쌍대성에 의해, 2층 ReLU ICNN의 $L_p$-립시츠 상수를 계산하는 문제에도 동일한 난해성 결과가 성립한다. 증명은 먼저 $L_2$-노름에 대한 결과를 확립한 뒤, 적절한 테일러 근사(Taylor approximation)를 사용하여 그 구성을 임의의 고정된 $p\in (1,\infty)\cap\mathbb{Q}$로 확장한다. 이러한 결과는 조노토프 노름 최대화 및 2층 ICNN 립시츠 상수의 매개변수화된 복잡도 지위에 관한 해당 문제들을 해결한다. 본 논문은 COLT'25에서 제기된 미해결 문제를 해결한다. 동일한 문제를 해결한 독립적인 동시대 논문이 여러 편 있다. 본 논문은 증명의 기저에 있는 수학과 개념적 직관을 명확하게 설명하는 데 중점을 둔다. 또한 LLM의 활용을 포함한 연구 과정을 명시적으로 기술한다.
Coronavirus Optimization Algorithm: A Success-History Adaptive Evolutionary Framework with Archive-Assisted Search and Stagnation Recovery for Global Optimization
본 논문은 상자 제약(box-constrained) 연속 전역 최적화를 위한 SARS-CoV-2에서 영감을 받은 성공 이력 적응형 진화 옵티마이저인 코로나바이러스 최적화 알고리즘(Coronavirus Optimization Algorithm, COA)을 제안한다. COA는 질병 전파를 모델링하지 않으며, 대신 선정된 코로나바이러스 메커니즘을 엘리트 유도 흡인(elite-guided attraction), 시행 벡터(trial-vector) 생성, 적응형 매개변수 변화, 정체 복구, 개체군 크기 스케줄링 등 명시적 탐색 연산자에 매핑한다. 이 알고리즘은 반대 기반 초기화(opposition-based initialization), current-to-pbest 돌연변이, 이항 교차(binomial crossover), 외부 아카이브, 성공 이력 적응, 개체군 축소, 부분 재시작을 결합한다. COA는 15개의 경쟁 옵티마이저와 비교하여 10, 30, 50차원에서 CEC 2017 벤치마크 함수 29개에 대해 평가되었다. 결과에 따르면 COA는 모든 차원에서 전체 Friedman 순위에서 최고를 기록했으며, 특히 composition 함수에서 두드러진 성능을 보였다. 이 결과는 COA가 간결하고 투명하며 경쟁력 있는 적응형 진화 옵티마이저임을 보여 주면서, 일부 hybrid 함수에서의 한계와 추가적인 고차원 검증의 필요성도 함께 드러낸다.
$n$개 항목에 대한 미지의 전순서(linear order)를 학습하는 문제를 고려합니다. 각 라운드마다 학습자(learner)는 항목들의 완전한 순서를 추측하고, 그 추측이 맞다는 확인을 받거나 잘못된 순서로 배치된 항목 쌍인 반례(counterexample)를 받습니다. 목표는 가능한 한 적은 수의 질의를 사용하여 미지의 순서를 식별하는 것입니다. 본 논문에서는 사전에 $k$를 알지 못하는 상태에서 반환된 반례 중 최대 $k$개가 부정직(untruthful)할 수 있는 상황에서 이 문제를 연구합니다. 저자들은 상수 인수를 제외한 최적 질의 복잡도를 다음과 같이 결정합니다: \[ Θ(n\log n + nk). \] 따라서 노이즈가 없는 경우의 복잡도는 고전적인 정렬 복잡도와 일치하지만, 부정직한 반례가 하나씩 발생할 때마다 $n$ 차수의 추가 비용이 발생합니다. 상계(upper bound)는 순열의 기하학적 표현과 그륀바움의 정리(Grünbaum's theorem)에 기반을 두며, 하계(lower bound)는 정렬 논증과 콩도르세 유형(Condorcet-type)의 구성을 결합합니다. 또한 저자들은 목표 랭킹이 저차원 기하학적 표현을 갖는 경우도 연구합니다. 즉, 각 항목이 $\mathbb{R}^d$의 한 점으로 표현되고 미지의 방향으로 해당 점들을 투영하여 랭킹을 얻는 경우입니다. 이러한 클래스에 대해 저자들은 $O(d^2\log n+dk)$의 상계와 $Ω(d\log n+dk)$의 하계를 제시하여, 노이즈가 없는 항에서 $d$ 인수의 간극을 남깁니다.
우리는 Rocq 증명 보조기(proof assistant)에서 Romanov의 트리플렛 로직(Triplet Logic, TLS)을 기계적으로 형식화한 최초의 결과를 제시한다. TLS는 컴팩트 트리플렛 구조(Compact Triplets Structures, CTS)라 불리는 계층적 트리플렛 구조를 통과하는 호환 가능한 경로와, Romanov의 효과적 절차(Effective Procedure)를 통한 그 교집합을 추론하기 위한 트리플렛 기반 조합론적 프레임워크이며, 우리는 이 절차를 단순 정점 교집합(Simple Vertex Intersection, SVI)이라 부른다. TLS는 원래 불 충족 가능성(Boolean satisfiability) 문제에서 출발했으나, 그 형식적 성질이 이전에는 확립된 바 없는 독립적인 수학 이론이다. 우리는 컴팩트 트리플렛 수식(Compact Triplets Formulas, CTF), CTS, 하이퍼구조(hyperstructure), 클리어링(clearing), SVI를 포함하는 TLS의 핵심을 Rocq로 형식화한다. 잘 정의된(well-formed) 슬라이딩 윈도우 부분에 대해서는 절(clause) 단위의 CNF-to-CTF 변환, 클리어링 절차, 정렬된(aligned) 교집합을 검증하고, 필터 단계에 대한 명시적인 다항 시간 상한을 증명한다. 주된 기여는 정확한 정확성 경계(correctness boundary)를 규명한 것이다. 즉, 공동 충족 집합(joint satisfying set)이 존재하면 SVI가 공집합이 아님이 함의되지만, 그 역은 일반적으로 성립하지 않는다. 정렬된 구조에 대해서는 완전한 쌍조건(bi-implication)을 복원하며, 이를 구조들의 시스템으로 확장한다. 또한 그룹화된 윈도우(grouped-window) 변환의 건전성(soundness)을 형식화하고, 그 완전성(completeness)에 대한 형식적 반례를 제시한다. 우리는 추출된 OCaml 프로토타입인 VFR을 소개하는데, 이는 슬라이딩 윈도우 부분에 대한 검증된 결정 절차와 일반 3-CNF에 대한 건전한 단방향 필터를 제공하며, Python 런타임과 재현 가능한 Docker 패키징을 포함한다. 무작위 및 구조화된 인스턴스에 대한 벤치마크는 예측된 동작을 확인해 주며, 전체 툴체인은 선별된 Zenodo 아티팩트로 공개되어 있다. Rocq 개발물은 17개 파일에 걸쳐 23,000줄 이상의 코드로 구성되며, 427개의 증명된 보조정리와 정리를 포함하고 admit된 목표는 하나도 없다.
가치 있는 결과물이 대규모 언어 모델(LLM)에 의해 점차 더 많이 생성, 완성 또는 처리되는 세상에서 중심적인 경제학적 질문은 LLM이 무엇을 생산할 수 있는가뿐만 아니라, 우리가 모델에 제공하는 입력(즉, 프롬프트)에 어떤 '가치'가 남아 있는가입니다. LLM이 증명, 프로그램, 설계 또는 과학적 가설과 같은 결과물 $z$를 생성하도록 돕는 프롬프트, 힌트, 비판, 문제 기술 또는 부분 해법이 주어졌을 때, 이러한 입력의 가치를 어떻게 측정해야 할까요? 직관적으로 입력은 모델이 목표 결과물을 더 쉽게 생성하도록 만들 때 가치가 있습니다. 즉, 샘플링 확률을 높이거나 이를 찾는 데 필요한 사고 시간을 줄임으로써 가능합니다. 본 논문에서는 고전적 정의의 만능 튜링 기계(universal Turing machine)를 LLM 자체로 적절히 대체함으로써 이 문제에 대한 계산적 레빈-콜모고로프 복잡도(Levin–Kolmogorov complexity) 접근법을 제안합니다. 구체적으로, 모델의 사고를 프로그램의 무작위 테이프로 취급하고 레빈의 방식에 따라 이에 로그 비용을 부과하여 LLM 상대적인 '확률론적 레빈-콜모고로프 복잡도(probabilistic Levin–Kolmogorov complexity)' $pKt$ 개념을 도입하고, 프롬프트 가치를 $pKt$에 대한 알고리즘 상호 정보량(algorithmic mutual information)으로 정의합니다. 이는 앞서 언급한 직관을 포착합니다. 결과물 $z$에 대해 $b$ 비트의 가치를 갖는 프롬프트는 성공 확률에 $2^b$를 곱하거나, 필요한 계산량을 $2^b$로 나누거나, 혹은 확률과 계산 간의 상응하는 상호 절충(tradeoff)을 통해 $z$를 '얻기 $2^b$배 더 쉽게' 만듭니다. 고전적인 알고리즘 상호 정보량 개념과 달리, 본 접근법은 효율적으로 추정 가능합니다. 추가로 자연스러운 재현 실험 하에서 $b$ 비트의 프롬프트 가치는 프롬프트 없이 $z$를 재현할 때 프롬프트를 사용할 때보다 중앙값 토큰 비용이 $2^b$배 든다는 것을 보여줍니다.
본 논문에서는 적응적 적대자(adaptive adversary)가 선택하는 이진 결과에 대한 온라인 확률적 예측(online probabilistic forecasting)을 연구합니다. 약한 가설군(weak hypothesis class) $H$에 대한 온라인 학습 알고리즘이 주어졌을 때, 기존 온라인 부스팅 기법들이 개별적으로 제공하던 비교 불가능한 두 가지 보장을 효율적으로 동시에 얻고자 합니다. 온라인 그래디언트(gradient) 부스팅은 모든 시퀀스에서 $H$의 생성 공간(span)에 의해 유도되는 최적의 예측 변수와 브라이어 점수(Brier score) 면에서 경쟁하지만, 해당 공간에 정확한 예측 변수가 포함되지 않을 때는 어떠한 것도 보장하지 않습니다. 온라인 약-강(weak-to-strong) 부스팅은 약한 학습 조건 하에서 분류(classification) 오차를 0으로 만들지만, 해당 조건이 만족되지 않을 때는 거의 아무것도 보장하지 못합니다. 본 연구에서는 두 가지 보장을 모두 만족하는 단순한 방어적 예측 알고리즘인 방어적 부스터(Defensive Booster)를 제시합니다. 모든 적응적 시퀀스에서 이 알고리즘의 브라이어 점수는 온라인 그래디언트 부스팅과 동일한 수렴 속도로 $H$의 생성 공간이 유도하는 최적의 예측과 견줄만하며, 동시에 실현된 기록(transcript)이 매끄러운 약한 학습 조건을 만족할 때마다 브라이어 점수 및 무작위화된 분류 오차는 온라인 분류 부스팅과 동일한 수렴 속도 보장을 만족합니다. 이는 부스팅의 '쌍대적 관점(dual view)'을 구현함으로써 달성됩니다. 즉, 알고리즘의 무작위화된 분류 오차가 지속적으로 높을 경우 오류 가중치는 모든 약한 가설이 낮은 이점(edge)을 갖는 매끄러운 재가중치(smooth reweighting)를 형성하여, 약한 학습 조건이 실패했음을 보여주는 사후 하드코어 증명(ex-post hard-core certificate)을 제공합니다. 또한 모든 시간 구간에서 두 보장을 모두 만족하는 강적응적(strongly adaptive) 변형도 개발합니다. 방어적 부스터는 매우 효율적입니다. 비교 대상인 기존 온라인 부스팅 방식들이 대규모 약한 학습기 앙상블을 유지하는 반면, 본 알고리즘은 단 하나의 약한 클래스 학습기만을 사용합니다. 합성 데이터 및 실제 데이터 스트림에 대한 실험을 통해 수 자릿수 빠른 실행 시간과 더불어 뛰어난 예측 성능(때로는 모든 기존 베이스라인을 크게 능가함)을 입증합니다.
Multi-layer transformers form the critical component of essentially all large language models (LLMs) in use today. Because of their ubiquity and computational capability, there is a rapidly growing body of work that aims to precisely calibrate the expressive power of transformers as language recognizers by comparing them against standard models of computation studied for decades by the theoretical computer science community. In this endeavor, circuit complexity has by and large emerged as the "correct" branch of computational complexity to analyze the expressive power of transformers; the reason is that parameterizing transformers by the various resources they use, such as attention and precision, leads to direct comparisons with different classes of circuits parameterized by resources such as type of gates, size, and depth. Here, we present an overview of selected results that delineate the expressive power of transformers using concepts and methods from circuit complexity.
20세기 중반 이후 튜링 기계(Turing Machine)를 이용한 실수 및 함수의 계산 가능성(computability)은 이론 컴퓨터 과학의 중심 연구 영역이었다. 20세기 후반에는 화학 반응 네트워크(Chemical Reaction Network, CRN) 모델을 통해 화학 반응이 계산의 기반이 될 수 있음이 밝혀졌다. 결정적 화학 반응 네트워크(Deterministic Chemical Reaction Network, DCRN)를 이용한 실수 계산의 최근 진전으로 DCRN-계산 가능한 실수의 수많은 클래스가 규명되었다. 한편 1960년대부터 2000년대 초까지 이어진 R. Landauer와 C. H. Bennett의 연구는 가역 계산(reversible computing)이 비가역적 방법보다, 특히 에너지 효율 측면에서 상당한 이점을 제공함을 보여 주어 가역 계산에 대한 광범위한 연구를 촉발했다. 본 연구에서는 가역 화학 반응 네트워크(Reversible Chemical Reaction Network, RevCRN)를 이용한 실수의 계산 가능성을 조사한다. 논문의 두 가지 주요 기여는 다음과 같다. (1) Lyapunov CRN($\mathbb{R}_{LCRN}$), Real-Time CRN($\mathbb{R}_{RTCRN}$), 유리수($\mathbb{Q}$), RevCRN($\mathbb{R}_{RevCRN}$) 등 CRN-계산 가능 실수 클래스들 간의 관계를 정립하는 것으로, 핵심 결과는 (i) $\mathbb{Q}$는 $\mathbb{R}_{RevCRN}$의 진부분집합이다; (ii) 양의 대수수 집합($ALG$), $\mathbb{R}_{LCRN}$, 1-species RevCRN으로 계산 가능한 실수($\mathbb{R}_{RevCRN}^{1s}$)는 서로 같다; (iii) $\mathbb{R}_{RTCRN}$와 $\mathbb{R}_{RevCRN}$는 공통 원소가 있는(비어 있지 않은) 교집합을 갖는다; (iv) detailed-balanced RevCRN으로 계산 가능한 실수 집합($\mathbb{R}^{DetBal}_{RevCRN}$)은 $ALG$의 부분집합이다; (2) $\mathbb{R}_{RevCRN}$ 내부에 위계(hierarchy)가 존재하는지 탐구하는 것이다. 마지막으로 $\mathbb{R}_{RevCRN}$와 $\mathbb{R}_{RTCRN}$ 사이의 정확한 관계는 열어 두고, RevCRN-계산 가능 실수의 일반적 위계에 대한 가설을 제시한다.
일반 매트로이드 제약 하에서 비음(nonnegative) 부분모듈러 최대화를 연구하며, 오프라인 알고리즘이 임의의 제어된 값 오라클(controlled value oracle)을 받는 경우를 다룬다. 주요 결과는 Spiteful Greedy Swap Poisson Process(SGS-Poisson)에 대한 적대적 견고성 정리이다. 포아송 강도, 단일 원소 교환 규칙, spiteful drop 단계를 바꾸지 않아도, 비단조 목적함수에 대해서는 극한 근사비 $1/e$를, 단조 목적함수에 대해서는 $1-1/e$를 그대로 유지한다. 더 정확히, 모든 집합 $S$에 대해 $|\widehat f(S)-f(S)|\le ξ$를 만족하는 제어된 오라클 $\widehat f$마다, 구현은 각각 기대값이 최소 $(1/e-\varepsilon)\OPT-O(kξ)$ 및 $(1-1/e-\varepsilon)\OPT-O(kξ)$인 실행 가능한 집합을 $\widetilde O(nk^2\varepsilon^{-2})$회의 오라클 호출로 반환한다. 이에 따라 오프라인-온라인 환원은 일반 매트로이드 제약 부분모듈러 보상에 대한 풀 밴딧 CMAB 알고리즘을 주며, 극한 근사-후회(approximation-regret) 인수는 정확히 $1/e$와 $1-1/e$이고 후회는 $\widetilde O(n^{1/5}k^{4/5}T^{4/5})$이다.
트랜스포머(transformer)의 기존 표현력 연구 결과는 일반적으로 하드맥스 어텐션, 고정밀도, 그리고 실제 사용되는 모델과 괴리된 기타 아키텍처 수정을 기반으로 합니다. 본 연구에서는 깊이와 너비가 컨텍스트 길이에 따라 로그 스케일로 증가하도록 허용하면서, 소프트맥스(softmax) 어텐션(attention) 및 활성화 함수와 어텐션 가중치의 반올림을 적용한 표준 트랜스포머 디코더를 분석하여 이러한 격차를 해소합니다. 중간 단계로서, 사고의 연쇄(Chain-of-Thought, CoT)를 사용하여 튜링 기계를 시뮬레이션하는 3진 활성화 함수와 명확히 분리된 어텐션 점수를 갖는 하드맥스 트랜스포머를 구축합니다. 이를 통해 기존 접근 방식에서 요구했던 비현실적인 매개변수(parameter) 크기나 활성화 정밀도(precision) 없이도 해당 구조를 동등한 소프트맥스 트랜스포머로 변환할 수 있습니다. 동일한 기법을 사용하여 최근 제안된 요약된 CoT 패러다임을 분석하고, 모델(model) 크기가 시간 한계가 아닌 공간 한계에 대해 로그 스케일로 확장되면서 튜링 기계를 더욱 효율적으로 시뮬레이션함을 보입니다. 본 연구 결과를 통해 도출된 예측을 스도쿠 추론 작업에서 실증적으로 검증하였으며, 기존의 고정밀도 연구 결과보다 학습 가능성(learnability)과 더 잘 일치함을 확인했습니다. 코드는 https://github.com/moritzbroe/transformer-expressivity 에서 확인할 수 있습니다.
과매개변수화된 심층 네트워크의 일반화 문제를 해결하기 위해 정보 이론, 위상수학, 통계역학을 통합한 프레임워크를 제안하며, 핵심 개념인 엔트로피 학습 가능성 한계(Entropic Learnability Horizon, ELH)를 통해 데이터의 Shannon 엔트로피와 가중치의 von Neumann 엔트로피의 합이 결정 경계의 위상 엔트로피를 초과할 때만 진정한 학습이 가능함을 수학적으로 증명한다. 이 이론을 바탕으로 "그로킹(grokking)" 현상을 엔트로피 해방으로 재해석하고, 가중치 엔트로피를 동적으로 관리하는 새로운 최적화 알고리즘인 엔트로피 경사하강법(Entropic Gradient Descent, EGD)을 제시한다.
본 논문에서는 브로드캐스트(broadcast), 즉 공유 칠판(shared-blackboard) 모델에서 $\mathrm{Ber}(α)$와 $\mathrm{Ber}(β)$를 구별하는 분산 검정(distributed testing)을 연구합니다. 상수 이점(constant advantage)을 갖는 프로토콜에 대해, 모든 $β<α$ 쌍에 대한 각 가설 하에서의 정보 복잡도(information complexity)를 보편 상수 인자 차이까지 정확히 규명합니다. 이러한 규명은 두 정보 비용이 상당히 다를 수 있음을 보여주며, 각각 무잡음 표본, 잡음이 있는 이진 대칭 채널(binary symmetric channel), 비대칭 $Z$-채널에 기반한 최적 프로토콜을 갖는 세 가지 매개변수 영역(parameter regime)을 식별합니다. 하한(lower bound)은 그 자체로 독립적인 관심을 가질 수 있는 새로운 혼합 헬링거-젠센-섀넌(Hellinger–Jensen–Shannon) 부등식에 의존합니다. 또한 채널에 대한 최적화 문제를 통해 임의의 이산 분포를 검정할 때의 상수 이점 정보 복잡도를 규명하고, 이진 출력 채널만으로도 충분함을 보입니다. 유계 가능도비(bounded likelihood-ratio) 분포에 대한 한계를 도출하며, $χ^2$ 발산(divergence) 관점에서의 일반적인 상한(upper bound)을 제시합니다. 응용 사례로서 브로드캐스트 모델의 집합소 분리(set-disjointness) 하한을 재현하고, 이전 연구에서 다루어진 일부 문제들에 대해 다중 패스 스트리밍(multi-pass streaming) 환경에서 더 강력한 하한을 유도합니다.
This paper studies learning-augmented and randomized online aggregation with delays on a line metric. We consider advice given as online suggested service lengths, and evaluate the algorithms in terms of robustness and consistency. For each $λ\in (0,1]$, we first propose a deterministic learning-augmented \textsc{Balance} algorithm that is $(4/λ+1/λ^2)$-robust and $(4+λ)$-consistent. We also propose a randomized algorithm for the problem in the classical adversarial model, which is $(e+1)$-competitive against an oblivious adversary, improving over the deterministic $5$-competitive \textsc{Balance} benchmark~\cite{bienkowski2013chain}. Notably, this competitive ratio is even lower than the lower bound of $4$ for deterministic online algorithms. Moreover, we establish a lower bound of $e$ on the competitive ratio of randomized online algorithms, improving the previous lower bound of $e/(e-1)$. Besides, we combine the two ideas and obtain a randomized learning-augmented algorithm that is $(e/λ+1/λ^2)$-robust and $(e+λ)$-consistent. Finally, we conduct numerical experiments to complement our theoretical analysis and evaluate the empirical performance of our algorithms.
본 논문에서는 경험적 최적 수송(empirical optimal transport)을 위한 세 가지 통신 태스크인 분산 결합 샘플링, 비용 평가 가능 결합 출력, 스칼라 값-검증 샘플링을 정식화합니다. 본 연구의 주된 결과는 필드 부호(field-code) 컴파일러입니다. 최적 경험적 몽주 사상(Monge map)을 오차 $η$ 이내로 근사하는 임의의 통신된 수송 필드는 희소한(sparse) 타깃 셀 잔차를 통해 정확한 주변분포(marginal)를 가지는 값-검증 샘플러로 완성될 수 있으며, 이때 스칼라 증명서는 $W_1(μ,ν)\leq U\leq W_1(μ,ν)+2Δ$를 만족합니다(여기서 $Δ$는 공개 타깃 분할 직경). 증명서의 정확도는 $Δ$만으로 제어됩니다. 필드 오차 $η$는 셀 마진 조건 하에서 잔차 통신을 제어하며, 마진이 없으면 $η$만으로는 잔차를 한정할 수 없습니다. 저자들은 적응형 국소 아핀 부호 및 텐서 곱 스플라인 부호를 통해 컴파일러를 구체화하며, 스플라인의 경우 $d(m+1)^db$ 필드 비트와 별도로 청구되는 잔차 목록을 사용합니다. 하한(lower bound)의 경우, 엄밀한 Gap-Hamming 임베딩을 통해 임의의 비용 평가 가능, 비용 검증, 혹은 값-검증 프로토콜에 대해 $Ω(\varepsilon^{-2d/(d+4)})$ 통신을 요구하는 매끄러운 셀 패킹 미분동형사상 패밀리를 포함하여 검증된 출력을 생성하는 것이 어렵다는 점을 증명합니다. 동일한 가젯은 무통신 샘플러를 허용하므로 샘플러 모델과 증명서를 수반하는 출력 모델을 형식적으로 분리합니다. 이러한 결과들은 필드 부호가 사용 가능할 때마다 수송 필드가 주로 잔차 희소성 도구로서 올바른 통신 대상임을 규명합니다.
본 논문에서는 $m$ 비트의 메모리를 사용하여 단위 구(unit ball) 상에서 $d$차원 $1$-립시츠(1-Lipschitz) 볼록 함수를 최소화하는 1차 오라클 복잡도(first order oracle complexity)에 대한 두 가지 하한(lower bound)을 증명한다. 먼저 이러한 (무작위화되었을 수 있는) 모든 알고리즘이 적어도 $\tildeΩ(\frac{d^2}{\sqrt{m}})$회의 오라클 쿼리를 수행해야 함을 보인다. 결정론적 최적화 알고리즘의 경우에는 $\tildeΩ(\min\{d^{1.6},\frac{d^{8/3}}{m^{2/3}}\}$)회의 쿼리가 필요함을 보인다. 관심 대상인 모든 메모리 영역에서 이는 무작위 및 결정론적 알고리즘에 대해 기존에 가장 잘 알려져 있던 하한인 각각 $\tildeΩ(\max\{\frac{d^{8/3}}{m^{4/3}},\frac{d^{4/3}}{m^{1/6}}\})$ 및 $\tildeΩ(\frac{d^{5/3}}{m^{1/3}})$을 개선한다. 특히 기존 상한들로 인해, 결정론적 알고리즘에 대한 본 연구의 하한은 메모리의 다항 로그(polylogarithmic) 변화가 필요한 오라클 호출 횟수의 $\mathsf{poly}(d)$ 변화로 이어지는 $m\approx d^2$ 부근에서의 급격한 오라클 복잡도 상전이(phase transition)를 최초로 보여준다. 나아가 부최적성(suboptimality)이 $d$에 대해 다항식 수준으로 작을 때, 무작위 알고리즘에 대한 본 하한은 메모리 제약이 없는 알고리즘의 최적 쿼리 복잡도에 근접하기 위해 $\tildeΩ(d^2)$ 메모리가 필수적임을 최초로 보여준다. 기존에는 이러한 결과가 부최적성이 $d$에 대해 준다항식(quasipolynomially) 수준으로 작은 영역에서만 알려져 있었다.
강력한 AI 시스템이 원하는 행동을 보이도록 학습시키는 것은 점점 더 복잡한 작업에 대해 정확한 인간 감독(human supervision)을 제공할 수 있는 능력에 달려 있다. 이 문제에 대한 유망한 접근법은 주어진 문제의 올바른 해에 대해 두 AI가 경쟁적으로 토론(debate)하는 과정에서 그들의 능력을 활용하여 인간의 판단을 증폭하는 것이다. 기존 이론 연구는 AI 토론에 대한 복잡도 이론적 형식화를 제공했으며, 가능한 한 복잡한 문제 클래스에 대해 인간 판단의 정확성을 보장하는 AI 토론 프로토콜을 설계하는 문제를 제기했다. 토론자가 복잡한 문제를 더 단순한 하위 문제로 분해하는 재귀적 토론(recursive debate)은 토론에서 정확하게 판단할 수 있는 문제 클래스를 확장할 가능성을 지닌다. 그러나 기존 재귀 토론 프로토콜은 난독화된 논증(obfuscated arguments) 문제에 부딪힌다. 즉, 불성실한 토론자가 계산적으로 효율적인 전략을 사용하여 성실한 상대가 승리하려면 계산적으로 난해(intractable)한 문제를 풀어야 하도록 강요할 수 있다. 우리는 특정 안정성(stability) 가정 하에서, 성실한 토론자가 상대와 비슷한 수준의 계산 효율성을 요구하는 전략으로 승리할 수 있도록 보장하는 새로운 재귀 토론 프로토콜로 이 문제를 완화한다.