PyTorchKR Papers

최신 논문

총 269편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2605.06211v2cs.LG

극한에서의 대조적 식별과 생성

Contrastive Identification and Generation in the Limit

극한에서의 식별(identification in the limit, Gold, 1967)에서 학습자는 긍정 예시를 읽으며 결국 목표 가설을 지목해야 하고, 극한에서의 생성(generation in the limit, Kleinberg and Mullainathan, 2024)에서는 결국 새로운 긍정 예시를 생성해야 한다. 본 연구는 더 약한 관계적 신호를 다룬다. 각 관측은 $h(x)\neq h(y)$를 만족하는 순서 없는 쌍 $\{x,y\}$이며, 예를 들어 cannot-link 제약이나 비유사 쌍 레이블이 이에 해당하고, 학습자는 어느 점이 긍정인지 결코 알지 못한다. 본 연구의 모든 결과는 하나의 대상에서 도출된다. 즉, 어떤 쌍이 유한 족의 모든 구성원에 대해 유효한 것은 정확히 그 쌍의 점들이 해당 족의 소속 사상(membership map)의 대척 셀(antipodal cells)에 놓일 때이다. (1) 알려져 있든 알려져 있지 않든 모든 오염 예산 $k$에 대해, 식별 가능한 클래스를 정확하게 특성화한다. 비교 불가능한 가설들은 정의역을 덮어야 하며 $2k$개보다 많은 점을 공유해야 하고, Angluin의 tell-tale 집합은 $2k$개 점의 손실에도 유지되어야 한다. 예산이 유계가 아니면 임의의 두 가설이 혼동 가능해진다. (2) 대조적 폐쇄 차원(contrastive closure dimension)이 균일 생성을 특성화한다. 유한 클래스에서는 표현(presentation)을 공유하는 족이 유한한 공통 지지집합을 가질 때 정확히 생성이 실패하며, 가산 클래스에서는 이 유한 조건만으로 더 이상 충분하지 않다. (3) 깨끗한 데이터에서는 네 가지 학습 기준이 엄격한 다이아몬드 구조를 이룬다. (4) 오염이 있으면 순서가 달라진다. 어떤 클래스는 하나의 알고리즘으로 모든 유한 예산 아래에서 대조 쌍으로부터 식별 가능하지만, 오염된 예시가 하나만 있어도 긍정 예시로부터는 식별할 수 없다.

arXiv:2604.07238v2cs.LG

언어 식별과 생성에서의 프라이버시 비용에 관하여

On the Price of Privacy for Language Identification and Generation

대규모 언어 모델은 민감한 사용자 데이터로 학습되므로, 본 연구는 언어 학습에서 차분 프라이버시(DP)가 어떤 비용을 초래하는지 묻는다. 불가지론적 통계 설정에서 프라이버시를 보장하는 언어 식별과 생성을 연구한다. 식별의 경우 프라이버시는 비용이 들지 않는다. 즉, 모든 고정된 $\varepsilon$에서 순수 DP와 $\delta\ge n^{-O(1)}$인 $(\varepsilon,\delta)$-DP는 $r(n)=o(n)$인 모든 $r(n)$에 대해 비프라이빗 속도 $\exp(-r(n))$를 유지한다. 생성의 경우 비용은 무엇이 공개되어 있는지에 따라 달라진다. 공개된 증인 한계가 있을 때 순수 DP는 지수에서 최대 $\Theta(\min\{1,\varepsilon\})$ 배만큼만 손실하며, 적절한 두 언어 컬렉션에서 최적 속도는 $\exp(-\Theta(\min\{1,\varepsilon\}\,n))$이다. 이러한 한계가 없으면 순수 DP는 이미 두 언어만으로도 지수적 속도 자체를 잃을 수 있다. 즉, 모든 $\exp(-o(n))$ 속도는 달성 가능하지만 어떤 지수적 속도도 달성할 수 없다. 이러한 컬렉션에서 $(\varepsilon,\delta)$-DP가 지수적 속도를 유지하는 것은 $\log(1/\delta)=o(n)$일 때, 그리고 그 경우에 한한다. 순수 DP에 관한 세 가지 사실이 증명을 이끈다. 첫째, 강건성 여유를 지수적으로 작은 오류로 변환한다. 둘째, Le Cam의 두 점 한계의 프라이빗 형태를 따른다. 셋째, 문자열의 부재를 볼 수 없다.

arXiv:2602.14478v2stat.ML

근접 샘플러를 이용한 제약 및 복합 샘플링

Constrained and Composite Sampling via Proximal Sampler

본 논문은 두 가지 로그 오목 샘플링 문제인 제약 샘플링과 복합 샘플링을 연구한다. 먼저, $f$가 볼록일 때 볼록 집합 $K\subset\mathbb R^d$ 위에서 $e^{-f}$에 비례하는 분포로부터 샘플링하는 문제를 고려한다. 에피그래프 리프팅을 이용하여, 이 문제를 $\mathbb R^{d+1}$의 볼록 집합 위에서 1차원 지수 틸트(exponential tilt)를 제외한 균등 샘플링으로 환원한다. 이후 리프팅된 분포에 근접 샘플러를 적용한다. 절단 평면법과 기각 샘플링을 사용하여 제한된 가우시안 오라클의 비편향 구현을 개발하며, 이는 투영이나 장벽 함수에 의존하지 않고 $K$에 대한 분리 오라클과 $f$에 대한 평가 및 부분기울기 오라클만을 필요로 한다. 다음으로, $f$와 $h$가 폐볼록 함수일 때 $e^{-f-h}$로부터의 복합 샘플링을 연구한다. 이 구조는 $f$가 데이터 충실도를, $h$가 사전 정보를 나타내는 베이즈 추론에서 자연스럽게 나타난다. $h$에 에피그래프 리프팅을 적용하여 복합 샘플링을 $\mathbb R^{d+1}$에서의 제약 샘플링으로 환원함으로써 첫 번째 부분에서 개발한 접근법을 활용할 수 있다. 이는 $\mathbb R^{d+2}$에서의 이중 리프팅 정식화로 이어지며, 여기서 $f$와 $h$에 대한 부분기울기 오라클과 근접 오라클의 다양한 조합을 사용하여 근접 샘플러를 구현한다. 두 문제 모두에 대해 레니(Rényi) 발산과 $\chi^2$ 발산에서의 혼합 시간 상계를 증명한다. 마지막으로 변분적 관점에서 근접 샘플러의 수렴 분석을 재검토한다. 두 반단계에 대한 확률 측도 위의 최적화 문제로서의 변분 정식화에서 출발하여, 엔트로피 정규화 최적 수송의 동적 정식화를 이용해 이를 최적 제어 문제로 재구성한다. 이를 통해 입자 수준의 확률 미분방정식을 먼저 분석하지 않고도 최적화의 관점에서 직접 지배 편미분방정식을 유도할 수 있다.

arXiv:2112.07628v3cs.LG

다층 과매개변수화 신경망의 준이차 시간 학습

Training Multi-Layer Over-Parametrized Neural Network in Subquadratic Time

본 연구는 손실 함수로부터 유도되는 경험적 위험을 최소화하기 위해 다층 과매개변수화 신경망의 마지막 층을 학습하는 문제를 다룬다. 과매개변수화의 전형적인 설정에서는 네트워크 너비 $m$이 데이터 차원 $d$와 학습 표본 수 $n$보다 훨씬 크며($m=\mathrm{poly}(n,d)$), 이로 인해 첫 번째 층 이후의 각 층마다 매우 큰 가중치 행렬 $W\in\mathbb{R}^{m\times m}$이 생긴다. 층 입력이 밀집(dense)한 경우 순진하게는 순전파와 역전파 계산 모두에서 가중치 행렬을 읽고 신경망 함수를 평가하는 데 $O(m^2)$ 시간을 들여야 한다. 반복당 학습 비용을 줄이기 위해, 초기화 단계에서 $O(m^2nL)$ 시간을 사용하고 $m$에 대해 반복당 진정한 준이차 분할 상환 비용, 즉 반복당 $m^{2-\Omega(1)}$을 달성하는 프레임워크를 제안한다. 이러한 속도 향상은 희소 활성화에서 비롯되는데, 이는 각 층의 임계값이 해당 층 입력의 노름에 비례하는 이동된 ReLU이다. 이 임계값을 사용하면 모든 층이 양의 동차성을 가지므로, 수렴 증명에는 깊이 $L$, $n$, 그리고 가장 작은 커널 고유값의 역수에 대해 다항식 수준의 너비만 필요하다. 학습되는 층의 입력은 고정되어 있고 희소하다. 이 설정에서는 자료구조가 없는 더 단순한 알고리즘도 같은 반복당 비용에 도달하며, 마지막 층과 그 입력의 곱을 유지하면 비용이 $mn^{\omega-1+o(1)}$으로 낮아진다. 여기서 $\omega$는 행렬 곱셈 지수이다. 본 결과는 대규모 언어 모델(LLM)을 배포하기 위한 핵심 절차인 미세 조정을 가속하기 위해, 고정된 사전 학습 모델 위에 소량의 상태를 유지하는 방식에 대한 이상화된 모델로 볼 수 있다. 본 보장은 고정된 층이 무작위라고 가정하며, 사전 학습된 모델의 경우에는 이러한 곱을 유지하는 반복당 비용만 그대로 적용된다.

arXiv:2611.20257v1cs.DS

상수 리코스를 갖는 기수 제약 하 비단조 부분모듈러 최대화의 타이트한 경계

Tight Bounds for Non-Monotone Submodular Maximization under a Cardinality Constraint with Constant Recourse

우리는 원소가 하나씩 도착하고 알고리즘이 도착할 때마다 실행 가능한 집합을 보고해야 하는 상황에서, 기수 제약 하의 비음수 부분모듈러 함수 최대화를 연구한다. 알고리즘의 리코스는 한 번의 도착에서 보고된 집합에 대해 수행하는 삽입과 삭제의 최대 횟수이다. 모든 $\epsilon>0$에 대해, 우리는 리코스가 $O(\epsilon^{-2})$이고 보고된 집합이 매 시점마다 도착한 원소들로 이루어진 실행 가능 집합의 최댓값의 $1/4-\epsilon$배 이상의 기댓값을 갖는 알고리즘을 제시한다. 이 알고리즘은 함수를 다항 횟수만큼만, 그리고 도착한 원소들의 집합에 대해서만 평가한다. 또한 함수와 도착 순서를 미리 알고 있고 계산량에 제한이 없더라도, 상수 리코스를 갖는 어떤 알고리즘도 $1/4$을 넘는 비율을 달성할 수 없음을 보이며, $1/4$을 넘는 임의의 고정된 비율은 기수 예산의 양의 거듭제곱으로 증가하는 리코스를 요구함을 보인다. 따라서 $1/4$은 상수 리코스에서의 최적 극한 비율이다. 상수 리코스에서의 기존 최고 비율은 $3-2\sqrt2\approx0.172$였다. 우리의 알고리즘은 최대 2분의 1의 선택 확률을 할당하고, 원소가 도착함에 따라 모든 실행 가능 집합의 값을 이 확률로 추출한 무작위 집합의 기댓값의 배수로 제한하는 부등식을 유지하며, 보고되는 집합은 점진적인 교체를 통해 이 확률의 반올림 결과로 이동한다. 상한은 정점이 크기가 감소하는 그룹으로 도착하는 가중 유향 그래프를 사용한다.

arXiv:2611.17500v1cs.LG

적대적 배치 온라인 학습

Adversarially Batched Online Learning

우리는 학습자가 제한된 시간 단계 집합에서만 결정 규칙을 갱신할 수 있는 적대적 배치 온라인 학습을 도입한다. 이는 시간 구간이 배치들로 분할되고 각 배치 내에서 학습자가 고정된 정책을 사용해야 한다는 것과 동등하다. 우리는 이 모델을 확률적 밴딧, 온라인 볼록 최적화, 전문가 조언을 이용한 예측, 적대적 밴딧이라는 네 가지 대표 문제에 대해 연구한다. 확률적 밴딧에 대해서는 상대적 배치 증가에 기반한 보편적 복잡도 척도를 규명하고 간극 의존적 및 간극 독립적 후회 한계를 모두 확립한다. 표준 간극 의존적 복잡도에 대한 곱셈적 페널티가 배치 경직도에 대해 초선형으로 증가할 수 있음을 보인다. 나머지 세 문제에 대해서는 최적 후회가 배치 길이 수열의 2-노름으로 엄밀하게 특징지어짐을 보인다. 상한은 배치 구조를 알지 못하는 배치 무관 학습자가 이 복잡도 척도에 맞춘 일반적인 적응형 더블링 기법을 통해 달성한다. 반면 하한은 배치를 인지하는 학습자에게도 성립한다.

arXiv:2606.10944v5cs.LG

Express 언어 모델링

Express Language Modeling

본 논문에서는 일치하는 근사 보장(approximation guarantees)을 유지하면서 비인과적(non-causal) 어텐션 근사를 인과적(causal) 근사로 변환하는 새로운 도구인 Express를 소개합니다. SOTA(최첨단) Thinformer 근사와 결합했을 때, Express는 길이 $n$의 시퀀스에 대해 $O(s)$의 메모리와 $O(s^2 \log^2(n))$의 압축 오버헤드만으로 $\log^{3/2}(n)/s$의 근사 오차를 제공하여 기존에 가장 잘 알려진 인과적 어텐션 보장을 향상시킵니다. 이러한 개발 내용을 효율적인 I/O 인식 Triton 구현과 결합하여 FlashAttention 2 대비 상당한 속도 향상을 입증하며, 언어 모델링 파이프라인에서 발생하는 네 가지 자원 병목 현상인 긴 문맥 프리필(long-context prefill), KV 캐시 압축, 긴 형태의 메모리 제약 디코딩, 긴 형태의 연산 제약 디코딩을 극복하는 데 Express를 활용합니다.

arXiv:2602.11454v4cs.DS

차분 프라이버시 PCA를 위한 적응형 거듭제곱 반복법

Adaptive Power Iteration Method for Differentially Private PCA

본 논문은 행렬 $A\in\mathbb{R}^{n\times d}$의 상위 특이벡터를 근사적으로 계산하는 문제에 대한 $\left(\epsilon,\delta\right)$-차분 프라이버시 알고리즘을 연구한다. 여기서 $A$의 각 행은 $\mathbb{R}^{d}$의 데이터 점이다. Dwork-Talwar-Thakurta-Zhang(STOC 2014)을 따라, 인접한 입력이 단일 행만 다른 프라이버시 모델을 고려한다. 본 논문은 i.i.d. 데이터를 비롯한 많은 응용에서 행렬의 구조적 특성인 낮은 코히어런스를 갖는 입력 행렬에 대해 최악의 경우를 넘어서는 보장을 달성하는 새로운 알고리즘을 제시한다. 본 알고리즘은 프라이빗 거듭제곱 반복법에 관한 방대한 문헌에 기여하며, 이 코히어런스 매개변수에 적응하는 새로운 필터링 기법을 도입한다. 본 연구는 인접한 입력이 단일 원소에서 최대 1만큼만 다른, 더 제한적인 프라이버시 모델에서 최악의 경우를 넘어서는 보장을 달성한 Hardt-Roth(STOC 2013)의 연구와 출발점을 달리하면서 이를 보완한다.

arXiv:2611.14892v1cs.CG

거의 ETH 하에서 유클리드 k-means 근사에 대한 거의 최적의 하한

Almost Optimal Lower Bounds under Almost ETH for Approximating Euclidean k-means

유클리드 $k$-means 문제에서는 $\mathbb{R}^d$의 $n$개 점 집합이 주어지며, 각 점에서 가장 가까운 대표점까지의 제곱 거리 합을 최소화하도록 공간에서 $k$개의 대표점을 찾는 것이 목표이다. 알고리즘 측면에서, de la Vega, Karpinski, Kenyon, Rabani [STOC'03]와 Kumar, Sabharwal, Sen [JACM'10]은 고차원 유클리드 $k$-means에 대해 시간 $2^{(k/\varepsilon)^{O(1)}} \cdot dn^{O(1)}$의 $(1+\varepsilon)$-근사를 얻었고, 이는 이후 Feldman, Monemizadeh, Sohler [SoCG'07]에 의해 $2^{\tilde{O}(k/\varepsilon)} + O(ndk)$로 개선되었다. 하한 측면에서, Cohen-Addad, Karthik, Saulpic, Schwiegelshohn [SoCG'26]의 최근 연구는 정점 확장자(vertex expander) 상의 Vertex Cover에 대한 $(1+\varepsilon)$-근사의 지수 시간 난해성을 주장하는 확장자 지수 시간 가설(XXH)을 제안하고, 이를 이용해 $k=\tilde{\omega}(1/\varepsilon)$일 때마다 거의 일치하는 실행 시간 하한을 증명하였다. 본 논문은 XXH가 위 결과에 필요한 매개변수 영역에서는 성립하지 않음을 관찰하고, 더 표준적인 가정 하에서 그들의 환원을 어떻게 수정할 수 있는지 보인다. 보다 정확히, 3-SAT에 대한 거의 지수 시간 가설(Almost ETH)을 가정하면, 모든 상수 $\beta\in(0,1)$에 대하여 $k=\tilde{\omega}(1/\varepsilon)$일 때 $\mathbb{R}^d$에서의 유클리드 $k$-means는 시간 $2^{(k/\varepsilon)^{1-\beta}}\text{poly}(n,d)$에 동작하는 $(1+\varepsilon)$-근사 알고리즘을 갖지 않음을 보인다. 구성을 수정하여 유클리드 $k$-median 문제의 근사에 대해서도 유사한 결과를 얻는다.

arXiv:2611.14887v1cs.DS

언어 생성에서 국소적 폭의 특성화

Characterizing Local Breadth in Language Generation

대규모 언어 모델은 타당성-폭 사이의 상충 관계를 더욱 날카롭게 만든다. 생성기는 타당한 출력의 좁은 집합으로 붕괴하지 않으면서도 환각을 피해야 한다. 본 연구는 Kleinberg–Mullainathan 모델에서 임의의, 적대적일 수도 있는 순서와 분포적 또는 계산적 가정 없이, 미지의 목표에 대한 양의 예시로부터의 생성을 연구한다. 폭은 하 Banach 밀도로 측정하며, 이는 접두사 기반의 하 점근 밀도와 달리 임의로 큰 희소한 구멍을 배제한다. 1. 1차원에서의 정확한 최적값: 가산 족의 각 목표 $K$에 대해, 동치인 조합론적 및 위상적 정식화를 통해 최적 하 Banach 밀도 $b(K)$를 특성화한다. 결국에는 유효한 하나의 생성기가 모든 $b(K)$를 동시에 달성한다. 모든 $\alpha\in[0,1/2]$는 어떤 가산 족에서 $b(K)$로 나타나며, 유한한 Cantor–Bendixson 점 순위는 균일한 순위 한계가 없더라도 $b(K)=1/2$을 보장한다. 2. 고차원에서의 불가피한 상충 관계: $d\ge2$에서는 단일한 최선의 생성기가 존재하지 않을 수 있다. 한 목표에 대한 밀도를 최적화하면 다른 목표에 대한 보장이 악화될 수 있다. 명시적인 족이 이 본질적으로 다목적적인 상충 관계를 정량화한다. 3. 밀도 프로파일의 완전한 특성화: 기하학적으로 퇴화한 직사각형을 제외한 뒤, 동치인 조합론적 및 위상적 정식화와 함께 동시에 달성 가능한 보장들의 전체 영역을 특성화한다. $\alpha_i\in[0,1/2]$인 모든 지정된 곱 $\prod_i[0,\alpha_i]$는 어떤 언어 컬렉션에 대한 정확한 달성 가능 영역으로 나타날 수 있다. 4. 1/2에 가까운 보장과 날카로운 끝점: 근로그적 비퇴화 조건 하에서, 하나의 생성기가 모든 $\varepsilon>0$에 대해 모든 유한 점 순위 목표에서 필터링된 밀도 $1/2-\varepsilon$ 이상을 달성하며, 이는 이전의 다로그 임계값을 개선한다. 정확한 $1/2$ 끝점은 순위 0의 단일 원소 족에서조차 실패할 수 있다.

arXiv:2611.14651v1cs.DS

예측을 활용한 다중 선택 비서 문제

Multiple-Choice Secretary Problem with Predictions

후보가 균일하게 무작위인 순서로 도착하고 총 가치를 최대화하도록 최대 $k$명의 후보를 선택하는 것이 목표인 다중 선택 비서 문제를 연구한다. 어떤 후보도 도착하기 전에 개별 후보 가치의 예측이 주어지는 설정을 고려한다. Fujii와 Yoshida의 Learned Kleinberg 알고리즘은 경쟁 손실 $O(\min\{\log k/\sqrt{k},\eps\})$을 달성하며, 여기서 $k$는 선택 용량이고 $\eps$는 최대 승법 예측 오차이다. 우리는 임계값을 재조정한 동일한 전환 알고리즘에 대한 더 정밀한 분석을 통해 로그 인자를 제거한다. 그 결과로 얻은 경쟁비는 최소 $\max\{0,1-\min\{32/\sqrt{k},4\eps\}\}$이다. 특히 정확한 예측($\eps=0$)은 모든 도착 순서에서 오프라인 최적값을 달성한다.

arXiv:2611.14573v1cs.DS

첫 번째 선택을 넘어서: $k$-means++에 대한 엄밀한 보장을 향하여

Beyond the First Hit: Towards Tight Guarantees for $k$-means++

$R_k$를 $k$-means++가 선택한 $k$개 시드의 기대 비용과 최적 $k$-means 비용 사이의 최악의 경우 비율이라고 하자. $k$-means++를 처음 제안한 Arthur와 Vassilvitskii(SODA 2007)의 기념비적 논문은 $2\ln k\le R_k\le8(\ln k+2)$임을 보였으며, Makarychev, Reddy, Shan(NeurIPS 2020)은 상한을 $5(\ln k+2)$로 개선하였다. 본 논문에서는 컴퓨터 지원 논증을 통해 모든 $k\ge3$에 대해 $R_k\le\frac{1163}{233}+2.108\,H_{k-2}$임을 증명하고, 짧은 해석적 논증을 통해 모든 $k\ge2$에 대해 $R_k\le5+2.3139\,H_{k-2}$임을 증명한다. 여기서 $H_j$는 $j$번째 조화수이다. $H_{k-2}\le1+\ln k$이므로, 이 결과는 $\ln k$의 선도 계수를 $5$에서 $2.108$로 낮춘다. 또한 $R_2=5$ 및 $R_3=185/32$를 정확히 결정하며, 두 값 모두 도달되지는 않고 근접만 되는 상한(supremum)이다. 하한 측면에서는 모든 $k$에 대해 $R_k\ge2(1+H_{k-1})$임을 증명하고, $2\le k\le18$에서 이보다 더 큰 두 번째 하한 족을 제시한다. 기존 분석은 클러스터가 처음 샘플링된 직후의 기대 비용을 그 최적 비용의 상수 배로 상한하고, 이후 실행이 끝날 때까지 그 비용을 계속 부과하였다. 반면 본 연구는 클러스터가 처음 선택된 이후 그 비용이 어떻게 변화하는지를 추적한다. 큰 잔여 비용이 남은 클러스터는 로그 부과량의 상당 부분이 누적되기 전에 다시 샘플링될 가능성이 높으며, 반복되는 샘플링은 매번 이를 개선한다.

arXiv:2602.03999v3math.PR

함수형 확률적 국소화

Functional Stochastic Localization

엘단(Eldan)의 확률적 국소화는 고차원 기하학의 현대적 돌파구와 샘플링 알고리즘 설계에 중요한 역할을 해 온 확률론적 구성이다. 비유클리드 기하 하에서의 샘플링과 최적화의 미러 하강 알고리즘에 착안하여, 가우시안 정규화를 로그 라플라스 변환의 임의의 양의 정수 배에 의한 정규화로 대체하는 엘단 과정의 함수형 일반화를 개발한다. 또한 목표 분포가 함수형 푸앵카레 부등식을 만족하면 성립하는, 본 국소화 과정이 유도하는 마르코프 연쇄의 혼합 시간 한계를 제시한다. 마지막으로 이 프레임워크를 $p \in [1, 2)$인 $\ell_p$ 노름에서의 차분 프라이버시 볼록 최적화에 적용하여, 영차 모델에서 기존 최고 수준의 질의 복잡도를 개선한다.

arXiv:2602.02505v2cs.DS

PAC 학습 가능한 오라클을 활용한 학습 증강 매끄러운 정수 계획법

Learning-augmented smooth integer programs with PAC-learnable oracles

본 연구는 MAX-CUT과 MAX-k-SAT을 포함하는 폭넓은 불리언 다항식 최적화 문제 부류인 매끄러운 정수 계획법을 위한 종단간 학습 증강 프레임워크를 연구한다. 표본 인스턴스로부터 학습된 오라클은 보지 못한 각 인스턴스에 대해 전체 불리언 할당을 예측한다. 고정 차수 목적함수에 대해, 다항 시간 파이프라인인 LEAP는 예측된 할당 주변에서 목적함수를 선형화하고, 오차 예산이 설정된 선형 계획 문제를 풀며, 분수 해를 반올림한다. 본 연구는 두 가지 보장을 증명한다. 첫째, 임의의 예측에 대해 LEAP의 근사 손실은 예측 오차에 따라 완만하게 악화되며, 이는 잘못 예측된 좌표가 목적함수의 국소 계수를 얼마나 교란할 수 있는지를 정량화하는 오차 풋프린트로 제어된다. 둘째, LEAP가 유도하는 비용 클래스의 유사 차원(pseudo-dimension)을 유계화하여, 알려지지 않은 분포에서 추출한 인스턴스에 대한 경험적 위험 최소화를 통해 예측기 클래스로부터 오라클을 학습하는 PAC 방식의 보장을 얻는다. 이 결과들을 종합하면 클래스 내 최선 오라클의 기대 풋프린트 손실과 학습의 통계적 오차를 분리하는 종단간 한계가 도출된다. MAX-CUT과 MAX-SAT 실험에서 LEAP는 불완전한 예측을 상당히 보정하였고, 경험적 위험 최소화는 효과적인 오라클 후보를 선택하였으며, 파이프라인은 최대 200만 개의 절을 갖는 응용 벤치마크까지 확장되었다.

arXiv:2302.11068v4cs.LG

거의 선형 시간의 강건한 교대 최소화를 통한 저랭크 행렬 완성

Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time

행렬 $M\in \mathbb{R}^{m\times n}$이 주어졌을 때, 저랭크 행렬 완성 문제는 원소 집합 $\Omega\subseteq [m]\times [n]$로 지정된 소수의 원소만을 관측하여 $M$의 랭크-$k$ 근사를 $U\in \mathbb{R}^{m\times k}$와 $V\in \mathbb{R}^{n\times k}$에 대해 $UV^\top$ 형태로 찾도록 요구한다. 특히 본 연구는 실무에서 널리 사용되는 접근법인 교대 최소화 프레임워크를 살펴본다. Jain, Netrapalli, Sanghavi [JNS13]는 $M$의 행과 열이 비일관적(incoherent)이면 $n$에 대해 거의 선형인 개수의 원소를 관측하는 것만으로 교대 최소화가 행렬 $M$을 증명 가능하게 복원함을 보였다. 이후 표본 복잡도는 개선되었으나 [GLZ17], 교대 최소화 단계를 정확하게 계산해야 한다는 요구는 여전히 남아 있다. 이는 더 효율적인 알고리즘의 개발을 저해하며, 효율을 위해 갱신을 보통 근사적으로 수행하는 교대 최소화의 실제 구현을 설명하지 못한다. 본 논문에서는 더 효율적이고 오차에 강건한 교대 최소화 프레임워크를 향해 중요한 진전을 이룬다. 이를 위해 근사 갱신으로 발생하는 적당한 크기의 오차를 허용할 수 있는 교대 최소화의 분석적 프레임워크를 개발한다. 더욱이 제안하는 알고리즘은 표본 복잡도를 유지하면서 $\widetilde O(|\Omega| k)$ 시간에 실행되며, 이는 해를 검증하는 데 걸리는 시간에 거의 선형이다. 이는 $\widetilde O(|\Omega| k^2)$ 시간을 요구하던 기존의 모든 교대 최소화 접근법을 개선한 결과이다.

arXiv:2611.17228v1math.ST

다항 시간의 자기선택 편향 선형 회귀

Linear Regression with Self-Selection Bias in Polynomial Time

우리는 Cherapanamjeri, Daskalakis, Ilyas, Zampetakis [CDIZ23, STOC]가 도입한 최대 자기선택 기준 하에서, $n$차원에서 자기선택 편향이 있는 $k$개의 선형 회귀자를 오차 $\varepsilon$ 이내로 추정하는 문제를 다시 살펴본다. 주요 결과는 이 문제의 미지 인덱스 변형에 대한 $\mathrm{poly}(n,k,1/\varepsilon)$ 시간 알고리즘이며, 이는 $k$에 대해 지수적 의존성을 갖는 Gaitonde와 Mossel [GM24] 및 Kalavasis, Mehrotra, Zhou [KMZ26, COLT]의 기존 최선 알고리즘의 실행 시간을 개선한다. 우리의 알고리즘은 회귀자 간 상관된 잡음이 존재하는 경우에도 성공하며, 이는 관련된 설정인 max-affine 회귀를 포괄한다. 그 결과 이 문제에 대한 최초의 다항 시간 알고리즘도 제시하며, 이는 $k$에 대해 지수적 의존성을 갖는 Ghosh, Pananjady, Guntuboyina, Ramchandran [GPGR22, IEEE Transactions on Information Theory] 및 Gaitonde와 Mossel [GM24]의 기존 연구를 개선한다. 기존 연구는 회귀자들이 생성하는 $k$차원 부분공간을 완전 탐색하며 응답의 조건부 적률로 후보를 검정한다. 반면 우리의 알고리즘은 공변량의 적률에 대한 향상된 이해를 바탕으로 한다. 큰 응답값을 갖는 관측으로 제한하면, 공변량의 차수-$(\log n)$ 에르미트 적률이 회귀자들의 텐서 거듭제곱의 합으로 근사적으로 분해됨을 보인다. 알고리즘의 첫 단계는 암묵적으로 표현된 이러한 고차 텐서에 대한 텐서 분해 알고리즘으로 볼 수 있으며, 회귀자와 평행한 단위 벡터를 출력한다. 보통 최소제곱법의 단순한 변형에 기반한 두 번째 단계는 이 단위 벡터가 주어졌을 때 회귀자의 추정값을 추출한다. 우리는 이러한 분석적 통찰과 알고리즘 구성요소가 다른 잠재 변수 문제를 위한 효율적 알고리즘 설계에 응용될 수 있다고 믿는다.

arXiv:2611.17223v1cs.DS

다항식 개수의 동전을 이용한 조합적 베르누이 팩토리

Combinatorial Bernoulli Factories with Polynomially Many Coins

우리는 조합적 베르누이 팩토리의 효율적인 구현을 제시한다. 이러한 팩토리는 편향 $x$를 알 수 없는 동전들을 평균이 정확히 $x$인 다면체 $P$의 무작위 꼭짓점으로 변환한다. 입방체의 모든 아핀 슬라이스(팩토리가 존재하는 다면체의 부류)에 대해, 모든 내부점 $x$에서 기대 동전 던지기 횟수와 실행 시간이 차원 및 $1/{δ_*}$에 대해 다항식인 단일 알고리즘을 제시하며, 여기서 ${δ_*}=\min_i\{x_i,1-x_i\}$는 알고리즘에 주어지지 않는다. 완전 매칭의 경우 $O(n^{8}{δ_*}^{-2}\log(n/{δ_*}))$번의 던지기가 소요되는 반면, Niazadeh, Paes Leme, Schneider [STOC 2021]의 팩토리는 균등 이중 확률 행렬에서 기댓값으로 최소 $n^{2n-1}$번의 던지기를 소모한다. 다른 다면체의 경우, 우리의 방법은 $P$ 깊숙한 내부의 점과 $x$가 $P$의 경계에서 멀다는 보장이 주어지면 정확하게 반올림한다.

arXiv:2611.17109v1cs.LG

오라클 효율적 적대적 문맥 밴딧에 대한 거의 최적인 후회 한계

Near-Optimal Regret for Oracle-Efficient Adversarial Contextual Bandits

우리는 $K$개의 행동, $N$개의 정책 클래스, 그리고 학습자가 표집할 수 있는 분포에서 나오는 i.i.d. 문맥을 갖는 문맥 밴딧을 연구한다. 플레이 이전에 고정된 임의의 손실 함수 열에 대해, 실현된 문맥에서 사후적으로 최선인 정책에 대한 기대 후회가 $O(\sqrt{KT\log(2N)}\,\log(2KT))$인 오라클 효율적 알고리즘을 제시한다. 이는 기존 오라클 효율적 한계에서의 시간 지평에 대한 $T^{2/3}$ 의존성을 개선하며, 이 설정에서 로그 인수를 제외하고 최적의 후회율을 달성한다. 우리의 알고리즘은 보조 문맥의 푸아송 표본을 사용하여 정책 점수를 섭동한다. 각 표집된 문맥에서 행동에 할당되는 섭동은 해당 문맥과 행동에 특정한 스케일을 곱한 라플라스 잡음 표본이다. 과거 관측으로 결정되는 볼록 목적함수를 최소화하도록 이러한 스케일을 선택하면 명시된 후회 한계가 얻어짐을 보인다. 나아가 최적값을 반환하는 정확한 오프라인 비용 민감 최적화 오라클만을 사용하는 투영 확률적 경사 하강법으로 최소화 스케일을 근사한다. 스케일 표가 커질 수 있으므로, 알고리즘은 각 갱신을 결정하는 무작위 표본을 저장하여 SGD 반복값을 암묵적으로 표현하고 질의된 문맥에서만 스케일을 계산한다. 오라클 복잡도와 나머지 자원 한계는 모두 $T$, $K$, $\log(2N)$에 대해 다항식이다.

arXiv:2611.17313v1cs.DS

문맥 귀속을 위한 언어 모델 스케칭

Sketching Language Models for Context Attribution

문맥 귀속은 프롬프트의 일부를 제거하면 언어 모델의 출력이 어떻게 변하는지를 묻는다. 우리는 $n$개의 토큰으로 이루어진 프롬프트와 고정된 측정 함수에 대한 leave-one-out(LOO) 귀속을 연구한다. 모든 LOO 값을 직접 계산하려면 $n$번의 모델 평가가 필요하다. 안정성 가정 하에서, 우리의 알고리즘은 $O(\sqrt{\log(1/\varepsilon)}/\varepsilon)$번의 평가 호출만으로 상수 확률로 $\varepsilon$에 비례하는 오차 이내에서 모든 LOO 값을 추정한다. 상한을 보완하기 위해, 우리는 오라클 모델에서 평가 호출 횟수에 대한 일치하는 $Ω(\sqrt{\log(1/\varepsilon)}/\varepsilon)$ 하한을 증명한다. 실험적으로는 안정성과 부합하는 계수 감쇠를 확인하고, 소규모 언어 모델 검색 과제에서 스케칭 알고리즘의 성능을 평가한다. 기술적으로 우리의 결과는 Gunn [Gun26]이 최근 도입한 안정성 조건을 테일러 계수가 만족하는 산술 회로에 대한 스케칭 알고리즘에 기반한다. 이들의 순방향 미분 스케치를 직접 적용하면 $\widetilde{O}(\log(n)/\varepsilon^2)$번의 평가 호출이 필요하다. 우리의 핵심 관찰은 역전파 회로에 순방향 미분을 적용할 수 있으며, 이때 동일한 테일러 차수의 순방향 스케치 대비 오버헤드가 상수 수준에 그친다는 점이다. 이는 스케치의 분산을 줄여 주며 개선된 평가 한계의 핵심이 된다. 우리의 하한은 무작위 행렬의 대각 원소를 추정하는 데 필요한 행렬-벡터 질의 횟수의 하한을 다룬 Amsel, Chen, Duman Keles, Halikias, Musco, Musco [ACDH+26, SIAM Journal on Matrix Analysis and Applications]의 기법에 기반한다.

arXiv:2611.15074v1cs.DS

토큰화: 난해성과 이중 기준 근사 알고리즘

Tokenization: Hardness and Bicriteria Approximation Algorithms

우리는 이진 토큰화를 연구한다. 이는 $\{0,1\}$ 위의 이진 문자열 코퍼스와 어휘 예산 $K$가 주어졌을 때, 코퍼스를 표현하는 데 필요한 전체 토큰 수를 최소화하도록 최대 $K$개의 부분 문자열(어휘)을 선택하는 문제이다. 기본 기호 $0$과 $1$은 항상 사용할 수 있으며, 각 문서는 별도로 분할되어야 한다. $n$을 전체 코퍼스 길이, $M$을 최대 문서 길이라 할 때, 모든 고정된 $\varepsilon\in(0,1)$에 대해 $\mathsf{P}=\mathsf{NP}$가 아닌 한 이진 토큰화 문제에는 다항 시간 $n^{1-\varepsilon}$-근사 알고리즘이 존재하지 않음을 증명한다. 이 난해성 결과를 보완하기 위해 $\gamma = \sqrt{M}\log n$인 다항 시간 $(\gamma,\gamma)$-이중 기준 알고리즘을 제시한다. 이 알고리즘은 크기가 최대 $\gamma K$인 어휘를 출력하며 토큰 수는 최대 $\gamma {\rm OPT}_K$이다. 여기서 ${\rm OPT}_K$는 원래 예산 $K$ 하에서의 최적 토큰 수이다. 또한 선택된 부분 문자열 길이의 합이 $B$로 제한되는 저장 예산 변형도 연구한다. $2\le B<n$에 대해 $(O(\log n\log B),O(\log n\log B))$-이중 기준 근사 알고리즘을 얻는다.