저계수 근사(low-rank approximation)에서는 오차가 지정된 허용 오차를 충족하는지 확인하기 위해 추가적인 행렬-벡터 곱이 필요할 수 있습니다. 본 연구에서는 상대 행렬 오차와 평균 제곱 출력 오차 모두에 대해 이러한 검증(certification) 비용을 규명합니다. 단일 근사 행렬 후보의 경우, 허용 실패 확률이 0으로 수렴함에 따라 차원에 무관한 정확한 미니맥스 쿼리 상수를 결정합니다. 본 논문의 주요 결과는 근사 공간이 확장됨에 따라 검증(validation) 반응을 재사용하는 것과 관련이 있습니다. 검증과 독립적으로 구성된 후보군에 대해, 단 하나의 배치(batch)만으로도 검사 횟수에 따라 쿼리 예산을 늘리지 않고 전체 중첩 경로를 지원할 수 있습니다. \(W\)개의 경로 전반에 걸쳐 공유 잔여 에너지를 활용한 집중 부등식은 \(\sqrt{\log(W+1)}\) 의존성을 산출합니다. 일치하는 하한선은 고정된 내부 오차 목표와 충분히 작은 분리 간격에 대해 이것이 최적임을 입증합니다. 마지막으로, 동일한 분산 스펙트럼 계열에서 균일하게 유효한 두 개의 인증서를 비교합니다. 각 규칙 계열 내에서 검증 예산을 최적화하면 실제 목표를 넘어 검증 및 구성에 각각 \(N^{1/3}\) 및 \(N^{2/3}\) 차수의 비용이 발생합니다. 코드는 https://anonymous.4open.science/r/Low-rank-approximation-1275/ 에서 확인할 수 있습니다.
선거구 기반 선거에서는 N명의 유권자가 k개의 선거구로 나뉘며, 각 유권자는 m명의 후보자 중 한 명에게 투표합니다. 각 선거구는 다수결 원칙(plurality rule, 즉 가장 많은 표를 얻은 후보자가 승자로 선언되며 동점은 정해진 규칙에 따라 처리됨)을 사용하여 승자를 선출하고, 선거구별 승자들에게 다시 다수결을 적용하여 최종 승자를 결정합니다. 이때 선거구 승자들 중 유일한 승자가 존재한다고 가정합니다. 이러한 선거에서 승리 마진(margin of victory)은 현재 승자가 유일한 최종 승자가 되지 않도록 변경해야 하는 최소 투표 수입니다. 본 연구에서는 개별 투표에 대한 질의 접근(query access)이 가능한 질의 복잡도(query complexity) 모델에서 선거구 기반 선거의 승자를 예측하는 문제를 다룹니다. 목표는 질의 수를 최소화하는 것입니다. 이 설정은 질의가 유권자 면접에 해당하는 출구 조사를 포괄하며, 질의 복잡도 및 속성 테스팅(property testing)의 문제들과 밀접하게 연관되어 있습니다. 선거의 승리 마진이 최소 eps N이라고 가정할 때, Dey, Kar, Sanyal(AAMAS 2023)은 후보자가 두 명인 경우에 대해 오류 확률 del과 질의 복잡도 tilde{O}(1/eps^6 log^2 1/del)를 갖는 알고리즘을 제시했으며, 이는 선거구 인구가 균형을 이룬다는 추가 가정 하에 tilde{O}(1/eps^4 log^2 1/del)로 향상됩니다. 본 논문의 주요 결과는 임의의 선거구 기반 선거와 임의의 오류 매개변수 del에 대해, 적어도 1-del의 확률로 tilde{O}(1/eps^2 log m/del log 1/del)개의 질의를 사용하여 승자를 정확하게 예측하는 적응형 무작위화 알고리즘(adaptive randomised algorithm)입니다. 특히, 임의의 선거구 인구 구성에 대해 Dey 등의 상한을 개선하고 그 결과를 임의의 후보자 수로 확장합니다. 나아가 상수 개의 후보자에 대해 본 알고리즘은 후보자가 두 명이고 단일 선거구인 경우에도 성립하는 질의 복잡도 하한인 Omega(1/eps^2 log 1/del)에 거의 근접합니다.
최근 ML(기계학습) 연구는 추론(inference) 시간에 유전 알고리즘을 적용하여 최적화 문제의 해를 반복적으로 개선합니다. 여기에 포함된 기본 돌연변이(mutation) 및 재결합(recombination) 연산자는 기존에 연구된 것들과 질적으로 다릅니다. 돌연변이는 더 이상 무작위가 아니며, ML 알고리즘은 목적함수(objective)를 개선하는 목표로 해를 변형합니다. 마찬가지로, 재결합은 부모 해의 무작위 조합에 기반하지 않습니다. 대신, 이는 입력으로부터 개선된 해를 종합하는 것을 목표로 하는 ML 기반 최적화 연산자입니다. 따라서 이러한 돌연변이 및 재결합 연산자는 목적함수를 개선할 가능성이 더 높지만, 계산 비용이 훨씬 높습니다. 우리는 유전 알고리즘의 일반적인 모델을 소개하고, 강화학습(reinforcement learning)의 언어를 사용하여 이 모델 내의 최적화를 쿼리 복잡도(query-complexity) 문제로 공식화합니다. 그런 다음 특화된 모델들을 연구합니다. 일부 최적화 문제는 해결하기 위해 생성(generation), 돌연변이, 재결합이 필요함을 보여줍니다. 그 후 이 프레임워크 내에서 문제군에 대해 질적으로 타이트한(tight) 알고리즘을 얻으며, 이는 실용적인 ML 유전 알고리즘의 핵심 특징인 해 풀(solution pool) 내 다양성(diversity)의 중요한 역할을 포착합니다.
복잡한 확률 분포로부터 효율적으로 샘플링하는 문제는 근본적인 문제로, 최근 생성형 AI의 부상과 함께 대규모 언어 모델(LLM)의 정교한 샘플링 절차가 어려운 추론 문제를 해결하기 위해 제안됨에 따라 점점 더 관련성이 높아지고 있습니다. 그러나 이러한 샘플링 알고리즘의 효과는 LLM과 해당 특정 샘플링 작업 간의 관계에 의해 제한받으며, 이는 테스트 타임 학습(TTT) 프레임워크를 동기로 이어졌습니다. TTT는 추론(inference) 시간에 수신된 부분 생성(partial generations)과 보상(reward) 피드백에 따라 모델의 가중치를 업데이트하여 작동하며, 이를 통해 특정 문제에 적응합니다. 본 연구에서는 $μ^\star$에 대한 근사 밀도 추정치를 제공하는 오라클(oracle) $\hat μ$가 주어졌을 때, 알려진 분포 클래스 ${F}$에 속하는 주어진 확률 측도 $μ^\star$로부터 샘플을 생성하는 문제로서 TTT의 형식화를 제안합니다. 이는 Jerrum, Valiant & Vazirani (1986)와 Jerrum & Sinclair (1989)의 획기적인 연구에서 다루어진 샘플링을 근사 계수(approximate counting)로 축소하는 문제와 밀접하게 관련되어 있습니다. 즉, ${F}$가 모든 분포의 클래스인 경우, 이는 앞서 언급한 계수-샘플링 축소(counting-to-sampling reduction)와 정확히 일치합니다. 본 논문에서는 먼저 $\hat μ$에 대한 쿼리 접근이 주어졌을 때 $μ^\star$로부터 샘플링하는 쿼리 복잡도에 대한 이차 하한(quadratic lower bound)을 보여줍니다(충분히 큰 클래스 ${F}$에 대해). 이를 통해 Jerrum & Sinclair (1989)가 제안하고 Hayes & Sinclair (2010)가 개선한 랜덤 워크(random walk) 접근법이 최적임을 입증합니다. 이는 Hayes & Sinclair가 제기한 미해결 문제에 대한 답이 됩니다. 그 후, ${F}$의 크기가 적절하게 제한된 경우 이 하한을 우회할 수 있음을 보여줍니다. 논의하는 바와 같이, 후자의 결과는 TTT의 추상화로 볼 수 있으며, 따라서 TTT를 위한 원칙에 기반한 이론적 프레임워크 개발의 시작점을 나타냅니다.