$d_1,\dots,d_m$을 $\mathbb{R}^k$의 방향이라 하자. 단, $k\ge 2$이다. $\mathbb{R}^k$의 점 $n$개로 이루어진 다중집합 $X$는 $m$개의 수 다중집합 $\{\{x\cdot d_j : x\in X\}\}$으로 사영되며, 이는 이 수들의 정렬된 목록 $m$개로 사영되는 것과 동치이다. 이 사영들이 $n$개 점으로 이루어진 모든 다중집합을 결정하려면 몇 개의 방향이 필요한가? 모든 차원에서 두 가지 단순한 경계가 알려져 있다. 즉, $(k-1)\log_2 n$개보다 많은 방향이 항상 필요하고, 일반 위치의 방향 $(k-1)n+1$개면 언제나 충분하다. 평면에서는 훨씬 많은 것이 알려져 있는데, Matousek, Privetivy, Skovron은 거의 모든 $O(\log n \log\log n)$개 방향 선택이 충분함을 보였다. 더 높은 차원에서 유사한 결과가 성립하는지는 Dym, Wellershoff, Tsoukanis, Levy, Balan에 의해 미해결로 남겨졌다. 우리는 무작위 선형 부호의 목록 복구에 대해 증명된 Hair와 Sahai의 두 보조정리가 그 질문에 답함을 관찰하고, 그들의 논증을 보강하여 모든 차원에서 거의 모든 $(4k-2)\ln(2n)\ln(k\log_2 2n)+k+1$개 방향 선택이 충분함을 보인다. $k\le 10$에서는 $n$이 약 100보다 크면 이것이 선형 경계보다 우수하다. 예를 들어 평면에서 1000개 점의 다중집합에는 144개 방향이면 충분하며, 정확한 계산으로는 이를 133개로 낮춘다. 그들의 논증에서 일부 무작위 블록이 실패하도록 허용하면 $\log k$ 인자가 제거되어, $k$와 $n$에 대해 균등하게 거의 모든 $O(k\log n\log\log n)$개 방향 선택이 충분하다. 또한 $2k-1$개 방향은 세 점을 결코 결정하지 못하므로 로그 하한이 타이트하지 않음을 보이고, 평면의 임의의 $m$개 방향이 크기 $O(1.65^m)$인 어떤 다중집합 쌍에서 실패함을 보여 Matousek, Privetivy, Skovron의 $O(1.80^m)$ 경계를 개선하며, 각 $k$, $m$, $n$에 대해 거의 모든 $m$개 방향 선택이 작동하거나 거의 어느 것도 작동하지 않음을 보인다.
확산 모델은 복잡한 데이터 분포를 포착하고 표본을 생성하는 능력으로 생성 모델링을 변화시켰다. 이러한 성공은 영상 및 센싱 분야의 매우 부정정(ill-posed) 역문제에 대한 표현력 있는 사전분포로서 사전 학습된 확산 모델을 사용하는 데 대한 상당한 관심을 불러일으켰다. 강력한 경험적 성능에도 불구하고 이 접근법에 대한 이론적 이해는 여전히 제한적이다. 기존의 보장은 점근적이거나 최악의 경우 엄청난 계산 비용을 수반하는 경우가 많다. 본 논문에서는 압축 센싱의 고전적 문제인, 소수의 선형 측정으로부터의 희소 복원을 연구함으로써 이러한 간극을 해소한다. 희소성을 촉진하는 베르누이-가우시안 사전분포를 포착하는 정확한 확산 모델이 주어졌을 때, 우도 유도 어닐링 랑주뱅 샘플러가 광범위한 무작위 및 결정론적 센싱 행렬 계열에 대해 거의 최적의 표본 복잡도로 다항 시간 내에 희소 신호를 증명 가능하게 복원함을 보인다. 신호가 실제로 가정된 사전분포에서 추출된 경우, 최종 잡음 제거 단계 이후 사후분포 샘플링에 대한 전체 변동 보장도 추가로 수립한다. 이러한 결과는 확산 사전분포를 이용한 통계적, 계산적으로 효율적인 역문제 해법의 이론적 토대를 마련한다.
효율적인 학습과 추론이 반드시 간결한 확률 회로를 의미하는 것은 아니다. 본 논문은 $d$개의 간선을 가진 알려진 정사각 격자에서 인접한 잠재 스핀 간 일치 여부에 대한 연속적인 잡음 관측에 대해 이 차이를 정량화한다. 주변분포가 알려져 있고 채널이 유계 립시츠 조건을 만족할 때, $N$개의 독립 벡터로부터의 미니맥스 제곱 헬링거 위험은 신뢰도 하한 없이 $\Theta(\min\{1,dN^{-2/3}\})$이다. 스플라인 추정량은 고정된 양의 신뢰도 하한이 주어지면 다항 산술 시간에 이 비율에 도달하며, 지수 크기의 혼합은 그 요건을 제거한다. 고정된 양의 신뢰도에서 비음수 분해 가능 회로는, 각 리프가 최대 $\alpha d$개의 좌표만 사용하는 경우에도($0<\alpha<1$) 1 미만의 고정된 전변동 오차를 위해 $\exp(\Theta(\sqrt d))$개의 노드를 필요로 한다. 고정된 $r>1$ 및 $0<\alpha<2/3$에 대해, 최대 $d^r$개의 노드와 리프 범위 $\ell\leq\alpha d$에서 최적 쿨백–라이블러(KL) 근사 오차는 어느 방향이든 $\Theta(d/\max\{\log d,\sqrt\ell\})$이다. 노드 수에는 리프 계산이 포함되지 않는다. 고정된 세 마스크에 대해 $\ell\leq(\log d)^2$일 때 최적 결합 조건부 KL은 $d/\log d$ 차수이다. 국소 사이클 항등식은 결합 발산을 식별 가능한 채널 곱과 연관시키고, 약한 채널의 복원을 밀도 추정과 분리한다. 인수분해된 증거는 평면 무자기장 이징 모델을 보존한다. 국소 적분이 주어지면 정확한 질의는 $O(d^{3/2})$ 번의 산술 연산과 한 번의 제곱근 계산으로 수행된다.
서로 다른 자원 예산에 걸쳐 AI 모델을 비교하면 오차를 지연 시간, 파라미터 수, 학습 연산량, 에너지와 연결하는 품질-자원 프런티어가 얻어진다. 오프셋 멱법칙은 이러한 프런티어를 요약하지만, 적합된 파라미터는 가격에 독립적인 기하 구조도, 트레이드오프가 여러 자원 채널로 확장되는 방식도 드러내지 못한다. 본 논문은 이러한 구조를 명시적으로 드러내는 미분 이론을 전개하여 두 가지 공백을 모두 해소한다. 각 프런티어는 유효 활성 자원 채널 수 $N_{\mathrm{eff}} = s^2/\kappa$(기울기의 제곱을 곡률로 나눈 값)를 잔여 로그 오차 깊이 $\Delta S = \ln(\varepsilon/\varepsilon_{\infty})$와 연결하는, 가격에 독립적인 평면 곡선 표현을 갖는다. 이 표현은 본질적인 형태를 자원 축의 척도 및 원점과 분리한다. 완전 단조성과 가분성은 미분 부등식과 프런티어 경계를 도출한다. $N$개의 자원 각각이 하나의 활성 채널을 기여할 때, 이 이론은 전달 단위에서 매개변수가 없는 운영 규칙 $N_{\mathrm{eff}} = 1$을 제시하고, 정확한 최악 후회 $\ln(N+1)$ nat를 갖는 미니맥스 자원 가격 $\lambda^{\star}_i = \alpha_i/(N+1)$을 유도한다. 이 결과는 임의로 정한 교환 비율 없이 측정된 프런티어를 해석하고 자원 비용을 비교할 수 있게 한다. 이 이론은 117개의 발표된 프런티어에서 평가되었으며, 측정된 품질과 비용으로부터 가격을 도출하고 후보를 순위화하며 지지되는 선택과 미니맥스 후회를 보고하는 오픈소스 패키지 nn-rank로 구현되었다: https://github.com/ABrain-One/nn-rank
알고리즘 통계학에서 강한 모델은 본질적으로 $\{0,1\}^n$의 단순한 분할의 셀이다. 본 연구는 대칭성에서 유래하는 분할, 즉 문자열에 작용하는 군의 궤도 분할과 그로부터 유도되는 구조 함수 $h^G_x$를 연구한다. 집합이 이러한 분할의 셀인 것은 그 집합의 집합별 안정자군이 그 위에 추이적으로 작용할 때 그리고 그때에 한하므로, $h^G_x$는 $G$-동차 집합으로 제한된 콜모고로프 구조 함수이다. 전체 대칭군의 경우 이는 모든 모델과 정확히 강한 모델들을 복원한다. $GL(n,2)$의 경우 셀은 선형 동차 집합이며, $h^{GL}_x$는 $C(x)-\alpha$와 $n-\alpha$ 사이의 띠에 놓이고 양쪽 경계가 모두 달성되며, 일부 확률적 정규 문자열은 선형 대칭성에는 보이지 않는 단순한 구조를 가진다. 각 순열군을 배치를 갖는 번사이드 환 유형으로 기술함으로써, 탐색할 수 있을 만큼 작은 대칭성 가설 공간은 단순한 구조를 놓칠 만큼 작다는 것을 보인다. 마지막으로 궤도 모델 탐색을 부분군 격자 위의 가치 추정으로 정식화하며, 계산 가능한 한계, 검증된 학습 목표, 그리고 몬테카를로 트리 탐색의 격자 버전을 제시한다.
전자기(EM) 재구성 가능 안테나는 소자마다 여러 후보 방사 패턴을 제공하여 추가적인 EM 영역 자유도를 도입한다. EM 영역 프리코딩으로 구현되는 방사 패턴 재구성 기능을 기존의 하이브리드 아날로그-디지털 프리코딩과 통합하면 트라이-하이브리드 다중 입출력(MIMO) 프리코딩이 되며, 이는 광대역 다중 사용자 MIMO 직교 주파수 분할 다중화(OFDM) 시스템의 주파수 효율을 크게 향상시킬 수 있다. 그러나 EM, 아날로그, 디지털 프리코딩의 공동 설계는 여전히 어렵다. 이를 해결하기 위해 본 연구는 합성곱 신경망의 국소 모델링 강점과 트랜스포머의 전역 의존성 모델링을 결합한 신흥 신경망 구조인 Conformer에 기반한 트라이-하이브리드 프리코딩 네트워크(Tri-PNet)를 제안한다. 나아가 두 가지 대표적인 방사 패턴 모드, 즉 비정규 모드와 3GPP(3rd Generation Partnership Project) 기술 보고서(TR) 38.901 모드를 조사한다. Tri-PNet은 평균 합 주파수 효율을 최대화하여 EM, 아날로그, 디지털 프리코딩을 공동으로 학습하도록 비지도 방식으로 훈련된다. 방사 패턴 선택 네트워크(RPSNet)는 Conformer 인코더를 사용하여 국소 및 전역 주파수 영역 상관관계를 모두 포착하며, 하이브리드 아날로그-디지털 프리코딩 네트워크(HPNet)는 교차 어텐션과 이중 경로 처리를 특이값 분해(SVD) 및 영점 강제(ZF) 사전 정보와 결합한다. 두 방사 패턴 모드 모두에서의 시뮬레이션 결과, Tri-PNet은 무작위 EM 프리코딩과 EM 프리코딩이 없는 기존 하이브리드 MIMO를 능가하고, 온라인 복잡도를 크게 낮추면서도 탐욕적 EM 프리코딩 탐색 기법에 근접하며, 불완전한 채널 상태 정보(CSI)에서도 강건함을 보인다.
대규모 언어 모델(LLM)은 학계 연구와 산업 모두에서 점점 더 중요한 역할을 하고 있다. 신뢰할 수 있는 평가는 연구자가 모델의 능력을 이해하고 모델 개발 과정에서의 진전을 평가하는 데 도움이 된다. 그러나 평가에는 비용이 많이 들 수 있으며, 연구자는 종종 고정된 예산 내에서 성능을 평가해야 한다. 모델의 출력은 실행마다 달라질 수 있으므로, 이 예산은 서로 다른 과제를 테스트하는 일과 선택된 과제를 반복하는 일 사이에 배분되어야 한다. 신뢰구간은 그 결과로 얻은 성능 추정치의 불확실성을 정량화한다. 같은 신뢰수준과 평가 비용에서 더 좁은 구간을 얻으면 모델 성능을 더 정밀하게 평가할 수 있으며, 연구자가 제한된 관측으로부터 더 명확한 결론을 도출하는 데 도움이 된다. 본 논문은 전체 과제를 포괄하는 경우와 그렇지 않은 경우 모두에 대해, 고정된 평가 예산을 과제와 반복 실행에 배분하는 프레임워크를 제안한다. 이 프레임워크는 동일한 과제에 대한 실행 간 불일치를 이용하여 추정 오차의 한계를 정하며, 표본으로 추출된 반복 실행의 변동이 작을 때 같은 신뢰수준에서 더 좁은 신뢰구간을 얻을 수 있게 한다. 각 과제에서 반복 실행이 동일한 결과를 낼 때, 과제 수와 반복 예산이 증가함에 따라 본 프레임워크가 최악의 경우에 신뢰구간을 좁히는 이론적으로 가능한 가장 빠른 속도를 달성함을 증명한다. 또한 모든 과제를 반드시 포괄해야 하는 경우와 과제를 건너뛸 수 있는 경우 모두에 대해, 평가자가 이전 결과를 이용해 다음에 수행할 실행을 결정하더라도 성립하는 일치하는 하한을 증명한다. LiveCodeBench에서 본 프레임워크는 16개 모델 구성 중 15개에서 균등 무작위 샘플링보다 평균적으로 더 좁은 신뢰구간을 도출하였으며, 같은 신뢰수준과 구성당 1,100개 출력이라는 동일한 예산에서 폭이 중앙값 기준 30.6% 감소하였다.
학습 아키텍처는 표현 가능한 모델들에 대한 사전분포를 유도한다. 최근 연구는 아키텍처의 성공을 넓은 복잡도 스펙트럼, 즉 여러 자릿수에 걸친 모델 확률과 연결한다. 깊이가 이러한 사전분포와 예측을 어떻게 형성하는지 이해하면 신경망과 트랜스포머의 성공을 설명하는 데 도움이 될 수 있다. 우리는 독립적인 균등 심플렉스 벡터들을 좌표별로 곱한 뒤 정규화하는 *계층형 심플렉스 아키텍처*(layered simplex architecture, LSA)를 통해 대규모 알파벳 예측에서 이 연결을 연구한다. 깊이 0에서 사전분포는 균등분포에 집중되고, 깊이 1에서 베이지안 예측기는 라플라스 규칙이 된다. 층이 하나 추가될 때마다 사전분포 질량은 더 집중된 분포 쪽으로 이동한다. 우리는 재사용 가능한 깊이별 커널을 이용해 정확한 베이지안 주변 가능도와 후회(regret) 표현식을 유도한다. 알파벳 크기에 대해 로그 수준인 절단 깊이까지 깊이를 혼합하면 엄밀한 보장을 갖는 명시적 예측기가 얻어진다. 지정된 희소 지지집합 위에서 균등한 대상에 대해, 혼합 모델의 사전 복잡도는 모든 고정된 양의 KL 해상도에서 지지집합 기술 비용에 점근적으로 일치하며, 이는 넓은 복잡도 스펙트럼을 확립한다. 또한 모든 라벨 불변 예측기에 대한 후회 하한을 증명하는데, 이는 발견된 기호 집합의 기대 기술 길이에서 그 크기가 주어졌을 때 그 정체에 대한 소스의 불확실성을 뺀 값이다. 알파벳이 커지는 영역의 Zipf 소스에서 깊이 혼합은 이 하한을 선도 차수에서 달성한다. 따라서 기호 발견률이 후회 지수를 결정한다. LSA 예측기는 깊이를 연구하기 위해 도입되었음에도, Good–Turing, Ristad 법칙, 적응형 디리클레 혼합 등 기존 대규모 알파벳 방법과 경쟁하며, 집중된 소스에서는 고전적인 상수 가산 규칙을 크게 능가한다.
본 논문은 대칭군 설정에서 고전적 부호화 정리(Coding Theorem)의 직접적인 유사물을 확립한다. 이진 문자열 집합 위의 계산 가능한 전단사 함수를 고려하고, 문자열 x의 대칭 사전확률(symmetry prior)을 주어진 군 G에서 무작위로 선택한 대칭이 x를 유일한 고정점으로 가질 확률로 정의한다. 우리는 임의의 고정 수축 가능(fix-retractable) 대칭군 G, 즉 모든 문자열에 대해 고립 대칭을 선택하는 계산 가능한 단면(section)을 허용하는 군에 대해, 대칭 사전확률이 보편적인 하반계산 가능 준측도임을 보인다. 이 경우 기하학적 부호화 정리가 성립한다. 이 결과는 해당 문자열을 유일한 고정점으로 갖는 대칭으로 문자열을 기술하는 복잡도가 그 콜모고로프 복잡도와 같음을 보인 Trejo, Kreinovich, Longpré의 정리를 부호화 이론적으로 다시 서술한 것이다. 우리의 기여는 이를 알고리즘적 확률의 관점에서 재구성하고 대칭군을 매개변수로 다루며, 대칭 복잡도가 콜모고로프 복잡도로 붕괴하는 정확한 조건으로서 고정 수축 가능성을 규명한 데 있다.
차세대 무선 네트워크에서는 기기 밀도가 증가하고 스펙트럼 자원이 제한되어, 무선 전자기 환경에서 취약한 합법적 통신 링크에 심각한 재밍 문제가 발생한다. 특히 재밍이 시간 및 주파수 영역 모두에서 파일럿 심볼과 데이터 심볼에 겹치면 수신기 측의 결합 추정과 검출에 심각한 병목이 생긴다. 기존 방식은 이러한 재밍 오염에 대응할 효과적인 프레임워크가 부족하여 신뢰할 수 있는 전송을 보장하지 못하는 경우가 많다. 이 문제를 해결하기 위해 재밍에 강인한 직교 주파수 분할 다중화(OFDM) 수신기를 위한 브라운 브리지 확산 보조 결합 채널 추정 및 데이터 검출(BBD-JCED) 프레임워크를 제안한다. 제안 프레임워크는 재밍 억제 모듈과 브라운 브리지 결합 복원 모듈로 구성된다. 전자는 단시간 푸리에 변환(STFT) 영역에서 재밍에 오염된 빈을 식별하고 스펙트럼 노칭을 통해 지배적인 재밍 성분을 억제한다. 후자는 브라운 브리지 기반 확률 그래프를 구성하여 억제된 OFDM 관측에서 부호화된 비트로의 확률적 전이 과정을 모델링하고, 역방향 복원 과정을 수행하여 향상된 결합 채널 추정 및 데이터 검출을 가능하게 한다. 또한 다루기 어려운 비트 추정 문제를 다루기 쉬운 학습 목적 함수로 재구성하는 변분 하한(VLB)을 유도하여 손실 함수 설계의 확률적 토대를 제공한다. 나아가 재밍 억제 모듈과 브라운 브리지 결합 복원 모듈을 개별적으로 최적화하기 위한 2단계 학습 알고리즘을 개발한다. 대표적인 재밍 유형에 대한 시뮬레이션 결과, 제안 프레임워크는 경쟁력 있는 추론 복잡도를 유지하면서도 고려한 기준 방식보다 우수한 재밍 억제 및 비트 복원 성능을 달성함을 보여 준다.
신경망은 왜 매개변수 노름이 작을 때 더 잘 일반화되는가? 우리는 상수 정밀도 가중치를 갖는 루프형 신경망에서, 어떤 함수를 계산하는 네트워크의 최소 가중치 노름이 점근적으로 그 함수의 콜모고로프 복잡도를 그 로그로 나눈 값과 동등함을 증명한다. 증명은 두 가지 환원으로 이루어진다. 루프형 신경망은 희소성 패턴을 통해 0이 아닌 매개변수당 로그 개수의 비트라는 비율로 정보를 인코딩할 수 있으며, 반면 임의의 고정 정밀도 네트워크는 로그 수준의 주소 지정 비용으로 0이 아닌 매개변수를 열거함으로써 기술될 수 있다. 두 한계는 동일한 선도 상수 인자를 가지므로 점근적 동등성이 성립한다. 더 나아가 노름 최소화와 알고리즘적 단순성 사이의 이론적 연결을 확립함으로써, 현대 딥러닝에서의 일반화를 이해하기 위한 길을 제시한다.
엣지 무선 액세스 포인트(AP)에서 추가 비용 없이 물리 계층 인증을 수행하면 자원이 제한된 사물인터넷(IoT) 송수신기를 인증 정보 복제로부터 보호할 수 있다. 그러나 IEEE 802.11a/g의 도메인 간 무선 주파수 지문 식별(RFFI)에서는 신호 대 잡음비(SNR)에 따라 유리한 신호가 뚜렷하게 바뀐다. 전력 증폭기로 인해 비어 있는 널 부반송파에 나타나는 스펙트럼 재성장은 높은 SNR에서 실내 다중 경로의 영향을 견디지만 열잡음 바닥 아래에서는 이차적으로 약해진다. 신호가 실린 대역 내 활성 프리앰블은 낮은 SNR에서도 검출되지만 심한 다중 경로에서 성능이 떨어진다. 두 신호를 고정 방식으로 융합하면 성능이 최대 44.7%포인트 떨어진다. 우리가 아는 한 처음으로, 사전 정보 없이 물리적 SNR을 추정하는 게이트로 대역 내 활성 파형과 빈 널 부반송파의 재성장 신호를 동적으로 조절하는 RFFI 프레임워크를 제안한다. 플러그인형 게이트 기반 부대역 분리 융합과 비레이블 수신 데이터 기반 프로토타입 보정(GSDF-CAPC)이다. GSDF는 공동 학습에서 발생하는 20~35dB의 부대역 그래디언트 불균형을 피하고자, 동결된 사전학습 호스트 백본에 매개변수 4만 6,300개의 널 부반송파 플러그인 인코더(NS-Branch)를 연결한다. 원천 도메인에서 보정한 지연 64의 열잡음 SNR 게이트로 스케일을 표준화한 로짓과 게이트로 변환한 구면 임베딩을 융합한다. 낮은 SNR에서는 호스트의 결과로 정확히 되돌아간다. 대상 AP의 비레이블 수신 데이터에서는 순전파만 수행하는 비균형 최적 수송 보정(UOT-CAPC)이 패킷 도착 편향으로 이동한 프로토타입을 정렬한다. 패킷이 고르게 분배되면 매개변수가 필요 없는 균형 싱크혼 방식(U-CAPC)과 일치한다. DataPort-WiFi, WiSig, ORBIT MobRFFI에서 재학습하지 않은 GSDF는 백본 여덟 개의 짝지은 실행 72회 모두에서 우세했으며, 낮은 SNR에서의 성능 손실은 0.00%포인트였다. 엣지용 IB-Host + GSDF(활성 매개변수 9만 2,600~9만 3,300개, 단일 코어 CPU 지연 1.82ms)와 타이밍을 동기화한 GSDF-STO 및 GSDF-Tri의 세 벤치마크 매크로 F1은 57.50~65.05%였다. 패킷 5~10개로 이루어진 IoT 버스트에서는 89.04~100.00%였다.
의미 통신(SC) 시스템은 의미를 담은 연속 잠재 표현을 전송한다. 그러나 자원이 제한된 엣지 장치에서 의미 인코더를 실행하려면 많은 에너지와 메모리가 필요하다. 이를 해결하기 위해 아날로그 RF 연산으로 클라이언트의 RF 수신 프런트엔드에서 의미 인코더를 실행하는 종단 간 의미 통신 프레임워크를 제안한다. 기지국(BS)이 인코더 가중치를 RF 파형으로 방송하면, 각 엣지 장치는 수신기의 수동 믹서를 재사용해 매우 적은 에너지로 의미 잠재 표현을 계산한다. 이 표현은 상향 링크로 전송되고 네트워크에서 과제 추론에 사용된다. 인코더의 여러 층에서 발생하는 아날로그 연산 잡음과 전송된 잠재 표현에 영향을 주는 채널 잡음을 하나의 수학 모델로 표현할 수 있음을 보인다. 과제의 사후분포를 바탕으로 의미 왜곡 평가지표를 정의하고, 이를 클라이언트와 단계별 의미 민감도로 2차 분해하는 식을 유도한다. 이 분해를 사용해 전체 클라이언트 에너지 예산을 클라이언트, 인코더 층 및 상향 링크에 나누는 의미 인식 워터필링 할당의 닫힌 형태 해를 구한다. 의미에 민감한 단계에는 더 엄격한 정확도 목표를 할당한다. 이에 따라 클라이언트별·층별 정확도 요구를 고려하는 방송 빔포밍 문제가 생긴다. 확률적 최적화로 할당을 더 개선하고, 잡음을 고려하는 공유 의미 모델의 다중 과제 학습과 함께 설계한다. MNIST 시뮬레이션에서 전체 클라이언트 에너지가 같을 때 제안한 할당은 균일 정밀도 대비 네트워크 의미 왜곡을 9.2~19.2%, 클라이언트 간 차이를 고려하지 않는 할당 대비 5.1~13.1% 줄였다. 잡음을 고려한 공동 설계는 왜곡을 추가로 46% 줄였다.
한 번 쓰고 여러 번 읽는 텐서를 위한 저비트 양자화 형식인 계산형 순열 트렐리스 부호화(CPTC)를 제안한다. INT4와 FP4처럼 각 값을 따로 반올림하는 형식은 정보 이론의 최적값에 비해 비트를 상당히 낭비한다. 트렐리스 부호는 값을 함께 부호화해 이 손실을 회복하지만, 기존 디코더는 최고 품질을 내려면 큰 참조 테이블이 필요하거나 해시로 값을 계산해 디코딩할 수 있는 값이 제한된다. CPTC 디코더는 상태에 두 계수를 각각 곱하고 곱셈 결과의 상위 비트를 더해 64바이트 테이블의 인덱스를 구한다. 합의 분포가 균일하지 않으므로 작은 테이블에서도 드물게 접근하는 양쪽 끝에 분포의 꼬리 값을 담을 수 있다. 디코더 하나로 1~6비트의 모든 비트 폭을 처리하고 표준 정수 및 부동소수점 형식을 정확히 재현한다. 4비트에서는 최적값과의 차이가 0.07비트 이내다. 테이블이 수천 배 더 큰 무작위 순열 트렐리스 부호와 대등하고 모든 QTIP 코드북을 앞선다. 미세조정 없이 Llama 3.1 8B와 70B Instruct의 가중치를 양자화했을 때, 시험한 모든 비트 폭에서 CPTC는 QTIP 코드북보다 원래 모델에 대한 KL 발산이 작았다. 감소 폭은 최대 27%였다. AWS Trainium 4 AI 가속기에 내장한 디코더는 시스톨릭 배열에서 차지하는 면적이 매우 작으면서 기본 FP4와 FP8 형식과 같은 처리량을 낸다. 융합 인코딩 커널은 GPU 한 개에서 매개변수 80억 개 모델의 선형 층을 2분 안에 양자화하며, 사이클 단위 시뮬레이션의 Trainium 4 칩 한 개에서도 같은 시간 내에 처리한다.
지도 심층 분류를 섀넌 의미의 오류 정정 부호 복호로 규정하는 통합 프레임워크를 제안한다. 교차 엔트로피 최적화는 소프트맥스 분류기를 최대 우도 복호와 정렬시키며, 이때 로짓은 클래스별 부호어까지의 해밍 거리에 대응함을 보인다. 이러한 대응은 표준 발산 목적함수(예: Kullback-Leibler, Jeffreys, Bregman)의 등장을 설명하고, 결정 경계의 안정성에 대한 기하학적 근거를 제공한다. 더 나아가 Neural Collapse와 LeJEPA의 기하 구조가 등방성 잡음 하에서 복호를 위한 최적 성상(constellation)임을 규명한다. 고전적인 오류 정정 출력 부호(Error-Correcting Output Codes)와 달리, 심층 신경망은 특징 공간에서 효과적인 코드북을 암묵적으로 학습함을 보인다. 이러한 통찰을 활용하여 무손실 양자화, 개선된 지식 증류, 부호 중복성에 기반한 아키텍처 정규화를 위한 새로운 기준을 도출한다. 마지막으로 이 관점을 자기 지도 인코더로 확장하여, 현대 신경 모델에서 잠재 표현의 기하 구조에 대한 일관된 설명을 제시한다.
현대의 많은 기계학습 파이프라인에서는 풍부한 사전 학습 표현이 잡음이 있는 대리 공변량으로 쓰이는 반면, 과제별 레이블은 부족하다. 본 논문은 이러한 설정에서 준지도 회귀를 연구하며, 모든 대리 공변량으로부터 커널 고유특징을 학습하고 레이블된 데이터에 릿지 예측기를 적합하는 단순한 2단계 추정량을 제안한다. 대리 공변량의 섭동이 통제되고 레이블 없는 대리 공변량이 충분히 풍부할 때 빠른 레이블 표본 수렴률이 회복됨을 보이는 유한 표본 한계를 유도한다. 또한 분포 회귀가 직접적인 특수 사례임을 보이며, 유한한 백 크기가 충분히 클 때 유사한 보장이 성립함을 보인다. 실험은 특히 레이블이 적은 체제에서 지도 및 준지도 기준 방법들에 비해 일관된 이득이 있음을 보여준다.
본 논문은 배치와 통신 제약이 자연스럽게 결합된 확률적 선형 밴딧을 연구한다. 시간 지평은 크기가 $B$로 동일한 배치들로 나뉘며, 각 배치 동안 학습자는 요청한 $B$개의 팔 선택을 에이전트에게 보내고, 에이전트는 해당하는 $B$개의 보상을 관측한 뒤 학습자에게 단 1비트의 피드백으로 응답한다. 각 배치마다 학습자는 에이전트가 사용할 1비트 양자화 규칙을 지정하며, 이 규칙은 이전에 받은 모든 비트에는 의존할 수 있으나 과거의 보상에 직접 의존할 수는 없다. 이 설정은 라운드별 양자화만 있거나 총 비트 예산만 있는 기존 모델들 사이의, 중요하지만 탐구되지 않았던 ``중간 지대''를 다룬다. 노이즈가 없는 경우에도 1비트 통신 병목 때문에 $\Omega(B\min\{d,\log\lvert \mathcal{A} \rvert\})$의 후회가 불가피함을 보이는 미니맥스 하한을 증명한다. 표준적인 통계적 한계와 결합하면 $\widetilde{\Omega}(B\min\{d,\log\lvert \mathcal{A} \rvert\} + \sqrt{dT \min\{d,\log\lvert \mathcal{A} \rvert\}})$의 일반적인 하한이 도출된다. $G$-최적 설계와 1비트 평균 추정에 기반한 두 가지 단계적 제거 알고리즘을 개발한다. 첫 번째는 $\widetilde{O}(dB + d\sqrt{T})$의 후회를 달성하며 $\lvert \mathcal{A} \rvert = \exp(\Omega(d))$일 때 로그 인자를 제외하고 하한과 일치한다. 두 번째는 안전한 팔 식별과 웜스타트 절차를 도입하여 $\widetilde{O}(B\log\lvert \mathcal{A} \rvert + d^{3/2}\sqrt{B} + \sqrt{dT\log\lvert \mathcal{A} \rvert})$의 후회를 얻으며, 이는 $(\lvert \mathcal{A} \rvert, B, d, T)$의 폭넓은 스케일링 영역에서 거의 최적이다. 종합하면, 본 결과는 배치 크기가 $\Theta(\sqrt{T})$만큼 큰 경우에도, 배치당 단 1비트의 피드백만으로 폭넓은 스케일링 영역에서 제약 없는 선형 밴딧의 미니맥스 후회에 거의 근접할 수 있음을 보여준다.
본 연구는 더 작은 학생 모델로의 지식 전이라는 맥락에서, 잡음이 있는 질의로부터 계층적 특징을 갖는 단일 은닉층 교사 네트워크를 학습하는 것의 정보 이론적 한계를 연구한다. 교사 네트워크의 폭 $k$ 가 입력 차원 $d$ 에 선형적으로 비례하는 고차원 영역을 다루는데, 이는 크지만 유한한 폭의 네트워크를 포착하는 설정으로 최근에야 해석적으로 다룰 수 있게 되었다. 전반적으로 수치적으로 검증된 휴리스틱 leave-one-out 분리 논증을 이용하여, 닫힌 형태의 고정점 방정식 체계를 통해 베이즈 최적 일반화 오차와 개별 특징 중첩도를 점근적으로 정밀하게 특성화한다. 이 방정식들은 특징의 학습 가능성이 일련의 급격한 상전이에 의해 결정됨을 보여준다. 즉, 데이터가 늘어남에 따라 교사의 특징들이 순차적으로 복원 가능해지며, 각각은 중첩도의 불연속적 도약을 통해 이루어진다. 이러한 순차적 획득은 주어진 데이터 규모 $n$ 에서 학습 가능한 특징의 수인 \textit{유효 폭} $k_c$ 라는 정밀한 개념의 기반이 되며, 이는 두 가지 서로 다른 스케일링 영역을 통합한다. 하나는 베이즈 최적 일반화 오차 $\varepsilon^{\rm BO}$ 가 $ n^{1/(2\beta)-1}$ 로 스케일링되는 특징 학습 영역이고, 다른 하나는 $n^{-1}$ 로 스케일링되는 정련 영역이다. 여기서 $\beta>1/2$ 는 거듭제곱 법칙 특징 계층의 지수이다. 두 법칙은 하나의 관계식 $\varepsilon^{\rm BO}=\Theta(k_c d/n)$ 로 통합된다. 또한 유효 폭 $k_c$ 근처에서 \textsc{Adam} 으로 학습한 학생 모델이 (작은 알고리즘적 격차를 제외하고) 이러한 최적 스케일링 법칙을 달성함을 실험적으로 보이고, 모델 크기에 따른 관련 스케일링에 대한 정보 이론적 설명을 제시한다.
공학, 사회, 자연의 상호작용 시스템의 동역학은 어떤 개체들이 상호작용할 수 있는지를 결정하는 잠재 네트워크 위에서 전개되는 경우가 많다. 우리는 금융, 지진학, 신경과학에서 자연스럽게 나타나는 사건 기반 관측으로부터 이러한 네트워크를 추론하는 문제를 연구한다. 이 중요한 문제를 다루는 알고리즘 연구는 상당히 많지만 이론적 결과는 드물다. 본 논문에서는 다음의 근본적인 질문을 던진다. 기저 네트워크를 정확히 복원하려면, 상호작용하는 개체 수 $d$의 함수로서 동역학을 최소 얼마의 시간 동안 관측해야 하는가? 희소하고 약한 상호작용을 갖는 정상 호크스 과정의 한 부류에 대해, $\log d$ 차수의 관측 시간이 충분하고 필요함을 증명한다. 상한을 위해 선별에 클리핑 및 구간화된 사건 데이터를 사용하고 이후 최소제곱 정련을 수행하는 2단계 추정량을 구성하며, 푸아송 군집 표현에서 도출한 집중 부등식을 적용한다. 하한을 위해 적절한 네트워크 부분 부류에서 파노 부등식과 점 과정에 대한 자코드의 기르사노프 공식을 결합한다.
본 논문은 양자화와 채널 오류가 있는 상황에서 고차원 임베딩을 압축하는 데 초점을 둔 무선 의미 통신 프레임워크를 소개한다. 완화한 가우스 정보 병목(GIB) 모델에 기반해, 타깃이 가우스 분포를 따르지 않을 때도 과제에 필요한 정보를 보존할 수 있는 해석적 해를 제시한다. 기존의 가우스 가정을 완화해 텍스트 임베딩처럼 이산적이고 복잡한 데이터도 효과적으로 압축할 수 있게 한다. 압축 행렬을 최적화하는 닫힌 형태의 그래디언트를 도출하고, 연속 표현과 이산 잡음 시스템의 성능을 연결하는 경계를 확립한다. 텍스트 분류 실험에서 제안한 방법은 과제에 관계없이 적용하는 양자화 기반 압축보다 나았다. 임베딩당 비트 예산이 적어도 의미 충실도를 높게 유지했다. 이 접근법은 범용 네트워크에 의미 통신을 배포하는 데 사용할 수 있으며, 확장 가능하고 해석하기 쉽고 자원을 효율적으로 쓴다.