언어 모델을 수신기에만 두고 송신기는 해시만 계산하는 방식이, 동일한 도메인에서 학습된 고전적 송신기보다 짧은 인간 텍스트를 더 저렴하게 전송할 수 있는가? 우리는 Taskmaster-1의 영어 사용자 발화 1,000개에 대한 한 번의 사전 등록 실험으로 이에 답한다. 주요 평가지표는 메시지의 100%를 전달하는 데 드는 메시지당 비용(해시 비트에 더해, 첫 시도가 실패하면 2바이트의 부정 응답과 원문 텍스트를 포함)이며, 도메인 내 PPM 1차 송신기와 쌍으로 비교한다. 해시 전용 송신기는 1,000개 메시지 중 857개를 첫 시도에 전달했고 메시지당 192.8비트가 들었으며, 이는 PPM 1차보다 18.4비트 많다(95% 부트스트랩 구간 10.9~26.3). 사전 등록된 규칙에 따르면 이 방식은 더 많은 비용을 쓰며 1바이트 이내로 동등하다고 할 수 없다. 부차적 결과로 우리는 측정된 송신기 메모리를 비트에 대해 지도화한다. 해시 전용 송신기(호스트 빌드에서 8,190 B이며, 모든 방법과 마찬가지로 키가 있는 BLAKE2b 태그를 포함)는 8,190 B부터 24,844 B의 PPM 1차 직전까지의 구간에서 비트 기준으로 가장 저렴한 지점이었고, smaz2와 Unishox2보다 45~46비트 낮았다. PPM 1차 이상에서는 16 KiB로 가지치기한 2차를 제외하면 도메인 내 송신기가 더 적은 비트를 쓴다. 전송 시간 기준으로는 가격을 매긴 다섯 개 링크 모두에서 PPM 1차에, 네 개에서 Unishox2에, 두 개에서 태그를 붙인 원문 텍스트에 뒤지는데, 각 실패마다 응답 프레임과 대체 프레임 비용이 들기 때문이다. 더 넓은 수신기 탐색은 실패의 절반을 복구하여 비용을 PPM 1차보다 7.7비트 낮추지만, 실패당 수신기 시간이 약 3분 걸리고 다섯 링크 중 네 곳에서는 여전히 전송 시간에서 뒤진다. 우리는 이 측정을 한계 설정으로 보고하며, 실험의 모든 이탈 사항을 함께 제시한다.
우리는 상태, 행동, 관측 공간이 유한한 유한 시계 부분 관측 마르코프 결정 과정(POMDP)의 계획 문제를 연구한다. 이 설정에서는 정확한 계획과 근사 계획 모두 계산적으로 어렵다고 알려져 있어, 선행 연구들은 계획을 쉽게 만드는 자연스러운 가정들을 탐구해 왔다. 최근 연구 [Golowich et al., 2022]는 관측 가능 POMDP에 대한 준다항식 시간 근사 계획 알고리즘을 제시하였다. 이는 관측 채널이 $\ell_1$-관측 가능성 조건을 만족하는 POMDP로, 특히 전이 동역학에는 어떠한 가정도 요구되지 않는다. 이와 유사한 맥락에서, 우리는 고정된 모든 $\rho>0$에 대해 $\rho$-디코딩 가능 POMDP에 대한 준다항식 시간 근사 계획 알고리즘을 제시한다. 우리는 디코딩 가능성이 $\ell_1$- 및 $\ell_2$-관측 가능성 모두로부터 함의되며 관측 가능성보다 엄밀하게 약한 조건임을 보인다. 나아가 최적 디코딩 가능성 상수는 다항식 시간에 계산할 수 있는 반면, 최적 $\ell_1$-관측 가능성 상수를 계산하는 것은 최악의 경우 NP-난해임을 보인다. 또한 [Golowich et al., 2022]의 접근법의 근간이 되는 빠른 필터 망각 보장이 $\ell_1$-관측 가능성에서 상수 $\ell_2$-관측 가능성으로 직접 확장되지 않음을 보인다. 따라서 디코딩 가능성은 확인하기 쉬운 통합적 가정으로서, 이 가정 하에서 POMDP에 대한 준다항식 시간 근사 계획이 가능하다.
우리는 로그 오즈가 과거 모든 입력의 선형 함수인 이진 표지의 순차 예측을 연구한다. 입력은 독립적인 균등 부호이다. $j$ 단계 이전에 관측된 입력의 계수는 알려져 있지 않지만, 그 절댓값은 알려진 수 $r_j$ 이하이고 $\sum_j r_j\le B$이다. 학습자는 참 조건부 확률의 손실을 초과하는 기대 누적 로그 손실로 평가된다. 우리는 모든 수열 $r$과 모든 시간 지평 $T$에 대해, 이 후회(regret)의 미니맥스 값이 $c\,\Gamma_T(r)/\max\{1,B^2\}$와 $\frac12\Gamma_T(r)$ 사이에 있음을 보인다. 여기서 $\Gamma_T(r)=\sum_{j\le T}\log(1+(T-j+1)r_j^2)$이고 $c$는 절대 상수이다. 지연 $j$에 대한 항은 크기 한계 $r_j$와 해당 지연이 예측에 영향을 미치는 라운드 수 $T-j+1$을 결합하며, $r$에 대한 단조성이나 다른 규칙성은 필요하지 않다. 상한은 독립적인 가우시안 사전분포를 갖는 베이즈 혼합으로 달성된다. 하한에 대해서는 각 예측 단계에 van Trees 부등식을 적용한 뒤, 행이 지연된 입력 벡터인 확률 행렬의 기대 로그 행렬식을 유계화한다. 또한 $\frac12$이 정확한 선행 상수가 되는 조건도 특성화한다. 공통 한계 $B$(이는 $T$에 따라 변할 수 있다)를 갖는 포락선에 대해, 후회가 $\frac12\Gamma_T(r)$에 점근적으로 일치할 필요충분조건은 $\sum_{j\le T}\min\{1,(T-j+1)r_j^2\}=o(\Gamma_T(r))$이다. 예를 들어 $r_j=Ae^{-\alpha j}$인 경우 $\log^2(A^2T)/(8\alpha)$를 얻는 반면, $s>1$인 $r_j=Aj^{-s}$의 경우 후회는 $T^{1/(2s)}$ 차수이며 $\Gamma_T(r)$에 대한 그 비율은 $\frac12$ 아래에 머문다. 마지막으로, 시간 지평이 알려진 경우 $r_j$로 특징을 스케일링한 온라인 뉴턴 예측기는 라운드당 다항식 계산량으로 $\Gamma_T(r)$ 차수의 후회를 달성한다.
대규모 언어 모델의 평가는 점차 LLM-as-a-judge 프로토콜에 의존하지만, 이러한 평가는 여전히 비용이 많이 든다. 심사자마다 가격과 신뢰도가 다르고, 각 프롬프트-응답 쌍의 난이도도 크게 다를 수 있기 때문이다. 이는 기본적인 할당 문제를 제기한다. 고정된 예산 하에서 가장 정확한 점수 추정치를 얻으려면 이질적인 심사자와 인스턴스에 평가 질의를 어떻게 분배해야 하는가? 우리는 이 문제를 독립적이고 불편인 점수 관측 하에서의 예산 제약 이분산 다중 심사자 추정으로 정식화한다. $K$개의 프롬프트-응답 쌍과 비용은 알려져 있으나 질의-심사자 분산은 알려지지 않은 $J$명의 심사자가 주어졌을 때, 우리의 목표는 $\ell_p$ 오차를 최소화하면서 유계 점수 벡터를 추정하는 것이다. 첫 번째 기여는 역분산 가중 추정량(IVWE)을 분석하고 그 주요 오차 상계를 최소화하는 오라클 할당을 도출하는 것이다. 이 할당은 알려지지 않은 분산에 의존하므로, 우리는 분산을 모르는 설정을 다루기 위해 경험적 할당을 안정화하는 낙관적 분산 추정치를 구성하여 사용하는 적응형 알고리즘 EST-IVWE를 제안한다. 우리는 EST-IVWE가 예산에 대한 저차 항을 제외하고 오라클 IVWE의 속도와 일치함을 증명한다. 두 번째이자 핵심적인 이론적 기여는 주요 할당 의존 속도와 일치하는 국소 미니맥스 하한으로, 로그 인자를 제외한 점근적 인스턴스 최적성을 확립한다. 국소적이고 분산을 보존하는 섭동에 기반한 Assouad 유형의 구성은 이 하한을 기댓값과 상수 확률 모두에서 도출한다. 보완적인 Fano 유형의 측도 변환 논증은 다른(차선의) 할당 기하 구조로 신뢰 수준에 대한 로그 의존성을 포착한다. 마지막으로 합성 데이터와 재표집한 HelpSteer2 평가에서 우리의 접근법을 수치적으로 검증하여, 단순 균등 할당 대비 개선을 보인다.
대규모 파운데이션 모델의 성공은 AI 네이티브 6G 네트워크 설계의 새로운 패러다임, 즉 물리 계층 설계를 위한 무선 파운데이션 모델을 촉진하고 있다. 그러나 기존 모델은 대체로 다중경로 성분이 중첩되고 구조적으로 얽혀 있는 공간-시간-주파수(STF) 영역의 채널 상태 정보(CSI)에서 동작한다. 이는 보편적인 채널 표현의 학습을 방해한다. 또한 전역 어텐션에 의존하여 과도한 오버헤드가 발생한다. 본 논문에서는 지연-도플러-각도(DDA) 영역의 공중 인터페이스 파운데이션 모델인 AirFM-DDA를 제안한다. AirFM-DDA는 CSI를 DDA 영역으로 재매개변수화하여 물리적으로 의미 있는 축을 따라 다중경로 성분을 분리하고, 프레임 구조를 인식하는 위치 인코딩과 함께 윈도우 기반 어텐션을 사용한다. 광범위한 실험을 통해 시나리오, 과제, 데이터셋, 안테나 구성 전반에서의 전이성을 입증하였다. 채널 예측 및 추정에서 AirFM-DDA는 보지 못한 도시에 제로샷으로 일반화하여 가장 강력한 기준선 대비 평균 정규화 평균제곱오차(NMSE) 이득 4.9~8.5 dB를 달성한다. 레이블된 데이터가 10%뿐일 때도 빔 예측의 Top-1 정확도에서 평균 12.0 퍼센트포인트, 가시선(LoS) 식별의 F1 점수에서 평균 3.4 퍼센트포인트의 이득을 달성한다. 또한 시뮬레이션 데이터셋 간에 전이되며 실측 데이터와 서로 다른 안테나 어레이에도 적응한다. 전역 어텐션과 비교하면 윈도우 기반 어텐션은 학습 및 추론 비용을 거의 한 자릿수 크기만큼 줄인다.
플로 기반 생성 모델은 확산 모델의 효율적인 대안으로 부상했다. 본 연구에서는 기저 분포를 목표 분포로 수송하는 속도장을 학습하는 플로 매칭을 통해 바스serstein 거리에서 목표 분포를 학습하는 표본 복잡도를 연구한다. 고정된 네트워크 클래스에 대한 정확한 경험적 위험 최소화와 아키텍처 및 데이터 분포에 대한 표준 가정 아래에서, 유계 도함수를 갖는 렉티파이드 플로를 포함한 모든 제곱 손실 플로 매칭 변형이 통계적 항에 대해 $\widetilde{O}(\varepsilon^{-2})$의 표본 복잡도를 달성함을 보인다. 이때 바서슈타인 보장은 $W_2 \le K(\varepsilon + C\varepsilon_{app})$ 형태이며, $\varepsilon_{app}$은 네트워크 클래스의 근사 오차이다. 이는 기존의 $\widetilde{O}(\varepsilon^{-4})$ 보장을 개선하며 통계 분석에서 Polyak--Lojasiewicz 조건을 요구하지 않는다. 대신 제곱 손실 목적함수의 구조적 성질, 즉 초과 손실의 분산을 가법적 근사 오차까지 초과 위험과 직접 연결하는 근사 번스타인 조건을 유도한다는 점을 활용한다. 이 조건은 국소화된 라데마허 복잡도 분석을 가능하게 하여 빠른 $O(1/n)$ 수렴률을 제공한다. 플로 매칭 스케줄은 점별 손실의 립시츠 상수를 통해 통계적 선도 계수에 나타나며, 표준 스케줄에 대해 이를 명시적으로 규명한다.
Semantic communication (SemCom) using a relay node is considered, where the relay assists in conveying task-relevant information from a source to a destination, with meaning defined by classification labels. A joint end-to-end design of the source encoder, relay transformation, and destination decoders is developed to optimize both semantic inference accuracy and perceptual reconstruction quality for image data. Relay-assisted schemes are shown to outperform direct transmission, with gains that become more pronounced in low signal-to-noise ratio (SNR) regimes across different relaying strategies. Alongside these performance benefits, however, a key security vulnerability introduced by the relay is identified, and a Byzantine attack is formulated in which the relay injects structured, learned perturbations into its transmitted signal. The attack operates on intermediate communication representations subject to channel effects, with perturbations generated through a learned mapping applied at test time. It is shown to significantly degrade semantic inference accuracy at the destination. These results reveal a clear trade-off between SemCom gains and security risks in relay-assisted systems, motivating the need for secure relay designs that account for insider threats.
차량용 통합 센싱 및 통신(ISAC) 네트워크에서 각 서비스 제공 차량은 제한된 전력 예산으로 여러 센싱 대상과 통신 수신기를 서비스한다. 센싱 신호 대 간섭 잡음비(SINR) 제약 하에서 통신 합 전송률을 최대화하는 문제는 비볼록이며, 반복적 최적화를 모든 네트워크 배치마다 다시 실행하는 데는 비용이 크다. 본 논문은 GNN-ISAC로 명명한 그래프 신경망(GNN) 기반 전력 할당 알고리즘을 제안한다. 구체적으로 GNN-ISAC는 그래프 표현에서 두 가지 서로 다른 엣지 유형, 즉 제공자 간 간섭을 나타내는 엣지와 제공자 내 전력 예산 공유를 나타내는 엣지를 고려하여 앞서 언급한 문제를 해결한다. GNN-ISAC는 센싱 페널티가 적용된 합 전송률 손실을 사용해 레이블 없이 학습된다. 또한 센싱 전력 예약 단계를 도입하여 가중 평균 제곱 오차 최소화(WMMSE) 알고리즘을 이 문제에 맞게 변형한다. 시뮬레이션 결과, GNN-ISAC는 낮은 센싱 링크 위반율과 훨씬 적은 계산량으로 WMMSE에 근접한 통신 합 전송률을 달성한다. 또한 기존 이종 GNN 및 채널 비인식 기준 모델보다 우수하며, 재학습 없이 더 큰 네트워크로 일반화된다.
권력은 AI 안전에서 중요하다. 최적 에이전트는 광범위한 목적에 걸쳐 권력을 획득하는 경향이 있다(도구적 수렴). AI 에이전트를 사회기술 시스템에 내장함에 따라 인간은 점진적 무력화의 위험에 놓인다. 두 우려 모두 권력에 대한 형식적이고 정량적인 척도를 요구한다. 마르코프 게임 맥락에서 그러한 척도로는 에이전트의 행동에서 미래 상태로 이어지는 채널의 용량인 정보이론적 임파워먼트와, 후보 목표들의 집합에서 인간이 각 목표를 추구한다고 할 때 이를 달성할 확률로 구성한 목표 달성의 척도인 역량 기반 개인 권력이 있다. 우리는 이 둘이 만나는 지점을 보인다. 개인 권력으로부터 Fano 부등식은 하한 $B(s)$를 도출한다. 이 하한은 우리가 목표 드러남(goal revelation)이라 부르는 양, 즉 인간의 잠재 목표와 실현된 궤적 사이의 상호정보량 $\mathbb{I}(G;\xi \mid s)$의 하한이다. 임파워먼트는 드러남을 위에서 제한하므로 $B(s) \le \mathbb{I}(G;\xi \mid s) \le \mathbb{I}(\mathbf{A}_h \to \xi \mid s) \le \mathfrak{E}_h(s)$가 성립한다. 각 양은 그 아래의 양이 0에 머무는 동안에도 클 수 있으며, 이는 다음과 같은 실패 양상을 부각한다. 임파워먼트를 최대화하는 어시스턴트는 인간이 가질 수 있는 모든 목표를 달성하게 해 주는 인터페이스보다, 목표와 무관한 자유도에 대한 폭넓은 영향력을 제공하는 인터페이스를 선호할 수 있다. 드러남을 최대화하는 어시스턴트는 정상 작동하는 인터페이스와 모든 목표가 잘못된 결과를 내도록 재배선된 인터페이스를 구별할 수 없다. 목표의 이름을 바꾸어도 상호정보량은 변하지 않지만 모든 달성 확률은 0이 되기 때문이다. 따라서 긍정적 보장은 사슬의 달성 쪽 끝에서만 얻어진다. 상호작용 로그의 두 가지 통계량으로 계산할 수 있는 만족 하한은 배포된 시스템에서 사용자가 유지하는 권력을 모니터링하는 방법을 제공하며, 무작위 환경에서의 시뮬레이션은 세 양이 상관되어 있지만 서로 대체 가능하지는 않음을 보여 준다.
대규모 언어 모델(LLM)은 뛰어난 능력으로 점점 더 주목받고 있으며, 연합학습(FL)은 데이터 프라이버시를 보장하면서 엣지 기기에서 LLM을 협력적으로 미세조정할 수 있는 유망한 틀을 제공한다. 그러나 엣지 기기는 본질적으로 이질적이어서, 클라이언트마다 데이터 분포가 다양하고 메모리와 연산 예산 등 자원 제약이 있을 수 있다. 최근의 연합 전문가 혼합(MoE) 접근법은 희소 전문가 활성화 또는 부분 전문가 로딩을 사용하여 이러한 문제를 다룬다. 그러나 기존의 부분 전문가 방법은 휴리스틱한 전체 풀 관측에 의존하거나 시스템 전체의 부하 균형을 우선시하며, 부분 관측으로부터 클라이언트별 관련 전문가를 복원하는 것에 대한 보장이 없다. 우리는 부분 관측으로부터 클라이언트별 전문가 관련성을 추정하고 활용-탐색(exploit--explore) 메커니즘을 통해 할당을 개선하는 서버 측 희소 전문가 할당 프레임워크인 $S^3$-MoE를 제안한다. 또한 관련성 추정 오차와 정확한 Top-$K$ 복원에 대한 보장을 증명한다. CIFAR-100에서 CNN 기반 MoE를 이용한 실험 결과, $S^3$-MoE는 과제에 의존적인 클라이언트-전문가 선호를 복원하고 클라이언트 간 상관된 전문가 선택으로 인한 충돌을 줄인다. 각 클라이언트가 지역 Top-5 라우팅을 위해 20개 전문가 전체에 접근하는 Full-20 FedAvg와 비교하여, $S^3$-MoE는 클라이언트당 전문가를 $5$개만 로딩하면서도 평균 최종 정확도가 1.31 퍼센트포인트 더 높다.
Wi-Fi 다중 입출력(MIMO) 시스템의 채널 사운딩은 채널 상태 정보(CSI)의 정확도와 CSI 획득 오버헤드 사이의 균형을 맞춰야 한다. 기기의 이동성은 채널 에이징을 일으키고, 자기회귀 CSI 예측은 사운딩 간격에 걸쳐 누적되는 오차를 유발한다. 그러나 표준화된 통계적 채널 모델은 피지컬 인공지능(AI) 응용에서 마주치는 환경 특화적 채널 동역학을 충분히 포착하지 못하므로, 기기 이동성과 변화하는 전파 기하 구조 아래에서 CSI 예측을 평가하기 위해 Sionna 기반 레이 트레이싱을 활용하게 된다. 본 논문은 자기회귀 CSI 예측과 신호 대 간섭 잡음비(SINR) 제약 기반 간격 선택을 통합한 동적 사운딩 프레임워크를 개발한다. 기기 위치를 CSI 시퀀스로 변환하는 회전 위치 임베딩(rotary position embedding)을 갖춘 트랜스포머가 사운딩 교환 사이의 빔포밍 갱신을 위해 여러 부반송파에 걸친 CSI를 예측한다. 사운딩 간격 선택을 CSI 획득 및 처리 오버헤드를 포함하여 스트림별 SINR 하한 제약 아래 예측 평균 처리량을 최대화하는 문제로 정식화한다. 예측 오차 섭동 분석이 SINR 한계를 제공하며, 누적합 열거법이 유한한 단일 변수 문제를 전역적으로 푼다. 예측 오차가 이 한계를 만족하는 한 실제 SINR 실현 가능성이 보장된다. 레이 트레이싱 실험은 채널 예측, 궤적 전이, 자기회귀 예측 오차를 평가한다. 단일 STA Wi-Fi 7 링크 수준 시뮬레이션에서, 예측된 CSI를 이용한 빔포밍은 선형, 원형, 코사인 궤적에서 오래된 CSI 대비 평균 굿풋을 각각 67.3%, 112.7%, 119.1% 향상시킨다.
차원 축소는 고차원 신경 활동의 기저에 있는 저차원 구조인 신경 다양체를 식별하는 데 강력한 것으로 입증되었다. 이러한 저차원 표현은 집단 수준 부호화의 해석 가능성을 높여 왔다. 그러나 이러한 저차원 표현이 생물학적으로 의미가 있고 학습 시스템에서 기능적 이점을 제공하는지, 아니면 단지 뉴런 수준의 활동을 반영할 뿐인지는 신경과학에서 여전히 논쟁 중이다. 우리는 순환 신경망이 저차원 표현을 학습하도록 강제하는 명시적 정보 병목이 시계열 예측 과제에서 회전 일반화와 분포 외 일반화에 필수적임을 보인다. 인과적 창발에 대한 정보 이론적 측정치를 사용하여 암기에서 일반화로의 전이 전반에 걸친 이 표현의 동역학을 규명한 결과, 예측 손실이 단조롭게 감소하는 동안에도 초기 감소, 최소값, 이후 최대값까지의 상승을 보이는 비단조적 궤적을 발견했다. 이 궤적은 과제 복잡도에 따라 변하며, 창발적 구조의 크기는 일반화 성능을 신뢰할 수 있게 예측한다. 교대 미로 과제를 학습하는 쥐의 해마 CA1과 내측 전전두엽 활동을 분석하면 행동 수행을 따라가는 유사한 비단조적 창발 동역학이 나타난다. 이러한 결과는 종합하면 신경망이 간결하고 분산되며 창발적인 표현을 학습하는 능력이 일반화에 기능적 이점을 제공함을 시사하며, 인지에서 학습된 표현이 인과적 역할을 한다는 주장을 뒷받침한다.
수중 음향 통신은 사용 가능한 대역폭의 제한과 복잡한 채널 환경과 같은 어려움에 직면하여, 효율적인 이미지 전송과 신뢰성 있는 복원에 까다로운 요구를 부과한다. 이러한 문제를 해결하기 위해 본 논문은 교차 모달 의미 점진적 정제에 기반한 생성형 이미지 통신 프레임워크를 제안한다. 송신단에서는 텍스트 설명, 간결한 병목 특징, 그리고 잔차 벡터 양자화로 압축된 시각 부가 정보를 전송한다. 수신단에서는 먼저 텍스트와 병목 특징을 융합하여 중간 시각 표현의 기본 추정치를 예측한다. 이후 수신된 RVQ 인덱스를 이용해 보충 시각 정보를 복구하고 잔차 보정을 수행한 다음, 1단계 Pixel Mean Flow 모델로 이미지를 복원한다. 학습 중에는 생성 결과와 원본 텍스트 설명 간의 의미적 대응을 보존하기 위해 CLIP 기반 텍스트-이미지 의미 일관성 제약을 도입한다. 전송 중에는 서로 다른 정보 분기와 RVQ 양자화 단계의 중요도에 따라 보호 자원을 할당한다. COCO 2017 이미지와 Watermark의 실측 수중 음향 채널 기록을 사용한 시뮬레이션 결과, 텍스트와 병목 특징은 상보적인 의미 및 구조 조건을 제공하고, RVQ 시각 부가 정보는 복원 품질을 추가로 향상시키며, 계층적 불균등 오류 보호는 낮은 SNR에서 복구를 개선하는 데 도움이 됨을 보였다. 부호율 할당 실험은 제한된 시각 특징 부호화 예산 하에서 기본 조건의 신뢰성과 시각적 세부 복원 간에 상충 관계가 있음을 보여 주며, 수중 음향 이미지 전송에서 보호 자원을 할당하기 위한 지침을 제공한다.
확장성(expansivity) 가정 없이, 구간별 선형 활성화와 마지막 시그모이드 활성화를 갖는 순방향 신경망에 대한 생성적 압축 센싱에서 정확한 신호 복원이 가능함을 보인다. 입력층의 차원이 $k$로 가장 좁고 마지막 활성화가 시그모이드인 깊이 $d$의 ReLU 신경망을 고려하고, $K$를 각 층 너비의 기하 평균이라 하자. 높은 확률로, 성분이 $[\delta, 1 - \delta]$에 속하는 치역의 모든 신호가 $m \gtrsim k(d \log(K/k) + \log(1+\log(1/\delta)))$개의 측정으로부터 균일하게 복원됨을 보인다.
본 논문에서는 깁스 확률측도에 대한 세 가지 연산, 즉 재정규화, 정규화된 로그선형 결합, 중첩을 연구한다. 그 결과로 얻어지는 측도가 목적 함수, 기준 측도, 정규화 인자에 대한 명시적 표현을 갖는 깁스 확률측도임을 보인다. 이 측도들은 상대 엔트로피 정규화 또는 상대 엔트로피 제약 하에서 원래 목적 함수의 선형 결합을 포함하는 최적화 문제의 유일해로도 특성화된다. 기준 측도가 확률측도일 때는 피타고라스 항등식과 지수 측지선을 포함하는 이 세 연산의 기하학적 해석을 확립한다. 핵심 결과는 깁스 확률측도의 중첩과 정규화된 로그선형 결합 사이의 동치성이다. 이어서 이러한 결과를 깁스 확률측도로 표현되는 깁스 알고리즘을 이용한 지도 기계학습에 적용한다. 이 맥락에서 중첩 또는 로그선형 결합을 통해, 지역 데이터셋으로 학습된 깁스 알고리즘들을 사용하여 모든 지역 학습 데이터셋의 집계로 학습된 새로운 깁스 알고리즘을 구성한다. 흥미롭게도 이러한 연산의 매개변수가 집계된 데이터셋에서 각 학습 데이터 점의 가중치를 결정한다. 이 관찰은 (a) 중앙집중형, 분산형, 연합 학습 시스템에서의 정확한 기계 언러닝과 (b) 분산형 및 연합 학습에서 모든 지역 데이터셋의 집계로 학습된 알고리즘을 생성한다는 의미에서의 중앙집중형 동등 성능을 달성하는 데 활용된다.
고전 통계 이론은 범용 AI 모델의 성공을 설명하기에 충분하지 않은데, 이는 정당화할 수 없는 수작업 귀납 편향에 의존하기 때문이다. 공짜 점심 없음(NFL) 정리는 일부 환경에서 우연보다 나은 성능을 내는 모든 학습기가 다른 환경에서는 성능이 떨어질 수밖에 없게 한다. 과거 경험이 어떤 환경이 나타날지 알려 주기를 기대할 수 있겠지만, NFL은 메타러닝에도 똑같이 적용된다. 따라서 의미 있는 예측을 하는 모든 방법은 필연적으로 데이터 외부의 귀납 편향에서 출발한다. 짧은 프로그램 쪽으로 편향하기로 선택하면 솔로모노프 귀납(SI)이 얻어지며, 그 성능은 모든 계산 가능한 학습기와 견줄 만하다. 다만 배경 정보를 활용하는 특화된 방법과 비교할 때는 "상수"가 커진다. 그래서 우리는 SI를 정보 관점에 상대화하여, 기존의 모든 정보에 접근할 수 있는 짧은 프로그램 쪽으로 편향시킨다. 이는 귀납 편향을 다시 규정한다. 단순성에 대한 어떤 절대적 개념을 추구하는 대신, 우리의 관점에 대한 접근성을 선호하는 것이다. 어떤 알고리즘이 상대화된 SI보다 나은 예측을 할 수 있는 것은 그 코드가 데이터에 관한 추가 정보를 담고 있는 정도까지이며, 어떤 알고리즘도 그러한 정보를 생성할 수 없다. SI는 계산 불가능하므로 실용적인 알고리즘은 아니지만, 무한한 계산 자원의 극한에서 추론의 형식적 최적을 제공하며, 최첨단 AI 시스템이 이를 대략적으로 근사한다는 증거도 있다. 따라서 메타 NFL에 대해 알려진 유일한 답은 알고리즘 정보 이론에 뿌리를 두고 있으며, 이 이론이 현대(및 미래) AI 시스템의 일반화 거동을 설명하는 데 근본적인 역할을 할 것으로 기대해야 한다.
우리는 순열 동기화를 위한 사영 거듭제곱법을 연구한다. 이는 $m$개 대상에 대한 $n$개의 미지의 순열을, 확률 $p$로 독립적으로 관측되고 확률 $1-\pi_0$로 균등 순열에 의해 독립적으로 오염된 쌍별 상대 순열로부터 복원하는 문제이다. 우리의 주요 정리는 최적으로 정렬된 블록 오차 비율이 고정된 $\epsilon>0$에 대해 최대 $1/2-\epsilon$인 모든 추정값(측정에 의존하는 추정값 포함)에 대해 균일한 1단계 수축이 성립함을 보인다. $np\ge C_0\log(n)$이고 $m=o(np\pi_0^2)$일 때, 한 번의 갱신은 오차를 $O(m/(np\pi_0^2))$배로 수축시키며, 그 하한은 $O(e^{-c\min\{m\,np\pi_0^2,\,np\pi_0\}} + \log(n) / n)$이다. 따라서 이 다수 영역(majority basin)의 모든 초기값은 한 번의 갱신 후 $o(1)$ 오차를 달성하며 이후 반복에서도 이를 균일하게 유지한다. 기준 블록 스펙트럼 초기화 방법은 확률 $1-o(1)$로 이 영역에 진입하여 종단 간 거의 정확한 복원을 달성한다. 추가로 충분히 큰 $C$에 대해 $\min\{m\,np\pi_0^2,\,np\pi_0\} \ge C\log(n)$이면, 이 방법은 유한 번의 반복 내에 정확한 복원을 달성한다. 또한 측정에 독립적인 추정값에 대해 더 약한 조건에서의 지정 블록 복원을 증명하고, 그 보장을 균등 평균을 갖는 독립적인 순열 값 오염 및 공통 가시 지지집합을 갖는 부분 순열로 확장한다.
Do Ray-Traced Cities Make a Better Channel Prior for an Unseen Site? A Pre-Registered Study in Simulation, and a Test on Measured Channels that Reverses It
새로 배치된 기지국의 채널 추정기는 보통 특정 거리를 기술하지 않는 3GPP 확률적 채널 모델에서 출발한다. 본 연구는 다수의 레이 트레이싱 도시에서 모은 채널 사전분포가 미지의 지점에서 3GPP CDL 모델보다 더 나은 성능을 내는지, 그리고 학습 기반 추정기가 그 차이를 만드는지를 묻는다. 14개 도시 장면에 대한 Sionna RT, 공분산 사전분포를 이용한 LMMSE 추정, 도시 하나를 제외하는 교차 평가, 그리고 각 주요 실험 이전에 기록한 통과/실패 기준을 사용하여, 시뮬레이션에서는 통합 사전분포가 지점 측정 없이도 지점 학습 추정기와 약 0.6 dB 차이에 있음을 확인했다. 이는 CDL이 50회 측정 후 도달하는 수준과 대략 같다. 학습 모델의 기여는 작았다. 추정에서는 최대 0.65 dB였고, 채널 예측에서는 2 ms 앞부터 단순한 고전적 방법이 CNN 예측기를 1.8-12 dB 앞섰다. DICHASUS 야외 데이터셋(1.272 GHz, 한 건물에 설치된 2x8 배열 3개)의 실측 채널에서는 결과가 뒤집혀, 통합 레이 트레이싱 사전분포가 CDL보다 3.2-4.1 dB 나빴다. 시뮬레이션 채널은 지나치게 깨끗했으며, 사용자를 실제 거리에 두면 50회의 지점 측정으로 산란 수준을 조정하더라도 사전분포는 여전히 CDL보다 약 2 dB 뒤처졌다. 두 개의 다른 실측 환경에 대한 사전 등록 후속 연구에서는 일반 CDL 사전분포가 지점 학습 사전분포와 2.1-4.7 dB 차이였다. 공장 홀에서는 거리보다 더 멀지 않았고, 작은 실험실 방에서 가장 멀었다. 마지막으로, 미분 가능 레이 트레이싱으로 측정값에 맞춰 보정한 복도 모델은 지연 확산을 재현했지만, 복도의 측정되지 않은 구역에서 사전분포로 사용하면 전체 배열에서 CDL보다 4.5 dB 나빴다. 모든 실측 결과는 하나의 사운더에서 얻은 것이다.
고전적인 모델 기반 최적 설계 기준(D-, T-, L-, C-, A-최적성)은 보통 크라메르-라오 하한을 통해 피셔 정보 행렬(FIM)의 스칼라 함수를 최적화하는 것으로 설명된다. 본 논문은 이를 보완하는 해석을 제시하는데, 여기서 각 기준은 $N \to \infty$에서 점근적으로 사전분포와 사후분포 간 기대 비유사도의 최고차항으로 나타나며, FIM은 번스타인-폰 미제스 극한을 통해 등장한다. 사전분포에 대한 사후분포의 쿨백-라이블러(KL) 발산은 D-최적성(고전적으로 알려진 결과)을 복원하고, 사후분포에 대한 사전분포의 역 KL은 T-최적성(여기서는 하나의 통상적 관례에 따라 FIM의 대각합 최대화로 정의)과 그 가중 대각합 일반화를 복원하며, 제곱 2-바serstein 거리의 1차 근사는 L-, C-, A-최적성을 복원한다. 이 다섯 기준은 비유사도, 사전분포의 매개변수화, 그리고 이를 평가하는 데 쓰이는 근사 방식(예: 행렬 제곱근의 테일러 전개)이라는 세 가지 선택으로 색인되는 공통의 베이즈-기하학적 틀의 사례로 나타난다. 가중 기준의 경우 가우시안 사전분포의 공분산이 기준의 가중 행렬을 부호화하므로, 임의의 가중치 선택은 해당 족 안의 특정 사전분포에 대응한다. T-, L-, C-, A-최적성의 유도는 저자가 아는 한 새로운 것으로 보인다. 여섯 번째 기준인 E-최적성은 독립적인 기대 비유사도 극한이 아니라, 모델러의 사전분포 방향에 대한 불확실성에 대비한 C-최적성의 최소-최대 강건화로 복원된다. 이 틀은 설계 시점의 미지 매개변수에 대한 설계자의 사전분포와 사후 추론에 쓰이는 모델러의 사전분포를 구분하도록 확장되며, 고전적인 기대 정보 이득 목적함수를 특수한 경우로 복원한다.
데이터의 차원을 정량화하는 것은 표현 학습, 데이터 압축, 역문제와 같은 기계 학습 및 신호 처리 응용에서 근본적으로 필요한 일이다. 이러한 응용에서 데이터가 제시되는 외재 차원은 운용 성능을 결정하는 내재 차원과 크게 다를 수 있다. 레니 정보 차원, 율-왜곡 차원, 양자화 차원과 같은 여러 개념이 여기에 유용하다. 이론적 중요성에도 불구하고, 이러한 척도들은 점근적으로 정의되므로 추정하기 어렵다. 최근 연구는 데이터 원천의 쌍별 왜곡 분포(PDD)를 분석하면 무작위 코드북 양자화의 왜곡에 대한 다루기 쉬운 하한을 얻을 수 있고, 이로부터 다루기 쉬운 내재 차원 개념을 도출할 수 있음을 보였다. 본 논문에서는 이 연구 흐름을 세 가지 방식으로 확장한다. 첫째, 무작위 코드북 양자화의 왜곡에 대한 관련 상한을 개발한다. 둘째, 그래프 기반 적응적 중요도 샘플링 접근법을 사용하여 하한과 상한 모두의 계산 가능성을 개선한다. 셋째, 이 경계들을 활용하여 레니 정보 차원, 율-왜곡 차원, 양자화 차원의 상한과 하한을 이루며 알려지지 않은 데이터 원천으로부터 경험적으로 추정할 수 있는 새로운 내재 차원 개념을 정의한다. 우리는 여러 인공 분포와 경험적 분포를 분석하여 이 개념들을 예시한다.