인간과 최신 비전 모델은 유사한 분류 정확도에 도달하면서도 체계적으로 다른 종류의 오류를 범할 수 있다. 이는 얼마나 자주 틀리는지가 아니라 무엇이 무엇으로 오인되는지, 그리고 그 방향에서 차이를 보인다. 우리는 이러한 방향성 혼동이 정확도만으로는 보이지 않는 서로 다른 귀납 편향을 드러냄을 보인다. 12가지 교란 유형 하의 자연 이미지 범주화 과제에서 대응되는 인간 및 심층 비전 모델의 응답을 사용하여, 혼동 행렬의 비대칭성을 정량화하고 이를 정보-오류 트레이드오프의 형태와 연결한다. 우리는 율-왜곡(RD) 경계에서 추출한 세 가지 특징, 즉 기울기 beta, 곡률 kappa, 효율(AUC)로 이 트레이드오프 기하를 특성화한다. 그 결과 인간은 넓지만 약한 비대칭을 보이는 반면, 심층 비전 모델은 더 희소하고 강한 방향성 붕괴를 보인다. 강건성 학습은 전역 비대칭을 줄이지만, 단계적 유사성에 기반한 인간과 유사한 폭-강도 프로파일을 회복하지는 못한다. 기전적 시뮬레이션은 성능이 일치하는 경우에도 서로 다른 비대칭 구성이 RD 경계를 반대 방향으로 이동시킨다는 점을 추가로 보여 준다. 종합하면 이러한 결과는 방향성 혼동과 RD 기하를 분포 변화 하에서 귀납 편향을 나타내는 간결하고 해석 가능한 지표로 자리매김한다.
정확하고 신뢰할 수 있는 근거리장 다중 소스 위치 추정은 미래 무선 시스템의 위치 인지 처리에 필수적이다. 그러나 결맞는 다중경로 전파는 가시선(LoS) 소스 위치의 직접 복원을 어렵게 하며, 기존 추정 방법은 대체로 소스 과소 추정의 위험과 위치 추정의 불확실성을 명시적으로 제어하지 못한다. 본 논문에서는 근거리장 결맞는 다중경로 환경에서 신뢰할 수 있는 소스 개수 추정과 위치 추정을 연구한다. 구체적으로, 고유값 기반 기준의 페널티 계수를 보정하여 기대 미검출 비율을 지정된 수준으로 제어하는 컨포멀 위험 제어(CRC) 기반 소스 개수 추정 기법을 개발한다. 또한 2단계 MUltiple SIgnal Classification(MUSIC)에 기반한 모델 기반 딥러닝 프레임워크인 MUSIC-Net을 제안하며, 이는 부분공간 거리 기반 학습을 통해 LoS 관련 부분공간과 대리 거리를 학습함으로써 비가시선(NLoS) 경로 매개변수를 추정하거나 이후 경로 연관을 수행하지 않고도 소스 위치를 직접 추정할 수 있게 한다. 추정된 위치의 불확실성을 정량화하기 위해, 유한 표본 동시 커버리지 보장을 갖는 각도-거리 예측 영역을 구성하는 분할 컨포멀 예측(SCP) 기반 보정 방법을 개발한다. 수치 결과에 따르면 제안한 프레임워크는 소스 과소 추정의 위험을 효과적으로 제어하며, 동일한 목표 커버리지 수준에서 벤치마크보다 더 좁은 예측 영역과 향상된 위치 추정 정확도를 제공한다.
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
생물학적 신경망과 인공 신경망 같은 분산 시스템은 여러 하위 시스템이 관여하는 복잡한 상호작용을 통해 정보를 처리하며, 그 결과 시스템 내 정보는 규모에 따라 서로 다른 특성을 갖는 고차 구조를 이룬다. 이러한 시스템이 정보를 어떻게 처리하는지 조사하는 일은 적절한 다변량 지표를 정의하고 이를 대규모 시스템으로 확장하는 데 어려움이 있어 여전히 도전적이다. 이러한 문제를 해결하기 위해 우리는 "섀넌 관측량(Shannon observables)"이라 부르는 개념에 기반한 새로운 프레임워크를 도입한다. 이는 고차 정보 처리의 본질적 특성을 포착하면서도 섀넌 엔트로피로부터 직접 계산할 수 있고 대규모 시스템으로 효율적으로 확장되는 양이다. 우리의 이론적 결과는 널리 사용되는 다변량 정보 이론적 척도의 해석에 관한 오랜 모호성을 해소하는 데 섀넌 관측량을 어떻게 사용할 수 있는지 보여준다. 실용적 측면에서는 여러 분야에 걸쳐 이 프레임워크의 다양한 활용성을 입증한다. 오류 정정 부호에 대한 해석적 연구는 채널 잡음이 변함에 따라 섀넌 관측량이 서로 다른 부호화 영역을 어떻게 그려내는지 보여주며, 심층 분류기와 합성곱 오토인코더에 대한 분석은 계층 간 및 학습 과정에 따른 특징적인 정보 처리 양상을 드러낸다. 또한 인간 뇌의 뇌자도 기록에 적용하면, 이 프레임워크는 방향성 정보 전달에서 뚜렷한 지역적 구조를 드러내는 피질 지도를 제공한다. 전반적으로 우리의 프레임워크는 고차 정보 현상을 분석하는 데 있던 근본적 한계를 해소하며, 이론적 발전과 실증 분석을 위한 폭넓은 기회를 제공한다.
AI-RAN은 네트워크 제어를 공유 무선 자원 위에서 동작하는 xApp과 rApp이라는 다수의 자율 에이전트에 분산시킨다. 경보나 성능 저하가 나타났을 때, 운영자는 현재 어떤 결정이 이를 유발했는지, 어떤 컨텍스트가 그 결정을 촉발했는지, 그리고 다른 에이전트들이 어떻게 상호작용했는지를 추적할 구조화된 방법을 갖고 있지 못하다. 기존의 설명 가능성 도구는 단일 모델의 특징 기여도 분석이나 선형적인 이벤트 로깅에 초점을 두고 있으며, 둘 다 에이전트 간 의사결정 체인을 포착하지 못한다. 본 논문은 정책, 측정값, 결정, 경보를 질의 가능한 설명 계층으로 조직하는 이종 방향 그래프인 컨텍스트 그래프를 제안한다. 이 그래프의 기본 요소는 인과적 접합점으로 작용하는 Decision-Event 노드이며, 들어오는 간선은 촉발 컨텍스트를 포착하고 나가는 간선은 반사실적 검증을 통해 점진적으로 격상되는 하류 결과를 추적한다. 기존 E2, A1, O1 데이터 흐름 위에 구현한 개념 증명 결과, 수만 개 노드로 구성된 그래프에서 규정 준수 및 진단 질의가 1밀리초 미만의 지연 시간으로 처리되었으며, 진짜 인과적 영향과 허위 상관관계를 안정적으로 구분하였다.
While federated reinforcement learning (RL) has traditionally guaranteed high efficiency in homogeneous environments, collaboration is often hindered when agents possess distinct goals. In this paper, we flip this paradigm, framing reward heterogeneity not as a hurdle to consensus, but as a structural asset that catalyzes exploration. We first propose Personalized Federated Upper Confidence Bound Value Iteration (PF-UCBVI), which achieves optimal linear speedup by decoupling shared dynamics from personalized objectives. To eliminate the risks of explicit exploration, we then introduce Personalized Federated Exploration-Free Value Iteration (PF-EFVI), a purely greedy algorithm that leverages reward diversity to ensure state-action coverage. We prove that PF-EFVI attains logarithmic regret without explicit exploration bonuses under sufficient reward diversity. Our results reveal that agent disagreement shifts the exploration burden from temporal complexity to spatial diversity, enabling efficient collective learning without explicit exploration.
가시적 채널을 모니터링하면 학습된 에이전트가 통신하는 방식은 바뀔 수 있으나, 통신이 유용한 이유는 사라지지 않는다. 우리는 송신자와 수신자가 통신 지도 없이 이산 프로토콜과 경로 정책을 학습하는 종단간 게임에서 이러한 구분을 검증한다. 독립적인 20개 시드 배치 두 개에서 각각 20/20과 19/20개의 프로토콜이 형성된다. 온라인 부분 커버리지는 모니터링이 없는 경우보다 그림자 경로 비중을 .701 [.574,.826]과 .575 [.412,.737]만큼 증가시키는 반면, 과제 정확도는 .905/.913으로 유지되고 부호 있는 동결 메시지 기여도는 .592/.563으로 유지된다. 완전 커버리지는 통신을 제거하지 않으면서 선택적 이동 대부분을 제거한다. 결과 이전의 새로운 확인 실험을 포함한 동결 개입은 경로가 의미적임을 보여준다. 메시지-경로 결합 셔플은 수신자 예측의 .668을 바꾸며, 경로만으로는 우연 수준 .25에 비해 .388의 정확도를 유지한다. 수정된 명시적 침묵 비용은 20개 중 18개 정책을 완전히 침묵하게 하고 평균 송신을 .050으로 낮추지만, 두 시드가 통신을 유지하여 엄격한 완전 억제 기준은 충족하지 못한다. 실패한 의미적 회피 기준과 운영 기준은 결과를 추가로 제한한다. 이 증거는 부분 모니터링 하에서 메시지-경로 결합 코드의 적응적 재할당을 뒷받침하며, 개방 세계 경로 발견, 창발적 암호화, 보편적 방어를 뒷받침하지는 않는다.
2차원 과완비 독립 성분 분석에서 공통 회전을 추정하려면 얼마나 많은 관측이 필요한가? 우리는 소스 개수, 공통 소스 법칙, 열 노름이 알려진 등간격 혼합 열을 연구한다. 고정된 비가우시안 4차 Gram-Charlier 소스 법칙에 대해 회전은 열 간격을 법으로 하여 식별 가능하다. 그러나 고정된 상대 각도 정확도를 위한 표본 크기는 소스 개수에 따라 지数적으로 증가한다. 우리는 이 표본 크기를 절대 상수 범위 내에서, 열 간격의 절반만큼 떨어진 두 회전 사이의 제곱 Hellinger 거리의 역수로 특징짓는다. 명시적인 방사형 가중 위상 추정기는 각 조화함수의 평균에서 상쇄를 방지하기 위해 관측 반경을 사용하여, 회전 족 전체에 대해 균일하게 이 규모를 달성한다. 또한 같은 쌍에 대한 단일 관측 총변동의 정확한 지수적 감소율을 결정한다. 이는 표본 크기 지수에 대한 경계를 제공하며, 그 정확한 값은 미해결로 남아 있다. 마지막으로, 잡음이 있는 이진 소스 예제를 통해 관측된 특성함수의 정확한 영선(zero line)이 지수적으로 작은 법선 도함수를 가질 수 있음을 보인다.
무선 파운데이션 모델은 과제, 구성, 배포 환경 전반에서 재사용 가능한 표현을 학습한다. 이들의 사전학습에는 환경의 폭넓음이 필요하지만, 무선 데이터셋은 소수의 장소를 조밀하게 샘플링하는 경우가 많다. 우리는 서로 다른 야외 RF 장면 100,000개로 이루어진 장면 중심 데이터셋 Channels4World와 이를 생성하는 절차적 방법을 소개한다. 각 장면은 생성된 환경과 RF 재료 할당을 32개의 기지국(BS) 위치, 16,384개의 UE 위치, 그리고 3.5 GHz와 7~GHz에서 정렬된 가변 길이 다중경로 및 순서가 있는 상호작용 기록에 연결한다. 이 코퍼스는 524.3억 개의 물리적 BS-UE 쌍, 1,048.6억 개의 주파수별 평가, 29.14 TB의 패키지 페이로드로 구성된다. 장면 식별자는 주파수 전반에서 기하 구조, 배치, 채널, 상호작용을 정렬하여 환경의 폭넓음과 장면 내 관측 밀도를 독립적으로 변화시킬 수 있게 한다. 공개 릴리스는 여러 규모의 사전 정의된 부분집합과 코퍼스 구성 요소별 개별 접근을 제공한다. 결정론적인 90K/10K 장면 단위 학습-테스트 분할은 두 주파수와 모든 장면 구성 요소를 함께 유지한다. 세 가지 생성 프로파일에 걸쳐 형태, RF 재료, 송수신기 배치를 특성화한다. 통제된 전파 및 경로 유지 분석은 회절이 유지되는 링크의 가용성과 다중경로 구조에 실질적인 영향을 미치며, 유지 정책은 표현되는 총 전력의 손실이 거의 없이 저장 공간을 크게 줄임을 보여 준다. 동일한 학습 노출 조건에서 더 폭넓은 장면 컬렉션으로 학습한 모델이 보류된 장면에서 더 좋은 성능을 보이지만, 동일 에피소드 통제 실험은 장면 수만으로는 그 이득을 설명할 수 없음을 보여 준다. Channels4World는 환경의 폭넓음을 명시적이고 제어 가능하게 함으로써, 배포 환경 전반에 걸친 일반화를 위한 무선 파운데이션 모델의 개발과 평가를 지원한다.
자원이 제한된 IoT 기기는 실시간 의사결정을 위해 학습된 모델을 캐시에 저장하지만, 잦은 업데이트는 상당한 대역폭, 에너지, 서비스 오버헤드를 유발한다. 의사결정과 관련된 모델 차이가 경과 시간에 따라 반드시 커지는 것은 아니므로, 본 연구는 지능 연령(Age of Intelligence, AoInt)을 모델 버전에 상대적이고 클라이언트별이며 행동 효용의 왜곡으로 정의하고, 동기화를 오래된 결정에 따른 후회(regret)와 갱신 비용 간의 절충 문제로 정식화한다. 나아가 클라이언트별 레이블 없는 프로브를 사용해 출력 분포 변화를 누적하는 쿨백-라이블러 인지 AoInt 동기화(KL-AoIntSync)를 개발하고, 파라미터 인지 AoInt 동기화(Param-AoIntSync)는 서버가 브로드캐스트하는 스칼라 파라미터 변화량을 사용한다. 그런 다음 클라이언트 분포, 행동 집합, 효용이 고정된 조건에서 경로별(pathwise) 보장을 수립한다. 수치 결과는 보정된 Param-AoIntSync가 Instant-Parameters 정책에 비해 결합 동기화 비용을 6.15% 줄이면서 KL-AoIntSync와 비슷한 성능을 보임을 나타낸다.
환경에 따라 분산이 변하는 $d$개의 가우시안 원천을 분리하는 데에는 얼마나 많은 환경과 표본이 필요한가? 각 원천은 분산 벡터인 시그니처를 갖는다. 원천 $j$의 리스 $2$-에너지 $E_j$는 이를 다른 원천 방향으로 회전시키는 데 대한 피셔 정보의 역수들을 합한 값이다. 화이트닝이 알려진 경우, 모든 $n$과 $d$에 대해 직교 추정량의 최악의 경우 제곱 각도 위험에 대해 $E_j/(n+E_j)$ 차수의 하한을 증명한다. 시그니처가 주어진 이차 펜슬은 추정된 화이트닝을 사용하더라도 분리 정도에 의존하는 표본 임계값을 넘으면 상수배 범위 내에서 $E_j/n$을 달성한다. 고정된 $K$에서 시그니처가 잘 분산된 경우, 에너지는 $K=2$, $3$, $K\ge4$에 대해 각각 $d^2$, $d\log d$, $d$로 증가한다. $K\asymp\log d$이고 쌍별 피셔 정보가 상수 이상으로 유계인 설계는 $d\log d$개의 표본이면 충분하게 한다. 고정된 단일 선형 결합의 고유벡터는 평균 1차 오차 계수가 최소 $d^2$ 차수이다. $d=1000$까지의 시뮬레이션은 1차 예측을 뒷받침하며, 과제 fMRI에서는 에너지가 반분할 불안정성의 순위를 매기는 데 도움이 된다.
무작위 비용 벡터 $c$를 갖는 확률적 계획 $\min_{z\in Z} c^T z + h(z)$에서, 후회 즉 완전 정보의 기대 가치는 보통 시나리오별로 문제를 다시 풀어 계산한다. 본 논문은 후회가 비용 벡터와 최적 결정 $\pi^s(c)$ 사이의 공분산에 의해 결정됨을 보인다. 이 항등식은 정확하며, 평균에서 각 시나리오까지의 경로를 따라 공분산을 적분하면 정칙성 가정 없이 성립한다. $c_s=E[c]+s(c-E[c])$에 대해 $Reg=-\int_0^1 s^{-1} Cov(c_s,\pi^s(c_s))\,ds$이다. 세 가지 결과가 따른다. 첫째, 단순 공분산은 항상 상계이다: $0\le Reg\le-Cov(c,\pi^s(c))$. 둘째, 제약 없는 이차계획과 등식 제약이 있는(예: 예산 제약 마코위츠) 이차계획처럼 최적 결정 규칙이 아핀일 때 후회는 공분산의 정확히 절반과 같다. 순수 선형 목적함수의 경우 아핀 규칙은 후회를 0으로 만든다. 셋째, 후회 대 공분산의 비율은 $[0,1]$에 속하며 경로를 따른 공분산 프로파일의 형태에 의해 결정된다. 이 프로파일이 처음으로 양이 되는 잡음 수준은 상계를 더 조이는 결정 안정성 마진이다. 이 항등식은 임의의 예측 비용에 대해 시나리오별로도 성립하므로, 불연속적 결정 규칙을 갖는 선형 및 조합 계획에도 적용된다. 플러그인 추정량에 대해 차원 무관 집중 부등식과 중심극한정리를 제시한다. 7개 문제 부류, 8개 비용 분포, 그리고 구성당 $10^6$개 표본을 사용한 Elmachtoub와 Grigas(2022)의 최단 경로 벤치마크 전반에서 항등식은 구적 오차 범위 내에서 성립하며, 공분산 상계는 모든 시나리오에서 성립한다.
Steinke와 Zakynthinou(2020)는 알고리즘 의존적 정보이론적 양에 기반하여 학습 알고리즘의 정보 복잡도를 분석하는 조건부 상호정보량(CMI) 프레임워크를 도입했습니다. 본 연구에서는 이러한 양 중 하나인 평가된 조건부 상호정보량(eCMI)을 연구합니다. CMI를 통한 알고리즘 의존적 분석으로부터 VC 클래스에 대한 최적의 PAC 보장을 복원할 수 있는지는 흥미로운 질문이었습니다. 본 논문에서는 개념 클래스의 VC 차원이 d일 때, 실현 가능(realizable)한 경우에서 eCMI가 O(d) 차수인 학습 알고리즘을 구축함으로써 이러한 보장을 복원할 수 있음을 보입니다. 구체적으로 본 알고리즘은 최적의 기댓값 일반화 보장을 갖는 5개 기반 학습기의 무작위화된 다수결(Majority-of-5) 방식입니다.
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다.
- 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다.
- 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다.
우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
스펙트럼 대조 학습은 데이터의 두 뷰가 가장 강하게 의존하는 $k$개의 방향을 유지하지만, 하위 과업은 다른 방향을 필요로 할 수 있다. 스펙트럼 특징에 대한 기존 보장은 과업 분포에 선호 방향이 없다고 가정한다. 우리는 이러한 등방성 조건이 잘못된 기준임을 보인다. 선형 프로빙에서 과업 분포는 행렬 $B\Lambda B^\top$를 통해서만 평균 프로빙 이득에 영향을 미치며, 여기서 $B$는 뷰 간 의존성을 나타내고 $\Lambda$는 과업 공분산이다. 최적 특징은 이 행렬의 상위 $k$개 고유공간을 생성하는 반면, 스펙트럼 특징은 $BB^\top$의 상위 $k$개 고유공간을 생성한다. 따라서 전이는 정렬에 의존하며, 과업 선호가 매우 불균등하더라도 그것이 스펙트럼 방향에 유리하다면 비용이 발생하지 않는다. 그렇지 않은 경우 스펙트럼 특징의 후회는 $\Lambda$의 비등방성에 대해 많아야 선형이다. 과업 정보 없이 선택된 어떤 표현도 선행 스펙트럼이 평탄할 때 이 비율을 개선하지 못하며, 스펙트럼 간극이 있으면 이 비율은 이차가 된다. 레이블이 있는 과업이 있으면 같은 행렬이 보정을 제공하는데, 고정된 인코더에 대한 피셔 판별 방향 또는 스펙트럼 대조 손실의 한 항 변경이 그것이다. 우리는 보정의 후회를 $B\Lambda B^\top$ 추정 오차로 상계하고, 이 오차를 스펙트럼 특징의 불일치와 비교하여 보정 여부를 결정한다. 이 분석은 유한 표본, 연속 변수, 잡음이 있는 뷰로 확장된다. 보정은 레이블이 있는 과업 $2000$개에서 합성 보류 데이터의 후회를 $0.858$에서 $0.003$으로 줄이며, 결정 규칙은 모든 뱅크 크기에서 시험된 규칙 중 가장 낮은 후회를 보인다. CIFAR-100에서 고정된 인코더의 스펙트럼 특징은 보지 못한 클래스에 대한 과업 신호 대부분을 유지하며, 다른 클래스 뱅크가 정확도를 낮출 상황에서는 이 규칙이 모든 경우에 해당 특징을 유지한다.
우리는 기울기 정보를 사용하여 고차원 가우시안 분포에서 샘플링하는 질의 복잡도를 연구한다. 표준 오라클 모델에서 정확한 기울기는 정밀도 행렬과의 행렬-벡터 곱만을 드러내므로, 다항식 근사의 장벽과 알려진 스펙트럼 범위에 대한 특징적인 $\sqrt{\kappa}$ 의존성이 발생한다. 우리는 샘플러가 평활화된 점수, 즉 가우시안으로 합성곱된 밀도의 로그에 대한 기울기를 질의할 수 있을 때 이 장벽이 사라짐을 보인다. 정밀도 행렬이 $\Lambda$인 중심화된 가우시안 목표 분포에 대해, 잡음 수준 $\tau$에서의 평활화된 점수 질의는 리졸벤트 $(\Lambda+\tau^{-1}I)^{-1}$에 대한 접근을 제공한다. 기하급수적으로 간격을 둔 잡음 수준과 sinc 구적법 유리 근사를 결합하여, 전변동 오차 $\delta_{\rm TV}$에 대해 $q=O((\log\kappa+\log(e\sqrt d/\delta_{\rm TV}))\log(e\sqrt d/\delta_{\rm TV}))$번의 평활화된 점수 질의를 사용하는 샘플러를 얻으며, 이는 조건수 의존성을 $\sqrt{\kappa}$에서 로그 수준으로 개선한다. 또한 유한 비트 기울기 오라클도 연구한다. 변환된 평활화된 점수 응답의 좌표별 양자화와 최종 디더링 단계를 사용하여, 전달되는 기울기 정보의 총량이 $\kappa$에 대해 다항로그인 샘플링 기법을 얻는다. 특히 고정된 차원과 정확도에서 비트 복잡도는 $O(\log^2\kappa)$이다. 이러한 상한을 보완하기 위해, 샘플링 하한을 위한 채널 합성, 즉 역 섀넌(reverse-Shannon) 역(converse) 기법을 도입한다. 이는 전변동 시뮬레이션 보장을 통신 요구량으로 변환하며, $d\ge2$이고 전변동 오차가 1 미만으로 고정되어 $\kappa\to\infty$일 때 $\Omega(d\log\kappa)$ 비트 하한을 도출한다. 이러한 결과를 종합하면, 평활화된 점수가 샘플링을 위한 증명 가능하게 더 많은 정보를 제공하는 오라클임을 확인하고 그 유한 비트 복잡도에 대해 거의 일치하는 상한과 하한을 제시한다.
\emph{Kullback-Leibler} (KL) regularization is ubiquitous in reinforcement learning algorithms in the form of \emph{reverse} or \emph{forward} KL. Recent studies have demonstrated $\epsilon^{-1}$-type fast rates for decision making under reverse KL regularization, in contrast to the standard $\epsilon^{-2}$-type sample complexity. However, for forward-KL-regularized objectives, existing statistical analyses are either not applicable or result in $\tilde{O}(\epsilon^{-2})$ slow rates. We take the first step towards addressing this problem via a streamlined analysis of forward-KL-regularized offline CBs. We give the first $\tilde{O}(\epsilon^{-1})$ upper bounds in tabular and general function approximation settings, both under notions of \emph{single-policy concentrability}. In particular, our convex-analytical pipeline unifies these settings by exploiting the pessimism principle in a novel way and completely bypasses the proof routines in previous works based on the mean value theorem, which might be of independent interest. Moreover, we provide rate-optimal lower bounds, manifesting the tightness of our upper bounds in terms of statistical rates. Our lower bounds also demonstrate that the forward-KL-regularized sample complexity recovers the unregularized slow rate in the low-regularization regime, similarly to the reverse-KL regularization.
대규모 언어 모델(LLM) 기반 에이전트는 재시도, 다수결 투표, 자기 일관성과 같은 신뢰성 기법에 의존하지만, 이들은 공통된 분석 틀 없이 각각 개별적으로 발전해 왔다. 우리는 온도 $T$에서 샘플링되는 LLM이 섀넌 부호화 이론의 의미에서 이산 확률적 채널 $p(y \mid x)$임을 관찰하고, 이 동일성을 그러한 프레임워크의 출발점으로 삼는다. 이들 기법은 각각 여섯 가지 고전적 신뢰성 연산자, 즉 다이버시티 결합, 하이브리드 재전송, 반복적 생성자-비평자 복호, 레이트리스 샘플링, 구조적 중복 검증, 난이도 적응형 라우팅 중 하나의 특수한 경우이다. 이 프레임워크 안에서 두 가지 닫힌 형태의 결과, 즉 균등 평균이 품질 가중 평균을 능가하는 노이즈 분산 임계값과 생성자-비평자 정제의 수축성 기준을 제시하고, 각각을 연산 자원을 투입하기 전에 확인할 수 있는 설계 규칙으로 전환한다. 또한 단일 라그랑주 조절 변수로 재학습 없이 품질-비용 프런티어를 가로지르는 비용 인식 의미적 최근접 이웃 라우터를 도입한다. 여섯 가지 로컬 및 클라우드 채널 구성 전반에서, 고정된 모델-기법-예산 선택이 다른 모든 선택을 지배하는 경우는 없었다. MMLU, GSM8K, HumanEval의 300개 항목 고난도 분할에서 라우터는 경험적 파레토 프런티어를 차지한다. 동일한 품질에서 정규화된 비용은 최선의 고정 기법보다 $\approx$56% 낮고, 동일한 비용에서 품질은 $\approx$7% 향상된다(단일 샷 디코딩 대비 26%). 6,900개 출력에 대한 판정자 없는 채점은 판정자가 항목 수준에서 정답 여부를 추적하며, 대부분의 비용 설정에서 고정 정책에 대한 라우터의 우위가 유지됨을 확인해 준다. 내부 추론을 활성화하면 외부 정제의 이득은 줄어들지만, 우리의 점진적 중복 연산자에서는 여전히 유의미하다. 이러한 결과는 신뢰성 기법을 채널 부호화에 기반한 단일의 조절 가능한 계층으로 통합해야 함을 시사한다.
우도를 다루기 쉽게 유지하면서 고차원 의존성을 모델링하는 것은 여전히 어렵다. 고전적인 바인 코퓰러는 명시적인 의존 구조를 제공하지만 비용이 큰 이변량 적합을 반복해야 한다. 우리는 연속형 데이터의 단순화된 바인을 위한 상각 추정기인 Vine Denoising Copula(VDC)를 제안한다. VDC는 시뮬레이션된 코퓰러로 단일 이변량 잡음 제거 신경망을 학습하고 이를 모든 바인 간선에 재사용한다. 각 간선에서 이 신경망은 경험적 히스토그램을 밀도 격자로 사상하며, 반복 비례 적합이 균일한 격자 주변분포를 근사적으로 강제한다. 예측된 밀도와 캐시된 조건부 변환은 표준 바인 재귀, 우도 계산, 샘플링 및 정보 추정을 지원한다. 이는 고전적인 바인 분해를 유지하면서 간선별 반복 적합을 재사용 가능한 신경망 추론으로 대체한다. 합성 및 실제 데이터 벤치마크 전반에서 VDC는 정확한 이변량 밀도 추정, 경쟁력 있는 정보 추정, 사전 학습 이후 더 빠른 고차원 바인 적합을 결합한다. 성능은 데이터셋에 따라 다르며, 유한한 격자 해상도와 조건부 예측은 여전히 한계로 남는다. 명시적으로 적합된 구조는 간선 및 트리 수준의 정보 분해를 지원하여 반복적인 의존성 분석을 더 실용적으로 만든다.
우리는 개별 모델과 앙상블에 대한 알고리즘 독립적인 학습 동역학 이론을 정식화한다. 우리는 보존 법칙, 성공적인 학습 하에서 예측 엔트로피가 사라진다는 성질, 정량적인 엔트로피 및 코어 확장 한계, 그리고 신뢰할 수 있는 예측을 식별하기 위한 보정 및 유한 표본 검증 결과를 확립한다. 이러한 결과는 젠슨-섀넌(Jensen-Shannon, JS) 불일치를 사용하여 불확실한 입력을 특화된 학습기로 라우팅하는 2세대 앙상블의 동기가 된다. CIFAR-10 실험에서는 통제된 섭동, 분포 변화, 적대적 공격을 조사한다. 이질적인 테스트 환경에서 라우팅은 코어 정확도를 95% 근처로 유지하면서 확률 평균화보다 정확도를 향상시킨다. 적대적 방어에 대해서는 쿼리만 가능한 블랙박스 설정을 고려한다. 이 설정에서 공격자는 전체 예측 함수에 질의할 수 있지만, 학습기로의 특정 내부 분해와 라우팅 규칙은 알지 못한다. 현재의 공격은 초기 경로 고정 기울기를 사용하는데, 이는 경로가 변하지 않을 때 단일 단계 공격에는 정확하지만, 특히 큰 섭동에서는 실제 다단계 공격과 차이가 날 수 있다. 우리는 이러한 근사에 대해 우리의 2계층 방어를 평가하며, 추가적인 적대적 학습 계층이 더 강력한 다단계 공격에 대한 저항성을 향상시키는지는 향후 연구로 남겨 둔다.