PyTorchKR Papers

최신 논문

총 395편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2511.12869cs.LG

On the Fundamental Limits of LLMs at Scale

대규모 언어 모델(LLMs)의 발전은 최근 몇 년간 인공지능 분야에서 큰 주목을 받아왔으며, 스케일링을 통해 상당한 성과를 이루어냈다. 그러나 이러한 성과는 다섯 가지 근본적인 한계에 의해 제약을 받는다. 본 연구는 이러한 한계를 이론적으로 분석하고, LLM 스케일링의 고유한 이론적 한계를 형식화하는 통합된 프레임워크를 제시한다. 연구의 주요 초점은 계산 가능성과 비계산 가능성, 정보 이론적 제약, 기하학적 및 계산적 효과를 통해 LLM의 성능 한계를 규명하는 것이다. 계산 가능성과 비계산 가능성의 관점에서, 모든 계산 가능하게 열거 가능한 모델 가족에 대해 대각화는 특정 입력에서 모델이 실패해야 함을 보장한다. 이는 LLM이 특정한 문제에 대해 무한한 실패 집합을 가질 수 있음을 의미한다. 또한, 정보 이론적 제약은 결정 가능한 작업에서도 정확도의 한계를 설정하며, 유한한 설명 길이는 압축 오류를 유발한다. 이러한 이론적 배경은 LLM의 성능을 이해하는 데 필수적이다. 기하학적 및 계산적 효과는 긴 맥락을 압축하는 데 기여하며, 이는 모델의 성능 저하로 이어질 수 있다. 연구에서는 LLM이 패턴 완성을 선호하는 경향과 검색 과정에서 발생하는 의미적 드리프트 및 결합 노이즈 문제를 다룬다. 멀티모달 모델의 경우, 다양한 모달리티 간의 얕은 정렬 문제도 심각한 도전 과제가 된다. 이 논문은 이러한 한계를 극복하기 위한 여러 가지 해결책을 제안한다. 제한된 오라클 검색 및 위치적 커리큘럼과 같은 방법론은 LLM의 성능을 향상시키는 데 기여할 수 있으며, 희소 또는 계층적 어텐션 기법을 통해 모델의 한계를 극복할 가능성을 탐구한다. 각 섹션에서는 이론적 근거와 실험적 증거를 결합하여 스케일링의 효과와 한계를 명확히 하고, 향후 연구 방향을 제시한다. 결론적으로, LLM의 스케일링 한계를 이해하는 것은 멀티모달 모델의 설계 및 훈련에서 발생할 수 있는 여러 문제를 해결하는 데 중요한 기초를 제공한다. 본 연구는 신뢰성, 해석 가능성, 확장성 문제를 해결하기 위한 아키텍처적 및 방법론적 혁신의 필요성을 강조하며, 신경-상징적 기초와 실제 세계의 체화된 데이터와 같은 유망한 방향을 제시한다.

arXiv:2611.20863v1cs.IT

범용 네트워크의 실용적 의미 통신: 양자화 조건에서 고차원 임베딩 압축하기

Practical Semantic Communication for General-Purpose Networks: Compression of High-Dimensional Embeddings Under Quantization

본 논문은 양자화와 채널 오류가 있는 상황에서 고차원 임베딩을 압축하는 데 초점을 둔 무선 의미 통신 프레임워크를 소개한다. 완화한 가우스 정보 병목(GIB) 모델에 기반해, 타깃이 가우스 분포를 따르지 않을 때도 과제에 필요한 정보를 보존할 수 있는 해석적 해를 제시한다. 기존의 가우스 가정을 완화해 텍스트 임베딩처럼 이산적이고 복잡한 데이터도 효과적으로 압축할 수 있게 한다. 압축 행렬을 최적화하는 닫힌 형태의 그래디언트를 도출하고, 연속 표현과 이산 잡음 시스템의 성능을 연결하는 경계를 확립한다. 텍스트 분류 실험에서 제안한 방법은 과제에 관계없이 적용하는 양자화 기반 압축보다 나았다. 임베딩당 비트 예산이 적어도 의미 충실도를 높게 유지했다. 이 접근법은 범용 네트워크에 의미 통신을 배포하는 데 사용할 수 있으며, 확장 가능하고 해석하기 쉽고 자원을 효율적으로 쓴다.

arXiv:2611.20058v1eess.SP

SWAN-Rx: 대역폭 확장이 가능하고 효율적인 MIMO-OFDM 신경망 수신

SWAN-Rx: Efficient and Bandwidth-Scalable Neural Reception for MIMO-OFDM

본 연구는 다중 입력 다중 출력 직교 주파수 분할 다중화(MIMO-OFDM) 시스템을 위한, 윈도우 기반 축 어텐션을 사용한 확장형 신경망 수신기 SWAN-Rx를 제시한다. 이 수신기는 수신 정확도를 높이고 순전파 계산량을 줄이면서, 서로 다른 대역폭 할당과 채널 조건에서 고정된 가중치를 재사용할 수 있다. 수신 신호와 파일럿 문맥을 공통 자원 요소 표현으로 구성하고, 시간축 어텐션과 주파수축의 국소 어텐션을 번갈아 적용한다. 공유 매개변수와 상대 위치 정보를 사용해 추론 시 매개변수를 갱신하지 않고도 할당 길이가 다른 경우에 연판정 탐지를 수행할 수 있다. 부반송파 간격, 모델 구성, 심볼 수가 고정돼 있으면 주파수 이웃의 범위에 상한을 두어 순전파 계산량이 대역폭에 비례해 증가한다. 5G New Radio 물리 계층과 호환되는 평가에서는 물리 자원 블록(PRB) 4개로 학습한 가중치를 최대 273개 PRB와 학습에서 보지 못한 채널에서 재사용했다. 학습 대역폭에서 SWAN-Rx는 비교를 위해 구현한 3단계 신경망 수신기(NRX) 및 DeepRx-MIMO 기준선보다 디코딩 전후 비트 오류율이 낮았다. 두 기준선 대비 매개변수는 각각 16.9%, 39.7%, 순전파 연산량은 각각 56.3%, 35.7% 적었다. 같은 가중치는 평가한 모든 대역폭 외삽 및 16-PRB 채널 전이 시험에서 이 기준선들보다 낮은 디코딩 전 오류율을 달성했다. 16-PRB 시험에서 디코딩 전 오류율 $10^{-2}$을 달성하는 데 필요한 신호 대 잡음비는 NRX보다 0.4~0.9dB 낮은 것으로 추정됐다.

arXiv:2611.19566v1cs.LG

벨만 잔차의 상하한 설정: 할인 보상 및 평균 보상 강화학습의 표본 복잡도 규명

Bellman Residual Bracketing: Resolving the Sample Complexity of Discounted and Average-Reward RL

본 연구는 생성 모델을 사용할 수 있는 강화학습(RL)에서 경험적 계획법인 플러그인 접근의 표본 복잡도를 조사한다. 할인 플러그인 방법은 표본 $O(SA (1-\gamma)^{-3} \varepsilon^{-2} \log(SA/\delta))$개로 $\varepsilon$-최적 정책을 찾는다. 여기서 $S, A, \gamma, \delta$는 각각 상태 집합의 크기, 행동 집합의 크기, 할인 계수, 실패 확률이다. 평균 보상 설정에서는 할인 플러그인과 직접 플러그인(비할인 방식)의 표본 복잡도가 각각 $O(SAH\varepsilon^{-2}\log(SA/\delta))$와 $O(SAD\varepsilon^{-2}\log(SA/\delta))$임을 보인다. $H$는 최적 편향 함수의 범위에 대한 상한이고 $D$는 지름이다. 이 결과와 비적응 생성 모델의 하한을 결합하면, 할인 강화학습과 평균 보상 강화학습의 최소최대 표본 복잡도를 상수 배율 차이까지 규명한다. 평균 보상 설정에서는 편향 함수의 범위를 기준으로 한 계열과 지름을 기준으로 한 계열이 모두 해당한다. 주요 기술적 기여는 벨만 잔차를 상한과 하한으로 제한하는 새로운 기법이다. 이 기법은 흡수 상태가 있는 마르코프 의사결정 과정(MDP)에 기반한 기존 확률 집중 분석의 효율을 높인다.

arXiv:2611.19062v1math.ST

베팅을 이용한 로그 최적 이표본 검정

Log-optimal two-sample testing by betting

각 표준 보렐 관측 공간에 대해 어느 시점에나 유효한 단일 이표본 검정 절차를 구성한다. 이 절차는 미지의 확률분포 쌍마다, 그리고 두 표본 크기가 모두 발산하면서 그 비율이 0이나 무한대를 포함한 어떤 값으로 수렴하든 점근적으로 로그 최적이다. 독립적이고 크기가 같은 표본 쌍의 경우 보유 자산 로그의 최적 증가율은 $2\JS(P,Q)$다. 여기서 $\JS$는 옌센–섀넌 발산이다. 표본 크기가 서로 다르면 가중 옌센–섀넌 정보량을 얻으며, 단일 표본 극한은 $\log W(n_1,n_2)/n_2\to\KL(Q\|P)$이며 조건은 $n_1/n_2\to\infty$이다. 유한 분할을 세분화하는 방법과 가측 특성 커널을 사용한 로그 손실 학습으로 보편적인 구성을 얻을 수 있다. 핵심 기여는 구성의 일반성과 고전적인 일괄 검정의 효율 개념 사이의 연관성에 있다. 구현에서는 분류기를 지속적으로 미세조정할 수 있다. 이를 유한 알파벳, 가우스 데이터, 손글씨 숫자에서 시연했다.

arXiv:2611.18958v1cs.AI

MLM 지원 토큰 통신을 위한 이중 단계 채널 사후확률 통합

Dual-Stage Channel-Posterior Integration for MLM-Aided Token Communications

기존 디지털 변조를 통한 토큰 전송은 채널 손상에 취약하여, 수신된 토큰이 문맥상 일관되지 않게 되는 비트 오류를 유발한다. 본 논문은 마스크 언어 모델(MLM) 기반 토큰 복원을 위한 수신단 측 이중 단계 채널 사후확률 통합 프레임워크를 제안한다. 제안한 프레임워크에서 수신단은 채널 신뢰도로부터 신뢰할 수 없는 토큰 위치를 검출하고 어휘 수준의 채널 사후확률을 구성한다. 특히 수신단 내부에서, 사후확률 가중 입력 임베딩(PWE)은 이 사후확률을 MLM 입력에 주입하고, 적응형 출력 로짓 융합(AOF)은 채널 적응형 가중치로 이를 출력단에서 다시 활용한다. 그 결과, 재전송, 송신단 측 인코딩, 또는 추가적인 MLM 학습 없이도 단일 양방향 MLM 추론으로 여러 개의 신뢰할 수 없는 토큰을 복원할 수 있다. 잡음이 있는 채널에서의 실험 결과, 문맥만 사용하는 MLM 복원 대비 코사인 유사도가 최대 $67.2$\% 향상되었으며, 서로 다른 MLM 아키텍처와 기존 언어 모델 지원 방법 전반에서 일관된 이득을 보였다.

arXiv:2611.18650v1cond-mat.dis-nn

랜덤 행렬 불일치 -- CLuP 알고리즘과 매개변수적 RDT 접근법

Random matrix discrepancy -- CLuP algorithm and parametric RDT approach

우리는 비례 영역에서 랜덤 행렬 불일치(discrepancy)의 정보 이론적 측면과 알고리즘적 측면을 연구한다. 이 문제는 $\kappa=\min_{\x\in\mB^n}\|\sum_{i=1}^{n}\bar{A}_i\x_i\|_2$를 구하는 것에 해당하며, 여기서 $\bar{A}_i\in\mR^{d\times d}$는 n개의 독립동일분포 GOE 행렬의 모음이고, $\mB^n$은 $\mR^n$에서 단위 정육면체의 꼭짓점들이며, $\alpha=\lim_{n\rightarrow \infty}\frac{n}{d^2}$는 비례 상수이다. 여러 방향에서 상당한 진전을 이루었다. (i) 랜덤 쌍대성 이론(RDT) 프레임워크를 개발하고 그 lifted 변형을 활용하여 $\kappa$의 하한을 도출하였으며, 이는 [81]에서 1차 모멘트를 통해 얻은 하한과 정확히 일치한다. (ii) 분석상의 어려움을 해결하기 위해, 완전한 lifted RDT를 구현하기 위한 프록시로 음의 Hopfield 모델을 제안한다. 2차 lifting 수준에서 이 모델은 [81]의 정보 이론적 하한과 [38]의 알고리즘적 상한 사이에 매우 잘 들어맞는다. (iii) 3차 및 4차 lifting 수준에서, 매개변수적 RDT 개념은 프록시 모델에서 낮은 $\kappa$ 값에 대해 상당한 계산적 간극을 예측한다. 프록시의 정보 이론적 적합을 알고리즘적 적합으로 확장하면, [73]과 부합하게 낮은 $\kappa$ 영역의 행렬 불일치에도 유사한 계산적 간극이 있음을 시사한다. (iv) 행렬 불일치를 위한 Controlled Loosening Up(CLuP) 알고리즘을 설계한다. 이 알고리즘의 성능은 우리의 분석 결과와 강하게 일치한다. 낮은 $\alpha$ 범위에서는 정보 이론적 예측에 근접하고(계산적 간극이 작거나 존재하지 않음을 시사), 높은 $\alpha$ 범위에서는 프록시 모델의 알고리즘적 예측을 따른다(상당한 계산적 간극을 시사). 정보 이론적 예측과 알고리즘적 예측 모두 전체 $\alpha\in(0,\infty)$ 범위에서 벡터 유사체인 대칭 이진 퍼셉트론(SBP)의 해당 현상과 일치한다 [1,2,14,31,51,92,111].

arXiv:2611.18625v1stat.ML

결정론적 데이터셋의 쌍별 비유사 분해에 대한 앙상블 한계

Ensemble Bounds for Pairwise Dissimilar Decomposition of Deterministic Datasets

본 논문에서는 중복성 그래프를 사용하여 결정론적 데이터셋의 유사도 감소 분해를 연구하고, 이러한 제약 분해의 최소 크기에 대한 앙상블 한계를 구한다. 배치 간 유사도를 줄이는 배치 분해를 고려하고, Lovász 국소 보조정리를 사용하여 주어진 쌍별 비유사도를 갖는 분해의 최소 크기에 대한 한계를 구한다. 이어서 주어진 완화 매개변수를 갖는 유일 배치 분해를 고려하여 최소 크기에 대한 앙상블 상한과 하한을 구한다. 전반에 걸쳐, 유사한 데이터 포인트 쌍의 수를 조건으로 하여 이항 랜덤 그래프를 사용함으로써 원하는 앙상블 한계를 얻는다.

arXiv:2611.06470v2math.CO

정렬된 사영 몇 개가 k차원의 임의의 n개 점을 결정하는가?

How many sorted projections determine any n points in k dimensions?

$d_1,\dots,d_m$을 $\mathbb{R}^k$의 방향이라 하자. 단, $k\ge 2$이다. $\mathbb{R}^k$의 점 $n$개로 이루어진 다중집합 $X$는 $m$개의 수 다중집합 $\{\{x\cdot d_j : x\in X\}\}$으로 사영되며, 이는 이 수들의 정렬된 목록 $m$개로 사영되는 것과 동치이다. 이 사영들이 $n$개 점으로 이루어진 모든 다중집합을 결정하려면 몇 개의 방향이 필요한가? 모든 차원에서 두 가지 단순한 경계가 알려져 있다. 즉, $(k-1)\log_2 n$개보다 많은 방향이 항상 필요하고, 일반 위치의 방향 $(k-1)n+1$개면 언제나 충분하다. 평면에서는 훨씬 많은 것이 알려져 있는데, Matousek, Privetivy, Skovron은 거의 모든 $O(\log n \log\log n)$개 방향 선택이 충분함을 보였다. 더 높은 차원에서 유사한 결과가 성립하는지는 Dym, Wellershoff, Tsoukanis, Levy, Balan에 의해 미해결로 남겨졌다. 우리는 무작위 선형 부호의 목록 복구에 대해 증명된 Hair와 Sahai의 두 보조정리가 그 질문에 답함을 관찰하고, 그들의 논증을 보강하여 모든 차원에서 거의 모든 $(4k-2)\ln(2n)\ln(k\log_2 2n)+k+1$개 방향 선택이 충분함을 보인다. $k\le 10$에서는 $n$이 약 100보다 크면 이것이 선형 경계보다 우수하다. 예를 들어 평면에서 1000개 점의 다중집합에는 144개 방향이면 충분하며, 정확한 계산으로는 이를 133개로 낮춘다. 그들의 논증에서 일부 무작위 블록이 실패하도록 허용하면 $\log k$ 인자가 제거되어, $k$와 $n$에 대해 균등하게 거의 모든 $O(k\log n\log\log n)$개 방향 선택이 충분하다. 또한 $2k-1$개 방향은 세 점을 결코 결정하지 못하므로 로그 하한이 타이트하지 않음을 보이고, 평면의 임의의 $m$개 방향이 크기 $O(1.65^m)$인 어떤 다중집합 쌍에서 실패함을 보여 Matousek, Privetivy, Skovron의 $O(1.80^m)$ 경계를 개선하며, 각 $k$, $m$, $n$에 대해 거의 모든 $m$개 방향 선택이 작동하거나 거의 어느 것도 작동하지 않음을 보인다.

arXiv:2610.10235v3cs.IT

LLM-GA를 넘어서: ReEvo 기반 밈틱 알고리즘을 활용한 안전한 유동 안테나 시스템

Beyond LLM-GA: Secure Fluid Antenna Systems with ReEvo-Designed Memetic Algorithm

유동 안테나 시스템(FAS)은 뛰어난 공간적 유연성을 제공하지만, 군사, 위성 및 사물인터넷(IoT) 네트워크에 실제로 FAS를 배치하기 위해서는 도청에 대응하는 보안 확보가 매우 중요합니다. 대규모 언어 모델(LLM) 기반 유전 알고리즘(LLM-GA)을 통해 이러한 보안 FAS 포트 선택 문제를 다룰 수 있지만, 추가적인 알고리즘적 개선이 가능한지는 더 심도 있는 연구가 필요합니다. 이를 위해 본 논문에서는 반사적 진화(ReEvo) 기반의 밈틱 알고리즘(memetic algorithm)을 제안합니다. LLM을 통해 교차(crossover) 또는 변이(mutation) 연산자만을 설계하는 최신 LLM-GA와 달리, 제안하는 알고리즘은 LLM을 활용해 전용 교차, 변이 및 국소 탐색(local-search) 연산자를 오프라인에서 진화시킵니다. 이후 이러한 연산자들을 밈틱 탐색 프레임워크에 통합함으로써 실행 중 온라인 LLM 호출을 완전히 배제합니다. 동일한 세대 수 조건에서의 시뮬레이션 결과, 제안하는 알고리즘이 기존 GA 및 최신 LLM-GA 대비 더 높은 보안 총합 전송률(secure sum-rate)을 달성함을 입증합니다.

arXiv:2608.27909v2cs.IT

다중 에이전트 강화학습 기반 저고도 유동 안테나 네트워크

Low-Altitude Fluid Antenna Network with Multi-Agent Reinforcement Learning

저고도 무선 네트워크(LAWN)는 지상 및 공중 플랫폼을 통합하여 무인항공기(UAV)와 전기 수직 이착륙(eVTOL) 항공기를 위한 보편적 통신, 감지, 위치측정 서비스를 제공한다. 그러나 동적인 지대공 및 공중 간 채널, 급격한 차폐, 이질적 간섭이 이러한 목표의 실현을 방해한다. 그럼에도 불구하고 최첨단 다중 입력 다중 출력(MIMO) 기법인 유동 안테나(FA)는 안테나 위치를 재구성하여 추가적인 공간 자유도를 확보함으로써 이러한 난제를 극복한다. 본 논문에서는 저고도 FA 네트워크의 현실화를 목표로, 다중 에이전트 강화학습(MARL)을 활용한 저고도 FA 네트워크에서의 빠르고 고성능 FA 재구성을 연구한다. 구체적으로 전자기 디지털 트윈(EM-DT) 보조 MARL 프레임워크를 제안한다. sim-to-real 격차를 메우기 위해 2단계 전이학습 프레임워크를 도입한다. 사례 연구 결과, FA 위치와 빔포밍 최적화를 공동으로 수행하면 고정 위치 기준선 대비 시스템 sum-rate를 118.5% 향상시킬 수 있음을 보여준다. 이러한 이득은 FA 배열의 동적 밀리초(ms) 단위 재구성과 이동성을 갖는 공중 사용자를 향한 빔의 적응형 조향에서 비롯된다.

arXiv:2605.26163v3cs.IT

적대적 워터필링: 이론, 알고리즘, 그리고 도메인 특화 무선 파운데이션 모델

Adversarial Water-Filling: Theory, Algorithms, and a Domain-Specific Wireless Foundation Model

주파수와 공간에 걸친 경쟁적 자원 할당 문제는 송신 전력과 최악의 간섭 사이의 미니맥스 상호작용으로 정식화할 수 있다. 이러한 정식화는 경쟁 위성군의 전송이 실시간으로 서로 간섭하는 다중 사업자 저궤도(LEO) 위성 스펙트럼 공유에서 자연스럽게 나타난다. 가우시안 채널 하에서 해당 전력 할당 문제는 유일한 안장점을 갖는 볼록-오목 정식화를 허용한다. 이산 성상(constellation)의 경우에는 일반적으로 비볼록한 머큐리/워터필링 정식화가 얻어진다. 본 논문에서는 이러한 설정에 대한 이론과 알고리즘을 갖춘 적대적 워터필링(AWF) 문제를 제안한다. 또한 AWF의 탐색 동역학을 학습하기 위한 AWF용 도메인 특화 무선 파운데이션 모델을 개발한다. 이 아키텍처는 순열 불변 채널 표현, 희소 메시지 전달을 갖춘 제약 인식 그래프 신경망(GNN), 그리고 AWF 최적성이 함의하는 저차원 수위(water level)를 포착하는 전역 잠재 변수를 포함한다. 학습된 투영 외삽경사(extragradient) 반복을 통해 이 모델은 머큐리/워터필링 하에서 발생하는 제약 미니맥스 문제의 정상해를 근사한다. 나아가 국소 정칙성 및 안정성 조건 하에서 학습된 AWF 동역학의 투영 정상성/Karush-Kuhn-Tucker 일관성과 조건부 국소 수렴성을 증명한다. 실험 결과, 보지 못한 문제 크기, 제약 구조, 이산 성상, 채널 가중 목적함수에 걸쳐 경험적 일반화가 나타났으며, 대응하는 인스턴스에서 Mirror-Prox 대비 비슷한 수준의 1차 해 품질을 유지하면서 중앙값 기준 한 자릿수 이상의 속도 향상을 달성하였다. 관련 코드는 https://github.com/convexsoft/AWF 에서 확인할 수 있다.

arXiv:2605.06710v2cs.IT

학습과 추정의 정보 이론적 한계

Information-theoretic Limits of Learning and Estimation

정보 이론은 계산 능력과 무관하게 어떠한 학습 또는 추정 알고리즘이 달성할 수 있는 것과 없는 것에 대한 근본적 한계를 확립하는 데 중심적인 역할을 한다. 이 초안은 이러한 연결에 대한 입문을 제공한다. 먼저 집중 부등식과 함께 거리 공간에서의 덮개(covering)와 패킹(packing)의 개념, 그리고 이와 관련된 거리 엔트로피 개념을 소개한다. 이러한 도구는 본 분석에 필수적이다. 이어서 학습 이론적 프레임워크를 소개하고, 거리 엔트로피, Rademacher 복잡도, VC 차원, 그리고 상호 정보량과 상대 엔트로피로 표현되는 일반화 오차의 상한을 유도한다. 마지막으로 미니맥스 추정 프레임워크를 논의하고, Fano 부등식을 이용하여 상대 엔트로피와 덮개 및 패킹 수로 표현되는 미니맥스 위험의 하한을 확립한다. 본 원고의 상당히 개정 및 보강된 버전은 Cover와 Thomas의 Elements of Information Theory 제3판의 두 개 장으로 수록될 예정이다. 문의는 abbas@ee.stanford.edu로 연락하기 바란다.

arXiv:2611.18538v1cs.IT

유한한 지능이 무한한 세계에서 작동하는 이유: 수학적 이론

Why Finite Intelligence Works in an Infinite World: A Mathematical Theory

정보 시스템은 무엇을 질문받을지 알기 전에 학습해야 하는 경우가 많다. 질문들이 임의로 흩어진 무관한 사실을 요구하지 않고 집단적 구조를 공유한다면, 유한한 표현은 무한한 환경을 완전히 기록하지 않고도 성공할 수 있다. 본 논문은 이 현상을 미래 과제 정보, 즉 가용한 증거에 대하여 결정 가치를 보존하는 데 필요한 최소 유지 정보로 정식화한다. 결합 결정-후회 상태는 허용된 모든 과제에 대한 행동 간 사후 비교를 기록한다. 컴팩트성 가정 하에서 유지된 모든 표현은 이 상태에 기반한 보정된 대체물을 허용하며, 이는 정보를 늘리지 않고 모든 과제의 후회를 보존한다. 그 결과인 정보-후회 곡선은 운용적 부호화율과 같다. 두 가지 정확한 경계가 유한 보존을 좌우한다. 행동 수가 고정된 경우의 약-별 폐포, 그리고 모든 유한 행동 메뉴가 허용될 때의 소스-증거 법칙의 특이 질량이다. 집단적 구조는 개별 질문의 난이도를 넘어서는 정보 요구량을 결정한다. 동일한 소스 법칙, 쌍별 과제 거리, 개별 과제 율을 가진 족들도 서로 다른 고해상도 지수를 가질 수 있다. 공분산이 동일한 좌표 족과 패리티 족은 서로 다른 정확한 율-왜곡 곡선을 가지며, 최적 패리티 유지는 날카로운 푸리에 엔트로피 부등식으로 특성화된다. 균형 잡힌 중첩 과제 족에 대해서는 세분화 크기와 가중 도달 범위가 가법 상수 이내로 율을 결정하며, 명시적 감쇠 조건 하에서 접두 부호화로 달성된다. 비선형 학습 및 계산적 분리는 보존을 효율적 발견 및 사용과 구분한다. 제안된 수학적 이론은 어떤 공유된 결정 요구가 유한한 정보를 무한히 많은 가능한 목적에 대해 유용하게 유지하게 하는지를 규명한다.

arXiv:2611.17492v1cs.LG

PF-Exec: 고정된 퍼텐셜 방향 결정기와 차원별 이득 학습 실행기를 이용한 대규모 UAV 릴레이 부하 분산

PF-Exec: Large-Scale UAV Relay Load Balancing with an Anchored Potential Direction Decider and a Per-Dimension Gain-Learning Executor

대규모 UAV 네트워크의 릴레이 부하 분산은 연결, 대역폭, 전력, 호버링 위치에 대한 공동 결정을 요구하며, 이때 차원은 UAV 수에 따라 증가하고 각 UAV는 자신의 국소 상태만 관측한다. 본 논문은 이 결정을 두 계층으로 나눈다. 고정된 퍼텐셜 방향 결정기는 매 순간 닫힌 형태의 목표를 산출하고 그 방향만을 반환한다. 이득 학습 실행기는 국소 관측을 차원별 양의 이득으로 사상하고, 이득과 목표를 합성하며, 물리적 단일 단계 한계에 맞추어 행동을 클리핑한다. 이 두 계층이 PF-Exec를 이룬다. 단위 이득이 기본 시작값이므로, 실행기는 학습 전에는 순수 퍼텐셜 정책으로 환원된다. 부하는 대역폭에 대해 1차 동차이므로 대역폭 목표가 닫힌 형태가 되며, 위치 목표는 서비스되는 사용자의 수요 가중 중심이다. 시스템은 소프트 연결을 갖는 2홉 접속 및 밀리미터파 백홀 링크, 두 층의 섀도잉을 갖는 3GPP UMa-AV 채널, OU형 사회적 힘 군중, 쿼드로터 물리 계층을 사용한다. 평가는 모든 기체 규모, 두 가지 군중 시나리오, 독립적인 시드, 각자의 설정에서의 기존 발표 기준선, 그리고 정보가 열화된 설정을 포괄한다. 압력이 가장 높은 버스트 설정에서 고정 단계 비교 방법은 일부 시드에서 무너져 공정성과 평균 부하를 동시에 잃는 반면, PF-Exec는 공정성을 1에 가깝게 유지한다. 열 가지 비교 방법 중 탐욕 휴리스틱만이 그 설정에서 살아남지만, 그 부하 분산은 훨씬 높게 유지된다. 오래된 전역 상태와 위치 잡음 하에서도 공정성 지수는 두 최대 규모 시나리오 모두에서 높게 유지된다. 비행 에너지는 학습된 실행기와 고정 단계 실행기 사이에서 거의 동일하며, 세 개의 상수는 모든 설정에 걸쳐 한 번만 고정된다. 절단된 이득 반복에서 섭동된 추적 한계에 이르기까지 두 계층의 수렴 성질은 동반 분석에서 증명된다.

arXiv:2611.17108v2cs.LG

LazyWeights: 요청 시 디코딩 방식의 엣지 LLM

LazyWeights: Decode-on-Demand Edge LLMs

메모리는 엣지 디바이스가 어떤 LLM을 얼마나 빠르게 실행할 수 있는지를 결정한다. 4 GB Jetson Nano에서는 용량이, 8 GB Jetson Orin Nano Super에서는 대역폭이 제약이 된다. 배포된 형식(GPTQ, AWQ, llama.cpp의 K-quant 및 I-quant)은 행렬의 모든 정수 코드에 동일한 비트를 할당하지만, 실제 코드 분포는 균일과는 거리가 멀다. LazyWeights는 이러한 형식을 유지하면서 코드가 압축되도록 GPTQ를 조정하고, 이를 인터리브된 레인에서 허프만 부호화로 무손실 압축하며, DRAM과 L2 사이의 소형 유닛에서 요청 시 디코딩한다. 따라서 GPU 커널은 변경 없이 실행되고 DRAM은 부호화된 바이트만 전송한다. 1% 및 3.5%의 퍼플렉서티 예산에서, 부호화된 Phi-3-mini, Mistral-7B, SmolLM-1.7B는 최선의 llama.cpp 형식보다 5.7~31.4% 작다. 비트 단위로 정확한 0.21 mm^2 ASIC 디코더 유닛(1 GHz, 7 nm)은 Orin의 토큰당 지연 시간과 에너지를 각각 최대 36%, 38% 줄인다(프롬프트 룩업 추측 디코딩을 사용하면 54%, 44%). Nano에서 LazyWeights는 CPU llama.cpp 대비 토큰당 시간이 58~64%, 에너지가 53~57% 적게 들며, 가중치당 3.89비트의 스트리밍 Mistral-7B를 6.6배 빠르게 실행한다. 동일한 처리량에서 허프만 디코더는 압축률과 면적 면에서 rANS 디코더보다 우수하며, ASIC 디코더 유닛은 Zynq UltraScale+ FPGA(AMD ZCU102)에서 비트 단위로 정확하게 동작한다.

arXiv:2604.21909v3cs.CV

방향성 혼동은 인간과 기계 시각의 율-왜곡 기하를 통해 서로 다른 귀납 편향을 드러낸다

Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision

인간과 최신 비전 모델은 유사한 분류 정확도에 도달하면서도 체계적으로 다른 종류의 오류를 범할 수 있다. 이는 얼마나 자주 틀리는지가 아니라 무엇이 무엇으로 오인되는지, 그리고 그 방향에서 차이를 보인다. 우리는 이러한 방향성 혼동이 정확도만으로는 보이지 않는 서로 다른 귀납 편향을 드러냄을 보인다. 12가지 교란 유형 하의 자연 이미지 범주화 과제에서 대응되는 인간 및 심층 비전 모델의 응답을 사용하여, 혼동 행렬의 비대칭성을 정량화하고 이를 정보-오류 트레이드오프의 형태와 연결한다. 우리는 율-왜곡(RD) 경계에서 추출한 세 가지 특징, 즉 기울기 beta, 곡률 kappa, 효율(AUC)로 이 트레이드오프 기하를 특성화한다. 그 결과 인간은 넓지만 약한 비대칭을 보이는 반면, 심층 비전 모델은 더 희소하고 강한 방향성 붕괴를 보인다. 강건성 학습은 전역 비대칭을 줄이지만, 단계적 유사성에 기반한 인간과 유사한 폭-강도 프로파일을 회복하지는 못한다. 기전적 시뮬레이션은 성능이 일치하는 경우에도 서로 다른 비대칭 구성이 RD 경계를 반대 방향으로 이동시킨다는 점을 추가로 보여 준다. 종합하면 이러한 결과는 방향성 혼동과 RD 기하를 분포 변화 하에서 귀납 편향을 나타내는 간결하고 해석 가능한 지표로 자리매김한다.

arXiv:2611.15722v1eess.SP

2단계 MUSIC에 기반한 신뢰할 수 있는 근거리장 소스 개수 추정 및 위치 추정

Reliable Near-Field Source Enumeration and Positioning Informed by Two-Stage MUSIC

정확하고 신뢰할 수 있는 근거리장 다중 소스 위치 추정은 미래 무선 시스템의 위치 인지 처리에 필수적이다. 그러나 결맞는 다중경로 전파는 가시선(LoS) 소스 위치의 직접 복원을 어렵게 하며, 기존 추정 방법은 대체로 소스 과소 추정의 위험과 위치 추정의 불확실성을 명시적으로 제어하지 못한다. 본 논문에서는 근거리장 결맞는 다중경로 환경에서 신뢰할 수 있는 소스 개수 추정과 위치 추정을 연구한다. 구체적으로, 고유값 기반 기준의 페널티 계수를 보정하여 기대 미검출 비율을 지정된 수준으로 제어하는 컨포멀 위험 제어(CRC) 기반 소스 개수 추정 기법을 개발한다. 또한 2단계 MUltiple SIgnal Classification(MUSIC)에 기반한 모델 기반 딥러닝 프레임워크인 MUSIC-Net을 제안하며, 이는 부분공간 거리 기반 학습을 통해 LoS 관련 부분공간과 대리 거리를 학습함으로써 비가시선(NLoS) 경로 매개변수를 추정하거나 이후 경로 연관을 수행하지 않고도 소스 위치를 직접 추정할 수 있게 한다. 추정된 위치의 불확실성을 정량화하기 위해, 유한 표본 동시 커버리지 보장을 갖는 각도-거리 예측 영역을 구성하는 분할 컨포멀 예측(SCP) 기반 보정 방법을 개발한다. 수치 결과에 따르면 제안한 프레임워크는 소스 과소 추정의 위험을 효과적으로 제어하며, 동일한 목표 커버리지 수준에서 벤치마크보다 더 좁은 예측 영역과 향상된 위치 추정 정확도를 제공한다.

arXiv:2607.21426v2cs.LG

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

arXiv:2504.15779v2cs.IT

섀넌 관측량: 정보 분해를 위한 확장 가능한 접근

Shannon observables: A scalable approach to information decomposition

생물학적 신경망과 인공 신경망 같은 분산 시스템은 여러 하위 시스템이 관여하는 복잡한 상호작용을 통해 정보를 처리하며, 그 결과 시스템 내 정보는 규모에 따라 서로 다른 특성을 갖는 고차 구조를 이룬다. 이러한 시스템이 정보를 어떻게 처리하는지 조사하는 일은 적절한 다변량 지표를 정의하고 이를 대규모 시스템으로 확장하는 데 어려움이 있어 여전히 도전적이다. 이러한 문제를 해결하기 위해 우리는 "섀넌 관측량(Shannon observables)"이라 부르는 개념에 기반한 새로운 프레임워크를 도입한다. 이는 고차 정보 처리의 본질적 특성을 포착하면서도 섀넌 엔트로피로부터 직접 계산할 수 있고 대규모 시스템으로 효율적으로 확장되는 양이다. 우리의 이론적 결과는 널리 사용되는 다변량 정보 이론적 척도의 해석에 관한 오랜 모호성을 해소하는 데 섀넌 관측량을 어떻게 사용할 수 있는지 보여준다. 실용적 측면에서는 여러 분야에 걸쳐 이 프레임워크의 다양한 활용성을 입증한다. 오류 정정 부호에 대한 해석적 연구는 채널 잡음이 변함에 따라 섀넌 관측량이 서로 다른 부호화 영역을 어떻게 그려내는지 보여주며, 심층 분류기와 합성곱 오토인코더에 대한 분석은 계층 간 및 학습 과정에 따른 특징적인 정보 처리 양상을 드러낸다. 또한 인간 뇌의 뇌자도 기록에 적용하면, 이 프레임워크는 방향성 정보 전달에서 뚜렷한 지역적 구조를 드러내는 피질 지도를 제공한다. 전반적으로 우리의 프레임워크는 고차 정보 현상을 분석하는 데 있던 근본적 한계를 해소하며, 이론적 발전과 실증 분석을 위한 폭넓은 기회를 제공한다.