RAOA: 프로그래머블 무선 전파를 활용한 교차 연산자 신경망 연산
RAOA: Alternating-Operator Neural Computation with Programmable Radio Propagation
한국어 초록
프로그래머블 무선 전파(programmable radio propagation)가 단순한 통신 채널이나 일회성 아날로그 변환을 넘어 연산 깊이(computational depth) 역할을 수행할 수 있을까? 본 논문에서는 지속적인 잠재 상태(latent state) 상에서 에너지 기반 문제 업데이트와 혼합 업데이트를 교차 수행하는 순환형 컴퓨팅 아키텍처인 무선 교차 연산자 안사츠(Radio Alternating Operator Ansatz, RAOA)를 제안한다. 각 혼합 단계 이후 문제 필드를 재계산함으로써, 여러 층에 걸쳐 동일한 학습된 제어 파라미터를 재사용하더라도 반복적인 패스가 합성적(compositional) 특성을 갖도록 만든다. 우리는 정확한 이산 최적화, 제약 조건이 있는 프로그래머블 전파 시뮬레이션, 사전학습 모델 적응(adaptation)을 통해 이 아이디어를 평가한다. 이산 목적 함수에서 반복 실행은 학습된 제어 파라미터 수를 늘리지 않고도 해의 품질을 향상시킬 수 있으며, 동일한 정식화로 고차 상호작용을 직접 처리할 수 있다. 나아가 수동형 위상 전용(phase-only) 자유 공간 모델을 통해, 구현 오차에도 불구하고 유용한 다운스트림 동작을 유지하면서 필요한 연산자를 프로그래머블 전파로 근사할 수 있음을 보인다. 0으로 초기화된 잔차 어댑터(residual adapter)로 삽입될 때, RAOA는 세 가지 모델 패밀리에 걸쳐 매칭된 얕은 MLP와 유사한 WikiText 성능으로 사전학습 언어 모델을 적응시키는 반면, 추론 태스크 전이는 모델에 따라 차이를 보인다. 종합적으로, 이러한 결과는 교차 연산자 연산, 프로그래머블 무선 전파, 신경망 적응을 단일 순환 프레임워크 내에서 연결한다. 단, RF 구현에 관한 증거는 하드웨어 실증이 아닌 시뮬레이션에 기반한다.
원문 초록
Can programmable radio propagation serve as computational depth rather than only as a communication channel or one-shot analog transform? We introduce the Radio Alternating Operator Ansatz (RAOA), a recurrent computing architecture that alternates an energy-derived problem update with a mixing update over a persistent latent state. Recomputing the problem field after each mix makes repeated passes compositional even when the same learned controls are reused across depth. We evaluate this idea through exact discrete optimization, constrained programmable-propagation simulation, and pretrained-model adaptation. On discrete objectives, repeated execution can improve solution quality without increasing the learned-control count, and the same formulation handles higher-order interactions directly. A passive phase-only free-space model further shows that the required operators can be approximated by programmable propagation while retaining useful downstream behavior despite realization error. When inserted as a zero-initialized residual adapter, RAOA adapts pretrained language models with WikiText performance close to a matched shallow MLP across three model families, while reasoning-task transfer remains model-dependent. Together, these results connect alternating-operator computation, programmable radio propagation, and neural adaptation within one recurrent framework. The RF realization evidence is simulation-based rather than a hardware demonstration.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전역 제약 조건 문제에서 블랙보드 지능이 자기회귀 방식을 능가할 수 있다
Blackboard Intelligence Can Surpass Autoregressive on Globally Constrained Problems
다음 토큰 예측(next-token prediction)은 대규모 언어 모델(LLM)의 눈부신 발전을 이끌어왔으나, 점차 늘어나는 연구 결과들은 복잡한 전역 제약 조건(global constraints)이 지배하는 문제에서 이러한 모델들이 어려움을 겪을 수 있음을 시사합니다. 본 연구에서는 이러한 영역에 주목하여, 이 한계 중 일부가 다음 토큰 예측 자체가 유도하는 추론 인터페이스에서 비롯되는지 질문을 던집니다. 우리는 인과적(causal)이고 좌에서 우로 진행되는 궤적에 얽매이지 않고 고정된 수정 가능한 캔버스 위에서 작업하며 후보 해 상태를 탐색하는 추론 시점(inference-time) 관점인 블랙보드 지능(blackboard intelligence)을 통해 이 문제를 연구합니다. 우리는 임의 순서 예측 인터페이스를 통해 부분적으로 채워진 해 상태에 대한 예측을 자연스럽게 제공하는 확산 언어 모델(diffusion language model)로 이 개념을 구현합니다. 우리의 핵심 관찰은 표준 마스크 기반 확산 목적함수에서 얻을 수 있는 단순한 모델 내부 수치인 평균 신뢰도(mean confidence)가 전역 일관성(global coherence)에 대한 유용한 프록시 역할을 하며 추론 시점의 탐색과 수정을 안내할 수 있다는 점입니다. 실험적으로 ZebraLogic, 간호사 근무 일정 배정(Nurse Rostering), 작업장 스케줄링(Job-Shop Scheduling, JSSP) 전반에 걸쳐 Blackboard는 파인튜닝된 LLaDA-8B-Instruct 체크포인트를 고정한 상태에서도 일관되게 추론 성능을 향상시키며 동일한 규모의 자기회귀(autoregressive) 베이스라인을 크게 능가하여 ZebraLogic-Hard에서 90.4%의 정확도, Nurse Rostering에서 76.4%의 정확한 실행 가능성(exact feasibility), JSSP에서 80.2%의 최적성(optimality)을 달성했습니다. 더 강력한 자기회귀 탐색 및 정제 기법으로도 ZebraLogic-Hard에서의 격차를 좁히지 못했으며, Blackboard는 훨씬 더 큰 규모와 강력한 테스트 시점 추론 능력을 갖춘 테스트 대상 프론티어 LLM들을 ZebraLogic-Hard 및 JSSP에서 능가했습니다. 우리는 코드베이스를 https://github.com/jwoosang1/blackboard-intelligence 에 오픈소스로 공개합니다.
탐욕적 최장 일치 토큰화를 위한 공동 최적화
Joint Optimization for Greedy Longest-match Tokenization
최근 연구는 서브워드(subword) 어휘를 Byte Pair Encoding(BPE)과 같은 탐욕적 휴리스틱에 의존하기보다, 특정 추론 규칙에 대한 압축을 최적화하도록 학습할 수 있음을 보여 주었다. 본 연구는 이 접근법을 WordPiece의 기반이 되는 빠르고 널리 쓰이는 추론 규칙인 좌→우 탐욕적 최장 일치(greedy longest-match) 디코딩으로 확장한다. 탐욕적 최장 일치 토큰화를 위한 공동 최적화(Joint Optimization for Greedy Longest-Match Tokenization, JOLT)를 제안하며, 이는 어휘 학습을 어휘 선택 변수와 분절(segmentation) 선택 변수에 대한 정수 프로그램(integer program)으로 형식화한다. 탐욕적 일관성(greedy-consistency) 제약은 각 최적화된 분절이 선택된 어휘 하에서 최장 일치 디코딩이 생성하는 분절과 정확히 일치하도록 보장하여, 학습 목표를 배포 시점의 토큰화와 정렬한다. 최적화를 확장하기 위해 선형 프로그래밍(linear programming) 완화(relaxation)를 풀고, 미해결 pretoken에 대해서만 고차(higher-order) 분절을 선택적으로 도입한다. 그 결과 얻어진 완화는 거의 정수(integral)적이다: 반올림된 해는 학습 범위(training scope)에서 LP 하한(lower bound)의 0.008 - 0.176 % 이내에 있다. 이 하한은 또한 BPE가 탐욕적 최장 일치 디코딩 하에서 달성 가능한 최상의 압축의 1 - 2 % 이내에 이미 있음을 보여 주며, JOLT는 남은 격차의 89.6 - 99.4 %를 메운다. 네 가지 학습 범위와 32,000 및 64,000의 어휘 크기에 걸친 보류(hold-out) 검증 데이터에서 JOLT는 BPE보다 최대 0.78 % 적은 토큰을 생성하며, 개선은 일반적으로 학습 범위가 커질수록 증가한다. 이 결과는 추론 정렬(inference-aligned) 어휘 최적화가 BPE가 남긴 제한된 압축 여유(headroom)의 대부분을 회복할 수 있음을 보여 주며, 동시에 근최적(near-optimality)성에 대한 증명(certificate)을 제공한다.
팩터 그래프를 통한 서브샘플링을 위한 진화 인식 MSA 추론
Evolution-Aware MSA Reasoning for Subsampling via Factor Graphs
다중 서열 정렬(MSA)은 단백질 언어 모델에 명시적인 진화적 맥락을 제공하지만, 깊이가 크기 때문에 제한된 토큰 예산 하에서는 서브샘플링이 불가피하다. 무작위 선택, 동일성(identity) 기반 필터링, 다양성 중심 샘플링 등 기존 전략은 효과적인 휴리스틱이지만, 부분집합에 보존되는 진화적 신호에 대한 제어가 제한적이다. 본 연구에서는 MSA 서브샘플링을 명시적 최적화 문제로 재구성하며, 쿼리 동일성과 다양성을 포함한 핵심 진화 지표를 제어 가능한 목표로 취급한다. 이 관점을 바탕으로 친화력 전파(Affinity Propagation) 기반 팩터 그래프 접근법인 AP-REASONER를 제안한다. 진화 인식 단항(unary) 팩터, exemplar 일관성 팩터, 두 개의 제어 노브를 갖춘 AP-REASONER는 메시지 전달(message passing)을 통한 팩터 그래프 추론으로 고정 예산 MSA 부분집합을 추론한다. 장거리 접촉 예측 및 conformational 앙상블 예측 실험에서 AP-REASONER는 구조 민감 하위 작업에서 기준선 서브샘플러보다 우수한 성능을 보이며, 대안적 단백질 conformation의 제어 가능한 복원을 가능하게 한다. 이러한 결과는 MSA 서브샘플링을 제어 가능한 최적화 문제로 모델링할 때의 가치를 부각하며, 팩터 그래프 추론이 휴리스틱 선택에 대한 효과적인 대안임을 보여준다.
음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화
Quantifying the Generation Modality Gap in Speech-Text Language Models
순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.
활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대
When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
31 pages, 6 figures