arXiv:2609.38806v2 cs.LG

전역 제약 조건 문제에서 블랙보드 지능이 자기회귀 방식을 능가할 수 있다

Blackboard Intelligence Can Surpass Autoregressive on Globally Constrained Problems

Woosang Jeon, Jaeyeon Kim, Sham Kakade, Yilun Du, Amrit Singh Bedi, Arun Kumar Chithanar, Chul Lee, Taehyeong Kim, Sitan Chen

제출 2026-09-30

저자 비고

arXiv Comments

32 pages, 9 figures

한국어 초록

다음 토큰 예측(next-token prediction)은 대규모 언어 모델(LLM)의 눈부신 발전을 이끌어왔으나, 점차 늘어나는 연구 결과들은 복잡한 전역 제약 조건(global constraints)이 지배하는 문제에서 이러한 모델들이 어려움을 겪을 수 있음을 시사합니다. 본 연구에서는 이러한 영역에 주목하여, 이 한계 중 일부가 다음 토큰 예측 자체가 유도하는 추론 인터페이스에서 비롯되는지 질문을 던집니다. 우리는 인과적(causal)이고 좌에서 우로 진행되는 궤적에 얽매이지 않고 고정된 수정 가능한 캔버스 위에서 작업하며 후보 해 상태를 탐색하는 추론 시점(inference-time) 관점인 블랙보드 지능(blackboard intelligence)을 통해 이 문제를 연구합니다. 우리는 임의 순서 예측 인터페이스를 통해 부분적으로 채워진 해 상태에 대한 예측을 자연스럽게 제공하는 확산 언어 모델(diffusion language model)로 이 개념을 구현합니다. 우리의 핵심 관찰은 표준 마스크 기반 확산 목적함수에서 얻을 수 있는 단순한 모델 내부 수치인 평균 신뢰도(mean confidence)가 전역 일관성(global coherence)에 대한 유용한 프록시 역할을 하며 추론 시점의 탐색과 수정을 안내할 수 있다는 점입니다. 실험적으로 ZebraLogic, 간호사 근무 일정 배정(Nurse Rostering), 작업장 스케줄링(Job-Shop Scheduling, JSSP) 전반에 걸쳐 Blackboard는 파인튜닝된 LLaDA-8B-Instruct 체크포인트를 고정한 상태에서도 일관되게 추론 성능을 향상시키며 동일한 규모의 자기회귀(autoregressive) 베이스라인을 크게 능가하여 ZebraLogic-Hard에서 90.4%의 정확도, Nurse Rostering에서 76.4%의 정확한 실행 가능성(exact feasibility), JSSP에서 80.2%의 최적성(optimality)을 달성했습니다. 더 강력한 자기회귀 탐색 및 정제 기법으로도 ZebraLogic-Hard에서의 격차를 좁히지 못했으며, Blackboard는 훨씬 더 큰 규모와 강력한 테스트 시점 추론 능력을 갖춘 테스트 대상 프론티어 LLM들을 ZebraLogic-Hard 및 JSSP에서 능가했습니다. 우리는 코드베이스를 https://github.com/jwoosang1/blackboard-intelligence 에 오픈소스로 공개합니다.

원문 초록

Next-token prediction has driven remarkable progress in large language models, yet a growing body of evidence suggests that they can struggle on problems governed by complex global constraints. In this work, we focus on this regime and ask whether some of these limitations arise from the inference interface induced by next-token prediction itself. We study this question through blackboard intelligence: an inference-time perspective in which a model works on a fixed, revisable canvas and searches over candidate solution states rather than committing to a causal, left-to-right trajectory. We instantiate this idea with diffusion language models, whose any-order prediction interface naturally exposes predictions over partially filled solution states. Our key observation is that mean confidence, a simple model-internal quantity available from the standard masked diffusion objective, provides a useful proxy for global coherence and can guide inference-time search and revision. Empirically, across ZebraLogic, Nurse Rostering, and Job-Shop Scheduling, Blackboard consistently improves inference while holding the fine-tuned LLaDA-8B-Instruct checkpoint fixed and substantially outperforms same-scale autoregressive baselines, reaching 90.4% accuracy on ZebraLogic-Hard, 76.4% exact feasibility on Nurse Rostering, and 80.2% optimality on JSSP. Stronger autoregressive search and refinement also fail to close the gap on ZebraLogic-Hard, while Blackboard surpasses tested frontier LLMs there and on JSSP despite their substantially greater scale and strong test-time reasoning. We open-source our codebase at https://github.com/jwoosang1/blackboard-intelligence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.38806v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03316v2cs.AI공통 태그 Scheduling, Combinatorial Optimization, Large Language Model

LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화

Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs

다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.

arXiv:2610.03296v1cs.AI공통 태그 Scheduling, Combinatorial Optimization, Large Language Model

JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증

JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs

복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.

arXiv:2610.13370v1cs.CL공통 태그 Language Modeling, Large Language Model

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2610.13605v1cs.CL공통 태그 Language Modeling, Large Language Model

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

arXiv:2610.13835v1cs.LG공통 태그 Language Modeling, Large Language Model

전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다

Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency

이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/

arXiv:2610.13895v1cs.CL공통 태그 Language Modeling, Large Language Model

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.