Logical Discrete Graphical Models Must Supplement Large Language Models for Information Synthesis
원문 초록
Given the emergent reasoning abilities of large language models, information retrieval is becoming more complex. Rather than just retrieve a document, modern information retrieval systems advertise that they can synthesize an answer based on potentially many different documents, conflicting data sources, and using reasoning. We review recent literature and argue that the large language model has crucial flaws that prevent it from on its own ever constituting general intelligence, or answering general information synthesis requests. This review shows that the following are problems for large language models: hallucinations, complex reasoning, planning under uncertainty, and complex calculations. We outline how logical discrete graphical models can solve all of these problems, and outline a method of training a logical discrete model from unlabeled text.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
전문가 선택 편향을 통한 데이터 불균형 극복
Overcoming Data Imbalances with Expert Selection Biases
전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.
Web$hell: 에이전틱 웹 접근을 위한 통합 인터페이스
Web$hell: A Unified Interface for Agentic Web Access
대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.
zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.