강화 중간 학습(Reinforcement mid-training)은 언어 모델이 라벨이 없는 텍스트로부터 내부 사고(internal thoughts)를 학습할 수 있도록 하지만, 효율적인 토큰(token) 수준 신용 할당(credit assignment)은 여전히 어렵습니다. 기존의 그룹 상대적(group-relative) 방식들은 비용이 큰 반복 생성을 필요로 합니다. 학습된 크리틱(learned critic)은 단일 롤아웃(rollout) 피드백을 제공하지만, 정확한 리턴 예측만으로는 신뢰할 수 있는 정책 업데이트를 보장하지 못합니다. 본 연구의 분석에 따르면 학습(training)--추론(inference) 불일치와 PPO 클리핑으로 인해 이점(advantage) 추정치들의 공통 오프셋이 상쇄되지 못하여 추가적인 업데이트 표류(update drift)가 유발됩니다. 이에 본 연구는 단일 생성 궤적으로부터 토큰 수준 이점을 보정하는 트윈 크리틱(twin-critic) 방식인 \tfour{}를 제안합니다. 웜업(warmup) 및 홀드아웃 검증을 거친 후 크리틱들은 두 가지 이점 추정치를 제공하며, 이는 조건부 모멘트 안장점(conditional-moment saddle-point) 목적함수로 학습된 행동 의존적 가중치를 통해 결합됩니다. 이 목적함수는 각 접두 문맥(prefix)에서의 평균 이점을 0에 가깝게 유도하며, 신호 보존 제약식은 이러한 보정이 학습 신호를 지워버리는 것을 방지합니다. 텍스트 위치 전반에 걸쳐 정보를 공유함으로써 각 접두 문맥에 대한 반복 샘플링을 피할 수 있습니다. 이론적으로 본 연구는 신호 보존 제약 조건 하에서 최적의 혼합을 규명하고, 잔차 평균 유도 표류에 대한 상한을 설정합니다. 실험 결과, 최신 크리틱 프리(critic-free) 방식과 비교하여 \tfour{}는 평균 벤치마크 성능을 7.8\% 향상시키고 평균 학습 단계 시간을 최대 63.4\% 단축함을 보여줍니다.
다중 에이전트(Multi-Agent, MA) 시스템은 계획, 도구 사용, 그리고 다양한 출처의 증거 종합을 요구하는 복잡한 작업을 해결하는 데 효과적입니다. 기존 시스템들은 통신 프로토콜로 주로 계층적 매니저-워커(Hierarchical Manager-Worker, HMW) 또는 라우터 기반 메시지 전달(Router-based Message Passing, RMP) 구조를 채택합니다. 그러나 이러한 설계는 에이전트의 자율성을 제한합니다. 즉, 워커 에이전트가 특정 "동료(peer)"에게 직접 자문을 구할 수 없으며, 메시지가 잘못 라우팅되면 오류가 전파될 수 있습니다. 컴퓨터 시스템의 버스 아키텍처에서 영감을 받아, 본 논문에서는 모든 에이전트가 공유 채널, 즉 버스(Bus)를 통해 다른 에이전트와 통신할 수 있도록 하는 통신 프레임워크인 BusMA를 제안합니다. BusMA는 에이전트 등록, 메시지 라우팅, 공유 메모리 관리 컴포넌트로 구성됩니다. 각자 도구를 갖춘 워커 에이전트는 자체 로컬 메모리를 보유하며, 특정 의도를 담은 공유 메시지를 게시함으로써 추론, 행동(도구 사용), 통신을 수행할 수 있습니다. 본 연구에서는 에이전트 간의 정밀한 통신을 지원하는 네 가지 의도인 토론(discussion), 이의 제기(challenge), 안내(guidance), 설명 요청(request for explanation)을 도입합니다. 체어(Chair) 에이전트는 공유 메모리를 모니터링하여 상호작용을 조율하고 워커 간의 수렴을 촉진합니다. BusMA의 효과를 평가하기 위해, 시각적 추론, 수학적 추론, 지식 검색에 걸친 13개 작업에서 두 개의 프론티어 대규모 언어 모델(LLM)을 사용하여 광범위한 실험을 수행합니다. 실험 결과는 BusMA가 최첨단 HMW 및 RMP 방식을 일관되게 능가함을 보여줍니다.
현대 엔터프라이즈 에이전트(agent) 배포는 다양한 역량과 비용을 지닌 대규모 언어 모델(LLM)들의 이종 풀로 구성됩니다. 기존 모델 라우팅 전략은 요청 수준의 정적 결정을 제공하면서 품질-비용 간의 절충(trade-off)을 최적화합니다. 보다 최근의 솔루션들은 직렬 검증기(verifier) 기반 라우터 피드백 루프를 갖춘 태스크 수준의 선택으로 에이전트 라우팅을 다룹니다. 그러나 동종 워크로드에 적합한 이들의 고정된 검증기는 이종 에이전트 태스크 배치(예: 코딩, 일반 대화형)에 일반화되지 않을 수 있습니다. 또한 루프의 임계 경로(critical path)에 검증기가 배치되어 있어, 여러 동시 요청이 라우팅되는 동안 서빙 품질에 영향을 줄 수 있습니다. 이러한 문제를 완화하기 위해 저자들은 ORACLE을 제시합니다. 이는 피드백을 위해 적응형 라우팅을 적응형 검증과 정렬하는 동시성 인식 온라인 라우팅 메커니즘입니다. ORACLE은 임의의 모델 선택 정책 상에서 학습(training)이 필요 없는 드롭인(drop-in) '피드백 루프'로 작동하여, 먼저 태스크 유형을 분류한 뒤 태스크에 적합한 검증기를 동적으로 할당합니다. 나아가 디스패치 임계 경로에서 검증기 지연 시간을 크게 제거하는 동시 요청용 지연 피드백 전략을 개발합니다. 그런 다음 저자들은 라우팅 후 디스패치 스케줄러인 DISC를 제안합니다. DISC는 승인 시 각 태스크의 피크 KV 풋프린트를 예약하고, 대기 시간 감소로 인한 보상(reward) 이득이 정확도 저하로 인한 보상 손실(loss)을 초과할 때 대체 백엔드로 디스패치합니다. SWE-bench, tau2-bench, Terminal-Bench 2.0에 대한 광범위한 평가(evaluation)에 따르면, ORACLE은 최신 라우팅 베이스라인 대비 정확도-비용 프론티어를 최대 7%포인트 개선하며, DISC를 적용한 ORACLE은 프로그램 처리량을 최대 1.8배 향상시킵니다. 재현성을 촉진하고 향후 개발을 지원하기 위해 저자들은 ORACLE의 코드베이스를 https://github.com/ORACLE-org/ORACLE 에 오픈소스로 공개합니다.
인공지능(AI) 답변 엔진은 이제 평화와 분쟁 이슈에 대해 분석가, 학자, 대중이 묻는 질문의 점점 더 많은 부분을 처리하고 있다. 대규모 언어 모델(LLM)은 특정 조건에서 환각(hallucination)을 일으키는 것으로 알려져 있지만, 분쟁에 대해 질문을 받았을 때 이러한 오류에 식별 가능한 패턴이 있는지, 그리고 만약 있다면 이것이 변화하는 글로벌 분쟁 정보 환경(environment)에 대해 무엇을 알려줄 수 있을까? 이에 답하기 위해, 본 연구에서는 먼저 5개의 대표적인 답변 엔진을 대상으로 28개 분쟁에 관한 일련의 질문을 던지고, 문서화된 증거를 바탕으로 5,460개의 답변을 평가했다. 그 결과 주어진 분쟁과 관련해 검색 가능한 기록이 빈약할수록 엔진이 사실을 날조하고, 잘못 귀속시키며, 잘못 집계하는 경향이 더 크다는 점을 발견했다. 빈약한 기록은 단순히 환각을 부추길 뿐만 아니라, 생성 엔진 최적화(GEO)를 통해 엔진 응답에 바이어스(bias)를 주도록 왜곡하기 가장 쉬운 기록이기 때문에 오정보 및 허위정보(mis- and disinformation)에 대한 구조적 노출을 초래한다. AI LLM이 분쟁 관련 사실을 추출한 1,048개 웹사이트를 분석한 결과, GEO 소스 최적화는 이미 발생하고 있으며, 국가·당파적 디지털 장악은 아직 초기 단계이지만 빠르게 증가하고 있음을 확인했다. 우리는 GEO 정보전의 부상과 함께 이러한 발견이 학술 연구에 시사하는 바를 설명하고, 정책적으로는 AI 도구가 대체할 수 없는 심층적인 현지 모니터링 및 번역 기반 연구로의 복귀를 주장하며, 이처럼 급변하는 분야에서의 향후 연구 기회와 과제에 대한 논의로 결론을 맺는다.
오늘날의 롤플레잉 AI 페르소나는 성장하지 않습니다. 이들은 고정된 성격을 유지하므로 사용자가 이들과 구축하는 관계는 축적될 기반이 없습니다. 본 논문에서는 페르소나 성장에 재귀적 자기 개선(RSI)을 적용하는 다중 시간 척도 엔진인 AutoPersonas를 소개합니다. 이는 지능을 향상시키는 대신, 페르소나가 자신의 미래를 형성하는 상태(State), 근거, 삶의 환경을 재귀적으로 수정하도록 합니다. 우리는 이러한 재귀의 런타임 실패 모드로 자기 고착(self-locking)을 규명합니다. 즉, 국소적으로는 그럴듯한 사건들이 계속 발생하지만, 생성된 삶은 익숙한 환경, 취약한 관계, 유예된 결정, 진부한 삶의 단계로 붕괴됩니다. 우리는 이를 높은 확률의 행동 경로로 향하는 모델 수준의 수렴과 상태, 기억, 이력 및 환경 요약에서 비롯되는 시스템 수준의 문맥 중력(context gravity)에서 기인함을 밝혀냅니다. 3년 압축 시뮬레이션을 통해 환경 워터마크 셸, 발생-경화 격차, 느린 변화 축적 실패, 재귀적 우유부단함, 취약한 관계 지속성이 드러났습니다. 8개 모델을 대상으로 한 40일간의 스트레스 테스트에서는 1,600개의 이벤트를 생성했으며, 평균 5일 이동 행동 카테고리 반복률이 95.2%~97.6%에 달하고 모든 모델이 11일 차까지 90%를 넘어서는 것을 확인했습니다. 또한 의미론적 재유지 분석에서는 79.0%~88.0%의 거시적 주제 반복률이 나타났습니다. 본 연구의 주요 기여는 자기 고착의 정의 및 측정입니다. 또한 상업적 이유로 내부 구현은 비공개한 채 블랙박스 결과로서 완화책을 보고합니다. 동일 런타임의 40일 A/B 테스트에서 프로덕션 발산 구성은 거시적 주제 반복률을 61.8%에서 39.4%로 줄이고 누적 주제 수를 거의 두 배로 늘렸으며, 유년기 고블린 가상 세계 실행에서도 가혹한 현실 세계의 개입 없이 이러한 효과가 재현되었습니다.
대안적인 후속 생성을 탐색하면 대규모 언어 모델(LLM)이 추론 단계를 확정하기 전에 이후의 결과를 비교할 수 있지만, 수많은 분기를 확장하고 평가하는 과정은 추론 비용을 크게 증가시킵니다. 중간 단계를 점수화하도록 가치 모델을 학습하더라도 추론 시점에 여전히 후보들을 순위화해야 하므로 이러한 비용을 피할 수 없습니다. 본 논문에서는 추론을 쌍곡 공간(hyperbolic space)에 임베딩된 상태 트리 상에서의 이동으로 다루는 프레임워크인 HyperGuide를 제안합니다. HyperGuide는 먼저 푸앵카레 공(Poincaré ball) 상에서 상태 인코더를 학습한 다음, 현재 상태로부터 최소 비용 전이의 방향을 예측하도록 유도 헤드(guidance head)를 학습합니다. 예측된 방향은 각 추론 단계 이후 가상 토큰으로 디코더에 삽입되므로, 후보를 확장하거나 재순위화하지 않고도 단일 자기회귀 궤적을 따라 추론이 진행됩니다. 또한 지도 방식이 이진이 아닌 순서형(ordinal)이므로 신뢰할 수 있으면서도 짧은 후속 생성을 선호하여 생성이 성공적이고 간결한 해결책을 향하도록 유도합니다. 경시 수학 및 코드 생성에 대한 실험 결과, HyperGuide는 탐색 및 검증기 기반 베이스라인보다 훨씬 적은 토큰을 생성하면서도 이들 베이스라인과 일치하거나 이를 능가하는 정확도를 달성하며, 퓨샷(few-shot) 프롬프트와 거의 비슷한 수준의 토큰만을 생성함을 보여줍니다.
언어 모델은 중간 상태에서 정답을 디코딩할 수 있는 경우에도 오답을 출력할 수 있습니다. 이러한 디코딩 가능성(decodability)과 선택(selection) 사이의 간극을 연구하기 위해, 본 연구에서는 첫 번째 답변 토큰에서 읽기(read)와 쓰기(write)를 구분합니다. 읽기는 동일 관계 미끼 대조군(same-relation decoy controls) 하에서 중간 잔차 상태(intermediate residual states)로부터 정답 토큰을 디코딩할 수 있는지를 묻습니다. 쓰기는 최종 판독(final readout)에서 해당 토큰이 내용 토큰(content tokens) 중 1위로 순위가 매겨지는지를 묻습니다. 무작위 레이블 대조군과 함께 세 가지 서로 다른 판독기를 적용했을 때, 상당한 비율의 실패 사례에서 다른 내용 토큰이 선택되는 동안에도 정답은 여전히 읽어낼 수 있는 상태로 남아 있었습니다. 저자들은 이를 정답 로짓과 가장 강력한 대안의 로짓 간의 차이인 최종 판독에서의 선택 마진(selection margin)을 통해 설명합니다. 이 마진은 정답 지지도(answer support)에서 대안 지지도를 뺀 값이며, 토큰 빈도와 연관된 문맥 평균 기준선(context-averaged baseline)과 항목별 항(item-specific term)으로도 분해될 수 있습니다. 정답 지지도를 성공적인 생성에서 전형적으로 나타나는 수준으로 설정하면, 연구 대상 모델 대부분에서 실패 사례의 과반수에 대해 첫 번째 토큰 선택을 복구하기에 충분합니다. 이러한 수정 하에서도 나머지 대부분의 실패 사례에서는 원래 대안이 여전히 앞서 있으며, 이 결과는 판독 기하학(readout geometry)에서 직접적으로 기인합니다. 빈도 방향만을 제거하는 것은 선택을 변화시키지만 정답을 복구하는 경우는 드뭅니다. 동일한 사실에 대해 성공하는 프롬프트 변형은 잔차 스트림(residual stream)과 후기 MLP 출력을 통해 실패하는 변형으로 전이되는 지지도를 제공하지만, 후기 어텐션을 통한 효과는 덜 일관적입니다. 첫 번째 토큰의 복구에도 불구하고 대부분의 전체 답변은 여전히 오답으로 남아 있으며, 이는 이러한 수정을 통해 달성되는 복구를 제한하고 쉽게 혼동되는 세 가지 요소인 디코딩 가능성, 복구 가능성(recoverability), 생성을 구분 짓습니다.
최근 한 Nature Medicine 연구는 ChatGPT Health가 응급 상황의 51.6%를 과소분류(under-triage)한다고 보고하며, 소비자 대면 AI의 중증도 분류(triage)가 안전성(safety) 위험을 초래한다고 결론지었다. 그러나 해당 프로토콜은 소비자가 건강 챗봇을 사용하는 방식과 달리 시험 스타일의 스캐폴드(강제 A/B/C/D 출력, 지식 억제, 추가 질문 없음)였다. 본 연구에서는 주요 오류율이 모델의 고유 특성인지 혹은 측정 방식의 특성인지 질문을 던진다. 첫 번째 기전 연구에서 17개 시나리오 뱅크를 대상으로 5개의 프론티어 대규모 언어 모델(LLM)을 평가한 결과, 제약된 스캐폴드 조건보다 자연스러운 환자 스타일 메시지 조건에서 6.4점 더 높은 점수를 기록했으며(p=0.015), 특정 시나리오에서는 3개 모델이 강제 선택 시 0~24%에서 자유 텍스트 작성 시 100%로 상승했다. 두 번째 충실한 재현 연구에서는 임상의의 재작성 검증과 LLM 판정자에 대한 맹검 임상의 감사를 거쳐, 저자들이 공개한 60개 시나리오를 4가지 일치된 형식으로 6개 프론티어 모델에 실행했다. 여기서는 방향이 반전되어 자유 텍스트 재작성은 정확한 구조화 프롬프트보다 약간 낮은 점수를 기록했고(78.7% 대 81.8%, p=0.020), 답변 스캐폴드만 제거한 경우는 거의 변화가 없었으며(80.6% 대 81.4%, p=0.81), 강제 범주형 답변을 요구하는 자연스러운 입력 방식은 정확한 프롬프트(84.4%, p=0.023)와 자유 텍스트(p=0.0001)를 모두 능가했다. 원래 응급 분류율을 정의한 4개 시나리오에서 과소분류율은 정확한 스캐폴드에서 17%, 자유 텍스트에서 50%, 동일한 메시지에 강제 문자 답변을 요구했을 때 21%였다. 자유 텍스트 '과소분류' 사례는 모두 D가 아닌 C로 채점된 당일 진료 권고였으며, 60%는 환자에게 확인하도록 요청한 정보에 따라 상급 병원 이송을 조건부로 제시하는 행동을 보였으나 단일 턴(single-turn) 벤치마크에서는 이를 채점할 수 없다. 따라서 주요 오류율은 대체로 출력 형식 및 산문형 응답을 4점 척도에 매핑하는 과정에서 비롯된 특성이다. 벤치마크 스캐폴드는 행동적으로 개입하는 도구이며, 안전성 주장은 입력 문구, 출력 형식 및 판정 방식에 대한 민감도를 함께 보고해야 한다.
동적인 개방형 환경(open-world environments)에서 자율 에이전트(agent)는 목표를 달성하기 위한 계획을 수립하는 데 방해가 되는 새로운 상황이나 대상(novelty)에 자주 직면합니다. 구체적으로, 환경 내의 새로운 객체와 적절하게 상호작용할 수 있도록 하는 연산자(operator)가 로봇의 계획 도메인에 결여되어 있을 때 전통적인 기호 계획기(symbolic planner)는 계획 생성에 실패합니다. 본 논문에서는 새로운 객체를 다루는 방법을 학습하기 위해 기호 계획, 강화학습(reinforcement learning), 그리고 대규모 언어 모델(LLM)을 통합하는 신경-기호(neuro-symbolic) 아키텍처를 제안합니다. 특히, LLM의 상식 추론(common sense reasoning) 능력을 활용하여 누락된 연산자를 식별하고, 기호 AI 계획기를 통해 계획을 생성하며, 새로 식별된 연산자에 대한 제어 정책(control policy)을 학습하도록 강화학습 에이전트를 유도하는 보상(reward) 함수를 작성합니다. 제안하는 방법은 연속적인 로봇 도메인에서 연산자 발견 및 연산자 학습 모두에서 최고 수준(state-of-the-art)의 방법들을 능가합니다. 웹페이지와 코드는 https://helenlu66.github.io/hybridLLMguided/ 에서 확인할 수 있습니다.
에이전트(agent) 기반 교통 모델에서 사익을 추구하는 여행자의 행동 대리자로서 대규모 언어 모델(LLM)이 점점 더 널리 활용되고 있습니다. 기존 모델보다 더 유연하고 일반화 능력이 뛰어남에도 불구하고, 모든 여행자마다 LLM을 호출하는 비용으로 인한 확장성 문제 때문에 이러한 접근 방식의 실제 적용은 여전히 제한적입니다. 더욱이 LLM 에이전트는 불투명한 결정을 내리고 일별 동역학(day-to-day dynamics)을 불안정하게 만드는 경우가 많다는 점이 밝혀졌습니다. 이러한 문제를 해결하기 위해, 우리는 동일한 의사결정 맥락에 직면한 각 동질적 여행자 집단을 집단의 총 통행 흐름 비율과 일치하는 경로 혼합 전략을 유지하고 업데이트하는 단일 대표 LLM 에이전트로 모델링할 것을 제안합니다. 이 에이전트는 모집단의 평균처럼 행동합니다. 매일 LLM은 통행 경험을 검토하고 더 자주 이용하기를 희망하는 경로에 긍정적 강화 신호를 표시하며, 해석 가능한 업데이트 규칙은 조정 가능한(점진적으로 감소하는) 스텝 크기를 사용하여 이러한 판단을 전략 조정으로 변환합니다. 대표 에이전트 설계는 확장성을 향상시키는 한편, 추론과 업데이트의 분리는 학습을 안정화하면서 의사결정 논리를 명확하게 합니다. 전형적인 통행 배분 환경에서 제안된 접근 방식이 사용자 평형(user equilibrium)으로 빠르게 수렴함을 확인했습니다. 소득 이질성, 다기준 비용, 복합 교통수단 선택이 존재하는 더 풍부한 환경에서도 생성된 동역학은 안정적이고 해석 가능하게 유지되며, 심리학 및 경제학에서 잘 입증된 타당한 행동 패턴을 재현합니다. 예를 들어 유료 도로와 무료 도로 선택 시의 미끼 효과(decoy effect), 그리고 자가용, 대중교통, 환승 주차(park-and-ride) 옵션 중에서 선택할 때 고소득 여행자가 편의성에 대해 더 높은 지불 용의(willingness-to-pay)를 보이는 현상 등이 이에 해당합니다.
기존의 스트리밍 비전-언어 모델(VLM)은 시각적 스트림을 지속적으로 지각하고 추론하지만, 추론 과정 전반에 걸쳐 연산 경로는 고정되어 있습니다. 결과적으로 서로 다른 미래 사건이 서로 다른 수준과 형태의 지각을 요구하는 동적인 장면 변화에 맞춰 연산을 적응시키지 못합니다. 본 논문에서는 스트리밍 VLM이 당장의 가까운 미래를 예측하는 능력을 본질적으로 지니고 있음을 보이고, 이 능력을 활용하여 학습 없이(training-free) 미래 연산을 동적으로 구성합니다. 그러나 이러한 예측적 연산을 구현하는 것은 매우 까다롭습니다. 미래 예측은 연산을 안내할 수 있을 만큼 충분히 신뢰할 수 있어야 하고, 계획(planning)은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성은 무시할 수 있을 정도의 오버헤드만 발생시켜야 합니다. 이러한 문제를 해결하기 위해 가중치, 입력 인코더, KV 캐시를 공유하는 두 개의 샴 LLM(Siamese LLM)으로 구성된 듀얼 스트림 아키텍처 FORESIGHT를 제안합니다. 첫 번째 LLM은 입력되는 토큰을 지속적으로 처리하며, 두 번째 LLM은 스트리밍 추론을 중단하지 않고 스트림보다 앞서 실행되어 미래 컨텍스트를 예측하고 미래 연산을 계획하며 작업 응답을 생성합니다. 각 계획은 일시적인 증거와 지속적인 제어를 분리하여 유지하면서, 다음에 언제 추론할지, 그때 무엇을 확인할지, 얼마나 조밀하게 샘플링할지를 결정합니다. 생성된 연산 계획은 스키마 유도 디코딩(schema-guided decoding)과 경량 diff 기반 업데이트를 활용한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다. 동결된 Qwen3-VL-8B 백본을 사용하는 FORESIGHT는 OmniPro Online 평가에서 23.0 평균 결합 F1을 달성하여 가장 강력한 학습 기반 기준선(baseline)을 9.5% 차이로 제쳤으며, StreamingBench에서 백본 대비 6.7, OVO-Bench에서 15.4의 성능 향상을 보였고, 비디오 스트림에서 증거가 늦게 나타날 때 최대 18.7의 가장 큰 향상을 기록했습니다. 소스 코드는 공개될 예정입니다.
공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.
대규모 벡터화 HD 맵(고정밀 지도)은 자율주행의 인지, 위치 추정(localization), 경로 계획(planning)에 필수적인 구조화된 도로 정보를 제공합니다. 이러한 지도를 구축하려면 차량 궤적을 따라 수집된 노이즈가 있고 파편화되며 겹치는 로컬 예측들을 일관된 글로벌 맵으로 통합(aggregation)해야 합니다. 기존의 통합 방식은 일반적으로 파편 연관(association) 및 정제를 위한 수작업 규칙에 의존합니다. 그러나 고정된 임계값 세트는 도로 구조의 다양성과 예측 오차를 효과적으로 처리하지 못해 검출기(detector)별 튜닝이나 수동 조정을 필요로 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 벡터화 지도 통합을 대규모 언어 모델(LLM)을 통한 조건부 시퀀스 생성으로 정식화하는 데이터 주도형 프레임워크인 MapMergeLLM을 제안합니다. 직렬화된 로컬 벡터 지도가 주어지면, 본 모델은 통합된 글로벌 맵의 폴리라인(polyline)을 직접 예측합니다. 특정 업스트림 검출기에 대한 의존도를 낮추기 위해, 대표적인 예측 오류를 시뮬레이션하는 손상(corruption) 기법을 사용하여 정제된 벡터 지도에서 생성한 합성 로컬 지도로 모델을 학습합니다. 또한 지도 좌표를 정밀하게 표현하기 위해 기하학적 구조를 인식하는 사전학습(geometry-aware pretraining) 기반의 좌표 토크나이저를 도입합니다. 아울러 동일한 지도 요소의 로컬 관측 간 대응 관계를 명시적으로 지도하는 선 단위(line-level) 연관 손실을 제안합니다. 최근의 여러 업스트림 검출기를 사용한 Argoverse2 및 nuScenes 데이터셋 실험 결과, MapMergeLLM은 검출기별 재학습 없이도 휴리스틱 및 최적화 기반 통합 베이스라인보다 크게 우수한 성능을 보이는 것으로 나타났습니다.
기존의 3D 대규모 언어 모델(LLM)은 두 가지 측면에서 타협합니다. 즉, 형상을 잠재 코드북 인덱스나 좌표 텍스트로 압축하여 모델이 관찰하는 대상에서 공간 구조를 제거하며, 백본을 미세조정(fine-tuning)하여 3D 모달리티를 획득함으로써 일반 언어 능력을 덮어씁니다. 본 논문에서는 두 한계를 모두 해결하는 OctLLM을 제시합니다. 기하학적 정보는 옥트리(octree) 점유 토큰의 명시적 3D 시퀀스로 입력됩니다. 그러나 전체 옥트리 시퀀스는 깊이에 따라 급격히 증가하므로, OctLLM은 형상을 보존하면서 끝에서 두 번째 레벨의 노드를 무작위로 비우고 하위 노드를 생략하여, 위치 인식 마스크 모델링 생성 및 3D 이해를 위한 좌표 및 깊이 기반의 더 짧은 희소 옥트리(Sparse Octree, S-Octree)를 생성합니다. 다른 한편으로, 기존 방법들은 완전 미세조정(full fine-tuning)이나 LoRA를 통해 새로운 모달리티를 도입하지만, 완전 미세조정은 비용이 많이 들고, LoRA는 3D 용량을 제한하며, 두 방식 모두 언어 경로를 수정합니다. 대신 OctLLM은 사전학습된 파라미터와 분리된 파라미터에 3D 용량을 추가합니다. 즉, 메시 토큰은 일부 블록의 독립적인 학습 가능 브랜치를 통해 라우팅되는 반면 텍스트 및 이미지 토큰은 고정된(frozen) 비전-언어 경로를 유지하고, 두 스트림은 공유된 셀프 어텐션(self-attention)을 통해 상호작용합니다. OctLLM은 완전 미세조정보다 훨씬 적은 파라미터를 학습하면서도 통합 멀티모달 LLM 중 새로운 최고 성능(state of the art)을 달성하여, ShapeLLM-Omni 대비 image-to-3D FID를 $17.4\%$ 낮추고 렌더링 기반 캡셔닝을 $28.7$점 향상시키는 동시에 일반 언어 벤치마크에서 백본 수준의 성능을 유지합니다.
장기 메모리는 세션을 거치며 더 유능해지고, 상호작용을 통해 형성된 사용자에 대한 정확하고 진화하는 이해를 유지하는 LLM 에이전트를 약속한다. 그러나 실제로는 이러한 메모리가 이후 응답, 개인화 품질, 과제 성공과 같은 하류 행동을 통해 대부분 평가되며, 그 이해는 간접적으로만 검증되고 메모리 산출물 자체는 거의 감사되지 않는다. 우리는 장기 메모리를 대신 상호작용 후 감사 가능한 산출물로 평가해야 한다고 주장한다. 일반적인 지원 이후, 에이전트가 남긴 메모리로부터 어떤 구조화된 사용자 상태를 재구성할 수 있는가? 우리는 이 관점을 MEMPROBE에 구현한다. MEMPROBE는 메모리를 갖춘 에이전트가 각각 숨겨진 분류체계 기반 사용자 상태 뱅크를 지닌 시뮬레이션 사용자를 유출 제어된 과제 궤적에 걸쳐 지원한 뒤, 전체 저장소(full-store) 및 top-k 접근 모두에서 에이전트의 결과 메모리로부터 그 뱅크를 재구성하는 벤치마크이다. 효율적이고 확장 가능한 측정을 위해 합성 ground truth 위에 구축된 MEMPROBE는 사용자당 31개의 숨겨진 차원을 가진 50명의 시뮬레이션 사용자(복구 대상 1,550개)를 포괄하며 5개의 대표적 메모리 시스템을 시험한다. 최신 메모리 에이전트를 시험한 결과, 성공적인 지원과 복구 가능한 메모리는 서로 다른 역량으로 작동함을 확인한다. 과제 완료율은 메모리 없는 기준선에서도 거의 포화에 가깝지만, 범주 균형 복구는 중간 수준(약 0.6)을 유지하고 top-k 검색에서는 더 낮아진다. MEMPROBE는 메모리 복구를 직접 연구하는 최초의 벤치마크로, 시스템이 보유한 사용자 상태를 재구성하고 ground truth와 대조해 채점한다. 우리는 복구를 향후 메모리 에이전트가 최적화할 구체적 목표로 보고, MEMPROBE를 에이전트가 사용자를 기억하도록 학습되는 환경으로 나아가는 한 걸음으로 본다. 사용자를 더 오래 알수록 더 충실해지도록.
다중 정답 QA(Multi-Answer QA)에서 도구를 활용하는 에이전트가 빈번한 고빈도 엔티티에만 집중하고 조기 탐색을 멈추는 문제를 해결하기 위해, SPADER는 병렬 궤적을 결정 단계별로 정렬해 크리틱 네트워크 없이 세밀한 크레딧 할당을 수행하는 Step-wise Peer Advantage(SPA)와 희귀 엔티티 발견을 장려하는 다양성 인식 탐색 보상(diversity-aware exploration reward)을 결합한 강화학습 프레임워크를 제안한다. QAMPARI, Mintaka, WebQSP, QUEST 벤치마크 실험에서 SPADER는 프롬프팅 기반 에이전트, 결과 감독 RL, 단계별 감독 방법 대비 재현율과 F1을 전반적으로 향상시켰다.
표준 언어 모델(LM) 강화학습(RL) 알고리즘은 긴 롤아웃(rollout)의 모든 토큰에 최종 보상으로 결정되는 동일한 어드밴티지(advantage)를 부여합니다. 액터-크리틱(Actor-critic) 방식은 더 세분화된 신용 할당(credit assignment)을 제공할 수 있지만, 학습된 크리틱은 LLM을 RL로 학습시킬 때 신뢰하기에는 일반적으로 너무 부정확하다고 여겨집니다. 최근 연구들에서는 크리틱이 존재하더라도 기준선(baseline) 추정에만 사용되므로, 모든 궤적(trajectory)을 최종 보상에 도달할 때까지 끝까지 롤아웃해야 합니다. 본 연구에서는 모든 궤적을 완료될 때까지 롤아웃할 필요를 없애는 액션 청킹 기반 액터-크리틱(AC2, Actor-Critic with Action Chunking)을 소개합니다. AC2는 대신 과거 궤적 접두사(prefix)의 짧은 연속 구간인 액션 청크(action chunk)에 신용을 할당합니다. 학습된 크리틱은 각 액션 청크의 끝에서 도달한 상태를 평가하여, 정책(policy)이 최종 보상을 관찰하지 않고도 업데이트될 수 있도록 합니다. 우리는 세 가지 설계 선택을 통해 크리틱 기반 신용 할당의 신뢰성을 확보합니다. 첫째, 특정 문제에서 크리틱이 충분히 정확할 때에만 해당 문제에 크리틱 기반 업데이트를 사용하는 국소 준비도(local readiness)를 도입합니다. 둘째, 가능한 경우 이전의 성공적인 롤아웃에서 얻은 참조 솔루션을 크리틱에 제공합니다. 셋째, 개별 토큰 대신 1만 개 토큰 크기의 액션 청크 단위로 신용을 할당하여 크리틱이 평가할 궤적의 더 유의미한 부분을 제공합니다. 우리는 AC2를 사용하여 FineProofs-RL에서 Qwen3-4B를 학습(training)하고 IMO-ProofBench에서 평가합니다. AC2는 2.5배 적은 디코딩 FLOPs를 사용하면서도 GRPO의 최고 검증(validation) 점수인 18.5%를 능가합니다. 이러한 이득은 두 가지 요인에서 비롯됩니다. (1) AC2는 이 점수에 도달하는 데 25% 적은 학습 스텝을 필요로 하며, (2) 정책이 모든 궤적을 완료될 때까지 지속할 필요가 없으므로 각 스텝마다 더 적은 수의 토큰을 생성합니다. 개념적으로 본 연구는 모든 궤적을 완료될 때까지 롤아웃할 필요성을 제거할 수 있음을 입증하며, LLM RL 알고리즘을 위해 기존에 탐색되지 않았던 광범위한 설계 공간을 새롭게 열어줍니다.
대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.
다음 토큰 예측(next-token prediction)은 대규모 언어 모델(LLM)의 눈부신 발전을 이끌어왔으나, 점차 늘어나는 연구 결과들은 복잡한 전역 제약 조건(global constraints)이 지배하는 문제에서 이러한 모델들이 어려움을 겪을 수 있음을 시사합니다. 본 연구에서는 이러한 영역에 주목하여, 이 한계 중 일부가 다음 토큰 예측 자체가 유도하는 추론 인터페이스에서 비롯되는지 질문을 던집니다. 우리는 인과적(causal)이고 좌에서 우로 진행되는 궤적에 얽매이지 않고 고정된 수정 가능한 캔버스 위에서 작업하며 후보 해 상태를 탐색하는 추론 시점(inference-time) 관점인 블랙보드 지능(blackboard intelligence)을 통해 이 문제를 연구합니다. 우리는 임의 순서 예측 인터페이스를 통해 부분적으로 채워진 해 상태에 대한 예측을 자연스럽게 제공하는 확산 언어 모델(diffusion language model)로 이 개념을 구현합니다. 우리의 핵심 관찰은 표준 마스크 기반 확산 목적함수에서 얻을 수 있는 단순한 모델 내부 수치인 평균 신뢰도(mean confidence)가 전역 일관성(global coherence)에 대한 유용한 프록시 역할을 하며 추론 시점의 탐색과 수정을 안내할 수 있다는 점입니다. 실험적으로 ZebraLogic, 간호사 근무 일정 배정(Nurse Rostering), 작업장 스케줄링(Job-Shop Scheduling, JSSP) 전반에 걸쳐 Blackboard는 파인튜닝된 LLaDA-8B-Instruct 체크포인트를 고정한 상태에서도 일관되게 추론 성능을 향상시키며 동일한 규모의 자기회귀(autoregressive) 베이스라인을 크게 능가하여 ZebraLogic-Hard에서 90.4%의 정확도, Nurse Rostering에서 76.4%의 정확한 실행 가능성(exact feasibility), JSSP에서 80.2%의 최적성(optimality)을 달성했습니다. 더 강력한 자기회귀 탐색 및 정제 기법으로도 ZebraLogic-Hard에서의 격차를 좁히지 못했으며, Blackboard는 훨씬 더 큰 규모와 강력한 테스트 시점 추론 능력을 갖춘 테스트 대상 프론티어 LLM들을 ZebraLogic-Hard 및 JSSP에서 능가했습니다. 우리는 코드베이스를 https://github.com/jwoosang1/blackboard-intelligence 에 오픈소스로 공개합니다.
GPT 이후 대부분의 트랜스포머(Transformer)는 모든 층(layer)에서 동일한 어텐션(attention) 메커니즘을 반복해 왔습니다. 그러나 이러한 설계는 검증된 결론이라기보다는 대체로 관례에 가깝습니다. 하나의 스택에 여러 시퀀스 믹서가 결합될 때 성능 향상은 메커니즘의 선택, 배치, 또는 둘 모두에서 비롯될 수 있어 인과적 귀인이 어렵습니다. 본 논문에서는 7개의 시퀀스 혼합 메커니즘을 $7\times7$ 라틴 방진(Latin square) 형태로 배치한 49개 층으로 구성된 65.9억 개 매개변수(parameter) 규모의 전문가 혼합(MoE) 모델(활성 매개변수 약 29.8억 개)인 Aether-7B-5Attn을 소개합니다. 각 메커니즘이 모든 행과 열에 정확히 한 번씩 나타나기 때문에, 이 설계는 깊이 전반에 걸쳐 균형 잡힌 노출을 보장하는 동시에 배치로 인한 교란 요인을 제거합니다. 이 원리를 평가하기 위해, 우리는 4개의 메커니즘을 16개 층에 걸쳐 $4\times4$ 라틴 방진으로 배치하고 7억 90만 개의 매개변수로 맞추었으며 실험군(arm)당 8개의 시드로 학습(training)한 매개변수 일치 프록시를 구축했습니다. 실험 결과는 명확한 분리를 보여줍니다. 분산된 이종 스택을 균형 잡힌 주기적 순환으로 재배치하더라도 검증(validation) 손실(loss)은 단 0.16%만 변하여, 정확한 배치는 거의 영향을 미치지 않음을 나타냅니다. 반면, 동일한 메커니즘들을 연속된 깊이 대역으로 클러스터링하면 0.59%의 페널티가 발생하며, 이종 스택을 동종 스택으로 교체하면 1.68%의 페널티가 발생합니다. 이러한 결과는 성능이 특정한 순열보다는 주로 깊이 전반에 분산된 이종 구성에 의존함을 시사합니다. 우리는 동종 스택 페널티가 2.63%로 증가하고 SSM 계열 메커니즘을 제거할 때 3.20%의 성능 저하가 발생하는 2.16배 더 큰 규모(15.14억 개 매개변수)에서 이 발견을 재확인했습니다. 나아가 각 메커니즘별 비용 프로파일, 영어 및 한국어 평가, 49개 전 층에 대한 인과적 안전성(safety) 감사 결과를 보고합니다. 본 연구에서는 모델 가중치, 학습 레시피, 학습 코드, 로그 및 아키텍처 소스 코드를 공개합니다.