본 논문은 MAP를 소개한다. MAP는 실세계 장소 방문 계획 시 접근성 요구가 있는 사용자를 돕는 어시스턴트로서 멀티모달 AI 시스템을 평가하는 최초의 벤치마크이다. 평가에서는 시스템에 접근성 요구를 충족하는 관심 지점(point of interest)을 검증하거나 추천하라는 요청이 제시된다. MAP는 두 가지 새로운 평가를 포함한다. 접근성 계획을 위한 주장 검증(claim verification)은 장소 정보와 명시된 접근성 특징이 뒷받침되는지 평가하고, 요청된 접근성 특징을 충족하는 장소를 식별한다. 접근성 계획을 위한 시각적 증거 검색(visual evidence retrieval)은 멀티모달 AI 시스템이 요청된 장소와 접근성 특징에 해당하는 시각적 증거를 선택할 수 있는지 검사한다. 본 방법론은 장소 정보와 접근성 정보가 시간에 따라 변할 수 있는 환경에서, 예정된 시점에 시스템을 평가하고 그라운드 트루스(ground truth) 데이터를 갱신함으로써 AI 시스템 간 비교를 지원한다. 벤치마크는 응답의 일부에 대해 자동 평가와 인간 평가를 병행한다.
SHAP와 LIME 같은 지역 설명 방법은 각 특성을 하나의 기여도 점수로 요약하며, 상호작용 지수는 특성들이 얼마나 강하게 상호작용하는지를 정량화한다. 그러나 어느 쪽도 주어진 예측에서 특성이 어떻게 작용하는지, 즉 그 효과가 단독일 때와 맥락 속에서 같은지, 아니면 다른 특성들이 이를 증폭하거나, 불필요하게 만들거나, 꺼 버리거나, 반전시키는지를 사용자에게 알려 주지 못한다. 우리는 원래 전역 방법이었던 사례 기반 특성 중요도(case-based feature importance, CBFI)를 개별 예측으로 확장한다. 배경 표본마다 네 가지 혼합 상태에서 모델을 평가하면 특성의 맥락 내 중요도가 단독 효과와 상호작용 효과로 분해되며, 사례 분류 체계는 인스턴스의 각 특성에 비활성, 단독, 증폭, 중복, 게이트, 반전 중 하나의 라벨을 부여한다. 합성 함수에서 이 방법을 k-SII, TreeSHAP 상호작용 값, H-통계량과 비교하고, 여섯 가지 모델 계열로 여덟 개의 실제 표 형식 데이터셋을 연구한다. 참 함수에서 이 분해는 상호작용을 정확히 복원하였다(해석적 지역 상호작용과의 상관 0.99). 적합된 모델에서 쌍 복원 성능은 전용 지수보다 약간 낮았다(지역 precision@k 0.86-0.91 대 0.91-0.95). 상호작용 값만으로는 대체와 게이팅을 구별하지 못했지만, 분류 체계는 상대 특성을 알지 못하고도 둘 모두를 식별하였다(정확도 0.74-0.76). 샤플리 상호작용 값에 적용했을 때도 비슷한 성능을 보였다. 실제 데이터에서는 SHAP 값이 거의 같은 특성 쌍의 45-57%가 서로 다른 라벨을 받았으며, 의료 보험 모델에서는 흡연의 상호작용 성분이 체질량지수 30에서 부호가 바뀐다는 점을 이 방법이 보여 주었다. 지역화된 CBFI는 기존 지수보다 상호작용을 더 정확하게 탐지하지는 못한다. 이 방법이 더하는 것은 단독 효과와 상호작용 효과로의 분해와 각 특성이 어떻게 작용하는지를 나타내는 라벨이다.
자기 개선형 LLM 에이전트는 답변을 개선할 뿐, 그 답변을 만들어 내는 과정은 개선하지 않는다. 메타 수준을 추가하는 시스템은 그 수준을 고정해 두고, 스스로를 편집하는 시스템은 안정성을 유지하기 위해 자신의 편집 장치 일부를 건드리지 않아야 하므로, 구현되는 메타 깊이는 대략 둘 정도로 제한된다. 우리는 메타 연산을 고정한 채 그 입력에 대해 재귀하는 Meta$^n$을 제시한다. 이 연산 $\Omega$는 자신의 산출물에 반복 적용되어, 아래 해결기 스택의 추적 기록과 그것을 만든 코드를 함께 읽은 뒤, 전략적 전처리와 호출 가능한 보조 함수 라이브러리로서 다음 층을 작성한다. $\Omega$는 변하지 않으므로 시스템을 불안정하게 만들 수 없고, 입력이 엄격하게 늘어나므로 각 층은 이전 층보다 높은 관점에서 추론한다. 깊이는 미리 정해지지 않고 수렴에 의해 결정되며, 진화적 아카이브가 층 체인을 탐색한다. 두 가지 백본에 걸쳐 Meta$^n$은 여덟 개 벤치마크 계열 모두에서 기존 자기 개선형 에이전트를 능가한다. 가장 두드러진 사례는 기술 암기에 저항하도록 만들어진 ARC-AGI-2로, 여기서는 Meta$^n$만이 0을 넘는 점수를 얻는다. 절제 실험은 재귀로 인한 이득의 대부분이 각 층이 다음 층에 전달하는 조건화에서 나옴을 보여 주며, 어떤 프롬프트도 규정하지 않았음에도 깊이에 따라 뚜렷한 층별 역할이 나타난다. 코드는 https://github.com/minnesotanlp/meta-n 에서 이용할 수 있다.
우리는 삼선형 점수를 합성 쿼리와 키 사이의 내적으로 다시 쓰는 방식으로 2-심플리셜 어텐션의 선형화된 형태를 제시하며, 이로써 키에 대한 합이 일반적인 소프트맥스 어텐션과 같은 형태가 된다. 그런 다음 이 합을 양의 랜덤 특징으로 근사하고 이전의 모든 키를 고정 크기 상태에 저장하는 한편, 두 번째 키에 대한 합은 이전의 모든 토큰에 대해 정확하게 유지한다. 이로써 비용이 시퀀스 길이에 대해 세제곱에서 제곱으로 줄고, 윈도우 방식 2-심플리셜 어텐션에서는 불가능한 두 키 모두가 이전의 모든 토큰에 걸치게 된다. 우리는 이를 맞춤형 Triton 커널로 구현하고 Kimi Delta Attention과 결합하여 소프트맥스 어텐션이 전혀 없는 모델을 구축한다. FineWeb-Edu에서 동일하게 150억 학습 토큰으로 학습했을 때, 이 모델은 KDA 하이브리드 대비 검증 손실을 2.35에서 2.32로 낮추고 LAMBADA 퍼플렉서티를 40에서 38로 낮춘다.
보상 모델은 인간 선호로부터의 학습에서 핵심적이지만, 그 예측을 좌우하는 요인을 파악하는 것은 여전히 어렵다. 최근의 희소 전문가 혼합(Mixture-of-Experts, MoE) 보상 모델은 프롬프트를 특화된 전문가에게 라우팅하고 라우팅 가중치가 높은 예시를 통해 전문가를 특성화함으로써 해석 가능성을 높이고자 한다. 그러나 라우팅 가중치는 전문가가 어떤 프롬프트를 $\textit{받는지}$만 보여줄 뿐 응답을 어떻게 $\textit{판단하는지}$는 보여주지 못하므로, 전문가 행동에 대한 부분적인 설명만을 제공한다. 이에 본 논문은 기여도 대조(Contribution-Contrast, CoCo) 응답 수준 해석을 제안한다. 이 방법은 기여도 대조가 가장 큰 선택-거부 응답 쌍을 사용하여 라우팅과 선호 행동을 함께 포착함으로써 전문가의 역할을 충실하게 특성화한다. 자동 평가와 인간 평가 전반에서 CoCo는 경쟁력 있는 보상 모델링 정확도를 유지하면서, 라우터 기반, 점수 기반, 희소 오토인코더 기반 대안보다 더 일관성 있고 충실하며 특화된 해석을 제공한다. 종합하면, 본 논문은 서로 다른 예시 선택 신호가 MoE 보상 모델의 해석 가능성에 어떤 영향을 미치는지에 대한 통제된 연구를 제공한다.
최첨단 프론티어(frontier) 언어 모델은 저장소(repository) 수준의 소프트웨어 이슈를 해결할 수 있지만, 시도할 때마다 비용이 많이 들며 기존 라우터는 이슈 텍스트만으로 모델을 선택합니다. 본 논문에서는 저장소를 먼저 탐색(scouting)한 후 라우팅을 수행하는 SuperScout을 제안합니다. 7B 탐색 모델인 SuperScout-7B가 먼저 저장소를 탐색하고 재현 주장이 샌드박스에서 검증된 구조화된 인수인계(handoff) 정보를 생성하며, 거짓 주장은 전달되기 전에 제거됩니다. 이어 탐색 모델의 은닉 상태(hidden states)는 작업 텍스트와 함께 이력서 기반 라우터로 전달되어 4개의 최첨단 해결 모델(fixer) 중 하나로 작업을 디스패치합니다. 새로운 해결 모델을 추가할 때 재학습이 필요하지 않습니다. 공식 상한 예산 티어 하의 SWE-bench Pro 전체 Python 슬라이스(266개 작업)에서, SuperScout은 최고 성능의 단일 모델 해결률(SuperScout 266개 중 159개, 최고 모델 158개)과 일치하면서도 해결당 총비용은 약 5분의 1 수준으로 절감하며, 보고된 구성은 무작위 트래픽 분할 기준선(baseline)을 상회합니다. 라우터 없이 항상 인수인계 정보를 갖춘 가장 저렴한 해결 모델을 사용하는 어블레이션(ablation)은 이 벤치마크에서 라우팅된 시스템과 동등한 성능을 기록하므로, 라우팅 결정보다는 인수인계 정보 자체가 결과를 견인합니다. 쌍체 보정(paired calibration) 연구는 그 메커니즘을 시사합니다. 인수인계 정보는 해결 능력을 추가하기보다는 재분배하는 것으로 보이며, 가장 강력한 해결 모델에는 약간의 손해를 입히는 반면 더 저렴한 3개 해결 모델의 성능은 끌어올립니다(단, $N=99$에서 해결 모델별 효과는 방향성만 나타냄). 또한 탐색 모델의 은닉 상태는 보정 레이블에서 비용 라우팅을 개선하지만 인수인계 정보 자체의 텍스트는 그렇지 못합니다. 탐색 모델의 계산 비용은 작업당 0.5센트 미만의 GPU 시간만을 추가합니다.
JUDOR: CTDE-Based Multi-Agent Reinforcement Learning for the Co-Optimization of Joint UAV Motion and Decentralized Opportunistic Routing in Delay-Tolerant Network
지연 허용 네트워크(delay-tolerant network, DTN)의 배치가 늘어나면서, 희소하고 간헐적인 연결 환경에서 동작하기 위해 저장-운반-전달(store-carry-forward, SCF) 통신이 필수적이 되었다. 그러나 간헐적인 접촉 기회, 유한한 노드 버퍼, 제한된 메시지 생존 시간(TTL)은 메시지 전달 성능을 저하시키고 네트워크 혼잡을 유발한다. 한편 확장된 무선 통신 범위와 제어 가능한 궤적을 가진 무인 항공기(UAV)는 연결성이 나쁠 수밖에 없는 지상 노드 쌍을 연결할 수 있다. 그럼에도 기존 라우팅 기법은 UAV 이동 제어를 메시지 복제와 분리하여 다루므로, UAV의 이동성을 활용해 미래의 접촉 기회를 능동적으로 만들어내지 못한다. 본 논문은 이산적인 UAV 진행 방향 제어와 분산 기회적 라우팅의 공동 최적화에 맞춰진, 중앙집중식 학습 분산 실행(CTDE) 기반 다중 에이전트 강화학습 프레임워크인 JUDOR(Joint-UAV-Decentralized-Opportunistic-Routing)를 제시한다. 구체적으로, 긴밀하게 결합된 UAV 이동-라우팅 공동 최적화 과제를 공유 팀 보상을 가진 인수분해된 부분 관측 마르코프 결정 과정으로 모델링한다. JUDOR는 로컬 노드 실행을 위한 분산 액터와 학습에만 사용되는 중앙집중식 크리틱을 채택하며, 선택적으로 다중 시간 범위 혼잡 핫스팟 보조 지도를 사용한다. 네 가지 서로 다른 트래픽 모드에 걸친 평가에서 JUDOR는 PRoPHET과 MaxProp을 포함한 고전적 및 학습 기반 DTN 기준선 모두에 대해 일관된 성능 향상을 보이며, 실제 DTN 배치에 적합한 접촉 제한적 분산 실행을 유지한다.
교차 구현체(cross-embodiment) 정교한 파지는 구현체별 튜닝을 거의 또는 전혀 하지 않고도 이종의 다지 손에 걸쳐 안정적인 파지를 합성하는 것을 목표로 한다. 기존의 상호작용 중심 방법은 유망한 결과를 달성하지만, 객체 표현이 국소 표면 기하를 충분히 표현하지 못하는 경우가 많고, 손 기술자가 형태와 운동학을 모두 명시적으로 포착하지 못하며, 손-객체 상호작용 모델링이 대체로 등방적이다. 본 논문은 비등방성 상호작용 프레임워크인 MANGO-Grasp를 제안한다. 이 방법은 국소 표면 기하를 더 잘 보존하기 위해 객체를 기하 지향 3D 가우시안 프리미티브로 표현하고, 손을 형태와 운동학을 모두 포착하는 사전학습된 기술자로 인코딩한다. 손-객체 상호작용은 접촉의 방향적 특성을 반영하는 비등방성 마할라노비스 필드를 사용하여 모델링하며, 구현체 전반에서 파지를 실현하기 위한 공유 최적화를 안내한다. CMAP 및 MultiGripperGrasp 벤치마크에서 MANGO-Grasp는 시뮬레이션에서 가장 강한 기존 손(seen-hand) 기준선을 최대 8.24 퍼센트포인트 앞선다. 또한 보지 못한 SharpaWave 손으로 제로샷 전이가 가능하여 가장 강한 제로샷 기준선보다 최대 16.57 퍼센트포인트 향상되며, 실제 환경 실험에서 86%의 성공률을 달성한다. 코드와 추가 자료는 https://connor-zh.github.io/MANGO-Grasp/ 에서 확인할 수 있다.
항공 탐색 임무에서는 무인 항공기(UAV)가 대상의 외형과 주변 환경에 대한 짧은 설명만으로 목표물을 찾아야 하는 경우가 많으며, 이를 목표 지향 항공 시각-언어 내비게이션(VLN)이라 한다. 이 과제는 도시 규모의 탐색과 그라운딩, 그리고 충돌 없는 근거리 접근을 요구하는데, 이 두 가지 맞물린 과정은 단일 에이전트 안에서 조화시키기 어렵다. 대부분의 기존 방법은 지상 VLN 패러다임을 단일 UAV에 맞게 적용하고, 그 비효율을 보완하기 위해 외부 지원에 의존한다. 최근의 한 시도는 상호 보완적인 고도에 두 대의 UAV를 배치하지만, 여전히 특권적 센싱에 의존하며 두 에이전트를 독립적으로 학습시켜 상호 적응을 불가능하게 한다. 본 논문은 CoNav-UAV를 제안한다. 이는 두 에이전트 모두 온보드 센싱만 사용하는 가운데, 고고도 리더와 저고도 팔로워 사이의 순차적 의사결정과 비대칭적인 관측 및 효용을 포착하기 위해 과제를 슈타켈베르크 게임으로 모델링한다. 또한 각 에이전트의 역할에 맞게 최적화를 조정하는 반복적 슈타켈베르크 학습(Iterative Stackelberg Learning)을 도입한다. 리더의 상위 수준 시각-언어 추론은 사전학습된 능력에 기반하며 메모리 기반 인컨텍스트 학습을 통해 정제되고, 팔로워의 정밀한 동작 제어는 DAgger 방식의 전문가 증류를 통해 미세조정된다. 두 업데이트를 번갈아 수행함으로써 각 에이전트는 상대의 변화하는 행동에 지속적으로 적응한다. CoNav-UAV는 AerialVLN 벤치마크의 고충실도 도시 장면 세 곳에서 단일 및 이중 에이전트 기준선을 능가한다. 학습 장면에서는 성공률을 최대 30.8 포인트, 리더가 학습된 메모리를 재사용하고 팔로워가 목표 장면 데이터를 2.6-3.7배 적게 사용하여 적응하는 교차 장면 전이에서는 최대 9.0 포인트 향상시킨다. 광범위한 절제 실험은 핵심 구성 요소의 기여와 상호 적응의 이점을 확인해 주며, VLM 백본 전반에서 일관된 향상을 보인다.
과학 그림의 품질은 원고와 결부되어 있다. 잘라낸 그림이 시각적으로 선명하더라도 그 캡션이나 이를 인용하는 문단과 모순될 수 있다. 대부분의 이미지 품질 평가 및 차트 이해 방법은 그림, 캡션, 인용 텍스트 간의 정합성이 아니라, 분리된 시각적 표면이나 질의응답 점수를 대상으로 한다. 이미지와 텍스트를 함께 보는 단일 종단간 프롬프트는 여전히 눈에 보이는 것과 캡션 및 인용 문단이 주장하는 것을 뒤섞기 때문에, 유창한 문구가 시각 점수를 높일 수 있고 텍스트가 없으면 낮은 품질로 취급될 수 있다. 이러한 간극을 해소하기 위해 본 논문은 SciFigQual-Bench를 제안한다. 이는 출판된 CS 학회 논문의 그림을 대상으로 하는 원고 연계 벤치마크로, 각 그림을 캡션 및 색인으로 확인된 인용 문단과 연결하고, 시각적 명료성, 레이아웃, 캡션 일관성, 맥락 일관성, 오해 유발 위험을 점수화하며, 근거가 없는 차원은 평가하지 않은 채로 둔다. SFQ-Agent는 이미지와 텍스트를 별도의 호출로 읽고 모달리티별 근거를 기록한다. 교차 모달 판정기는 이 보고서들로부터 캡션 및 인용 텍스트와의 정합성을 점수화하고, 결정론적 실행기는 시각 점수를 유지하며 고정된 규칙으로 오해 유발 위험을 정하고 명시된 상한을 적용하므로, 각 차원은 단일 종단간 프롬프트가 아니라 평가 기준을 따른다. 이 단계별 판정기를 단일 패스 및 OCR 보조 프로토콜과 비교한 실험에서, 단계별 판정 하에서 인간 평가 평균에 대한 점추정 적합도가 가장 가까웠으나 프로토콜 간 차이는 작게 유지되었다. 캡션 일관성은 여전히 주요한 격차로 남아 있으며, 평가자 평균과의 일치도는 인간 평가자 간 일치도와는 다른 질문에 답한다. 프로젝트 페이지: https://frankdengai.github.io/SciFigQual-Bench/
수학적 모델은 연구 문제를 형식화하는 데 핵심적이지만, 그 문서화는 흔히 FAIR 원칙에 미치지 못한다. 수학 모델 데이터베이스(MathModDB)와 같은 지식 베이스는 선별되고 의미적으로 풍부한 수학적 모델 표현을 제공함으로써 이러한 간극을 해소한다. Wikidata의 기반이 되는 동일한 오픈소스 인프라인 Wikibase 위에 구축된 MathModDB는 시맨틱 웹 기술을 활용하여 연결된 개방형 데이터, 협업 편집, 의미적으로 풍부해진 메타데이터의 저장을 지원하며, 이로써 더 넓은 Wikidata 생태계 내의 특정 도메인 지식 그래프가 된다. 그러나 현재 MathModDB에 접근하려면 복잡한 웹 인터페이스를 탐색하거나 SPARQL 및 Wikibase API에 능숙해야 하므로 잠재적 사용자에게 상당한 장벽이 된다. 게다가 이러한 선별된 지식 베이스를, 예를 들어 Dataverse 저장소 인스턴스에 저장된 실제 연구 데이터와 결합하는 일도 여전히 과제로 남아 있다. 이러한 한계를 극복하기 위해, 본 논문은 벡터 색인 기반 스키마 검색과 슈타이너 트리 기반 조인 계획기를 제공하는 모델 컨텍스트 프로토콜(MCP) 서버를 통해 대규모 언어 모델(LLM)을 MathModDB와 통합하는 방안을 제안하며, 이는 대화 기반 자연어 상호작용을 선별되고 인식론적으로 근거가 확보된 지식과 결합한다. 이 아키텍처는 MathModDB에서 구현되었지만 다른 Wikibase 기반 시스템에도 적용할 수 있다. 우리는 이 접근법이 인식론적으로 근거가 확보된 LLM 활용을 가능하게 하고, 표준 Wikibase 인터페이스가 제공하는 수준을 넘어 모델의 설명 가능성과 접근성을 향상시키며, Dataverse 데이터 저장소와 같은 외부 데이터베이스 및 도구와의 상호운용성을 단순화함을 보인다. 두 가지 사용 사례를 통해 MCP 프로토콜의 적응성을 바탕으로 LLM의 접근성과 선별된 지식 베이스의 인식론적 안전성을 결합했을 때의 이점을 설명한다.
서드파티 API 라우터는 점차 다양해지는 대규모 언어 모델(LLM) 제공자에 대한 접근을 일원화하는 일반적인 층(layer)으로 자리 잡았습니다. 코딩 에이전트(agent) 워크플로에서는 상호작용 오버헤드를 줄여주기 때문에 높은 자율성의 운영 방식이 널리 채택되고 있습니다. 그 결과, 에이전트와 업스트림 제공자 사이에 위치하는 서드파티 API 라우터는 필연적으로 신뢰 경로(trusted path)를 차지하게 됩니다. 이 라우터는 모든 요청과 응답을 검사하고 수정할 수 있지만, 제공자의 출력과 에이전트에 의해 궁극적으로 실행되는 저장소 수준의 동작 간의 정렬(alignment)을 검증하는 메커니즘은 존재하지 않습니다. 따라서 클라이언트 측 권한 메커니즘은 실제로 무력화될 수 있습니다. 이러한 제어 공백이 소프트웨어 개발 작업에 실제로 감지하기 어려운 영향을 미치는지 여부는 실증적으로 측정되지 않은 채로 남아 있습니다. 본 논문에서는 점진적으로 정교해지는 네 가지 수준의 개입, 즉 응답 대체(L1), 응답 추가(L2), LLM 다듬기 주입(L3), 분포 정렬을 포함한 LLM 다듬기 주입(L4)을 검토하며 코딩 에이전트의 라우터 측 주입에 대한 실증적 연구를 수행합니다. 또한, 400개 샘플로 구성된 정제된 데이터셋(dataset)과 함께 트레이스 기록, 재생, 주입 및 방어 평가를 위한 프레임워크인 SIDEL을 개발합니다. 네 가지 대표적인 코딩 에이전트를 평가하고, 화이트리스트 기반 실행 제어 및 LLM 검토를 추가로 평가합니다. 라우터 측의 개입은 저장소 수준의 동작을 실질적으로 변화시키며, 기존 클라이언트 측 보호 장치로는 감지하기 어렵습니다. 추가적인 완화 조치가 없을 경우, 평가된 모든 에이전트는 모든 주입 수준에 걸쳐 0%의 방어 성공률을 기록했습니다. 클라이언트 측 완화책과 사후 검토는 저항성을 향상시키지만 엔드투엔드 제어를 완전히 복원하지는 못하며, 이는 제공자 측의 출력 무결성 보장이 필요함을 시사합니다. 저희 코드는 https://github.com/Riyasushin/SIDEL 에서 이용할 수 있습니다.
언어 모델이 추론하는 도중에 그 답이 맞을지 알 수 있는가? 루프형 모델은 이를 묻기에 적합한 대상이다. 토큰마다 동일한 층을 여러 번 실행하므로 루프마다 프로브가 읽을 수 있는 은닉 상태가 하나씩 남기 때문이다. 나는 2.6B 파라미터 루프형 모델인 Ouro-RLTT를 프로빙하여, 이 상태들이 추론이 어떻게 끝날지에 대해 무엇을 드러내는지 조사한다. 이러한 정보를 작동적 원시 내성(operational proto-introspection)이라 부른다. 프로브가 읽을 수 있는 것으로 정의되므로 작동적이고, 모델 자체가 이를 사용한다는 것은 여기서 보이지 않으므로 원시적이다. 부분적으로는 그렇다. 아직 답을 말하지 않은 응답에서 추론의 처음 48개 토큰을 읽을 때, 은닉 상태에 대한 프로브는 합성 논리 과제에서 AUROC 0.758에 도달하며, 토큰 신뢰도의 0.515와 대비된다. 질문 난이도는 경쟁 설명이다. 추가 1,164개 질문에서 토큰 신뢰도에 질문의 단순한 특징을 더한 예측기도 비슷한 수준으로 예측한다. 그러나 난이도만의 문제는 아니다. 같은 질문에 대한 두 답변 사이에서 프로브는 74%의 경우 정답에 더 높은 점수를 부여한다. 같은 토큰을 읽는 미세조정된 언어 모델도 비슷한 수준의 성능을 보인다. GSM8K와 두 번째 체크포인트에서는 이 질문 내 검정이 해결되지 않는다. 완성된 후보 답변의 순위를 매기는 프로브는 네 개의 Ouro 체크포인트에서 8층의 첫 번째 루프에서는 약하고, 두 번째 루프에서는 훨씬 좋으며, 세 번째 루프에서는 마지막 층만큼 정확하다. 프로브가 읽는 방향은 루프 간에 대체로 공유된다. 마지막 루프에서 학습한 프로브는 첫 번째 루프에서 직접 학습한 프로브와 거의 비슷하게 첫 번째 루프를 읽는다. 이 신호는 완성된 출력을 어떻게 처리할지 결정하는 데 도움이 된다. 표면적 특징보다 기권(abstention)을 개선하고 후보 중에서 우연보다 나은 수준으로 정답을 고르지만, 표면적 특징도 비슷한 수준으로 고른다. 여러 표본이 완성되고 나면, 그 표본들의 일치도를 아는 기준선은 답변 비의존 프로브가 더할 측정 가능한 것을 남기지 않는다. 이를 이용해 모델이 더 나은 답을 생성하도록 하려는 나의 시도는 어느 것도 효과가 없었다.
멀티모달 환경에서 문서화된 안전 정책은 시각적 경계가 다양한 맥락에 걸쳐 있는 범주를 정의한다. 우리는 유용한 합성 경계 사례를 식별하는 신호로서 불일치를 연구한다. 우리의 파이프라인은 정책 조건부 이미지를 생성하고, 대상–평가자 간 또는 평가자 간 불일치가 있는 사례를 선별하며, 해결되지 않은 사례를 조건에 따라 상위 단계로 넘기고, 그 결과 평가자가 레이블링한 예시를 문맥 내 시연 예시로 검색한다. 실패 사례가 풍부한 멀티모달 안전성 벤치마크에서 정책 기반화는 거짓 음성률(FNR)을 0.875에서 0.413으로 낮추고 F1을 0.220에서 0.731로 높이며, 불일치로 선별한 50개 예시에서의 검색은 FNR을 0.245로 추가로 낮추는데, 이는 350개 예시의 일반 풀에서의 0.297과 비교된다. 선별된 메모리는 다른 대상 모델 계열도 개선하며, 정련된 정책을 가진 독점 벤치마크에서는 더 작은 향상을 보인다. 블라인드 인간 연구에서 전문가들은 불일치 기반 이미지의 24%와 기준선 방식으로 큐레이션한 이미지의 17%에서 의견이 갈린다. 이러한 결과는 멀티모달 안전성 평가와 예시 선택을 위한 추적 가능한 불일치 기반 큐레이션을 뒷받침한다.
본 논문은 대칭군 설정에서 고전적 부호화 정리(Coding Theorem)의 직접적인 유사물을 확립한다. 이진 문자열 집합 위의 계산 가능한 전단사 함수를 고려하고, 문자열 x의 대칭 사전확률(symmetry prior)을 주어진 군 G에서 무작위로 선택한 대칭이 x를 유일한 고정점으로 가질 확률로 정의한다. 우리는 임의의 고정 수축 가능(fix-retractable) 대칭군 G, 즉 모든 문자열에 대해 고립 대칭을 선택하는 계산 가능한 단면(section)을 허용하는 군에 대해, 대칭 사전확률이 보편적인 하반계산 가능 준측도임을 보인다. 이 경우 기하학적 부호화 정리가 성립한다. 이 결과는 해당 문자열을 유일한 고정점으로 갖는 대칭으로 문자열을 기술하는 복잡도가 그 콜모고로프 복잡도와 같음을 보인 Trejo, Kreinovich, Longpré의 정리를 부호화 이론적으로 다시 서술한 것이다. 우리의 기여는 이를 알고리즘적 확률의 관점에서 재구성하고 대칭군을 매개변수로 다루며, 대칭 복잡도가 콜모고로프 복잡도로 붕괴하는 정확한 조건으로서 고정 수축 가능성을 규명한 데 있다.
유동 지능(gf) 측정에 대한 두 가지 경쟁적 관점은 수행이 주로 작업 기억 용량에 의해 제약되거나, 새로운 관계를 귀납하는 능력에 의해 제약된다고 제안한다. 첫 번째 관점은 제한된 반복 규칙 집합을 사용하는 데서 드러나듯 현재 측정에서 지배적이며, 두 번째 관점은 많은 정의에 반영되어 있지만 측정에서는 거의 나타나지 않는다. ARC-AGI 벤치마크는 주로 규칙 귀납을 요구하며, 인간과 인공 시스템 모두를 위한 gf의 측정 도구로 제안되었다. 그러나 그 심리측정학적 속성은 아직 인간 표본에서 검토되지 않았다. 따라서 우리는 100명의 참가자를 대상으로 한 첫 번째 연구에서 ARC-AGI의 심리측정적 특성과 법칙망(nomological network)을 조사했다. ARC-AGI 문항을 모은 세트는 양호한 심리측정적 속성을 보였고, 도형 추론 검사로 측정한 도형적 유동 지능과 상당한 상관을 보였다($\rho$ = .63). 도형적 독창성과의 연관은 약했다. 이러한 결과는 인간 유동 지능의 측정 도구로서 ARC-AGI의 타당성에 대한 초기 근거를 제공한다. 향후 연구에는 더 많은 규칙 귀납 과제와 추가적인 다변량 공변인이 포함되어야 한다. 이 연구는 원래 기계를 위해 설계된 과제를 인간에게서 연구한다는 점에서 이례적이다. 우리는 보다 체계적인 평가와 학제 간 협력을 가능하게 하기 위해 AI 벤치마크를 인간 인지 능력의 법칙망에 체계적으로 포함시킬 것을 제안한다.
대규모 언어 모델(LLM) 기반 에이전트 시스템은 자율적 작업에 점점 더 많이 활용되고 있지만, 기존 평가는 에이전트가 언제 행동을 삼가야 하는지 파악하는 능력보다 작업 성공 여부에 주로 초점을 맞춰왔다. 이 격차는 실질적인 위험을 초래한다. 모호한 상황, 상충하는 제약 조건, 또는 도구 오류 하에서 에이전트는 의도하지 않은 되돌릴 수 없는 행동을 실행할 수 있다. 이 격차를 해소하기 위해 우리는 에이전트적 행동 절제(agentic abstention)에 대한 최초의 체계적 평가 프레임워크를 제시한다. 행동 절제란 도구를 사용하는 LLM 에이전트가 언제 행동하지 말아야 하는지를 인식하는 보정된 능력을 의미한다. AgentAbstain의 핵심은 실행 전 추론과 런타임 발견에 걸친 8가지 행동 절제 시나리오의 에이전트 고유 분류 체계를 기반으로 구축된 쌍(paired) 작업 벤치마크이다. 이 벤치마크는 42개의 실행 가능한 샌드박스 환경에 걸쳐 263개의 쌍 작업을 포함하며, 각 쌍은 행동해야 하는(should-act) 작업과 명령어, 도구, 또는 환경 상태에 대한 통제된 변형을 통해 생성된 행동을 삼가야 하는(should-abstain) 변형 작업으로 구성된다. 이 쌍 설계를 확장하고 데이터 오염에 저항하기 위해 우리는 AbstainGen을 제안한다. AbstainGen은 샌드박스 환경을 합성하고 쌍 작업을 종단간(end-to-end)으로 생성하는 완전 자동화 파이프라인으로, 결정론적 재현(replay)과 의미론적 LLM 판정기(judge)로 검증된다. 새로운 작업 인스턴스는 요청 시 재생성할 수 있으며, 세 명의 독립적인 주석자가 샘플링된 작업의 94~98%를 잘 설계된 것으로 평가하였다. 4개의 에이전트 하네스에서 17개의 최신 LLM을 평가한 결과, 가장 우수한 에이전트(Gemini 3.1 Pro)도 쌍 정확도(act와 abstain 양쪽 모두 정확히 처리) 59.5%에 그쳤다. 더 중요한 점은, 행동 절제 능력이 일반적인 작업 해결 능력과 대체로 독립적이라는 것으로, 작업 해결 능력만을 스케일링하는 것으로는 이 격차를 해소할 수 없음을 시사한다. 우리는 또한 사후 절제(post-hoc abstention)와 같은 실패 유형을 규명하는데, 이는 에이전트가 절제 트리거를 인식하기 전에 되돌릴 수 없는 행동을 실행하는 현상이다. 코드와 데이터셋은 agentabstain.github.io에서 오픈소스로 공개되어 있다.
Agentic systems enhance their capabilities by invoking external tools and maintaining persistent memory. However, recent tool and memory poisoning attacks can covertly bias agent behavior. We observe that such attacks mounted out of band share a single enabler: each succeeds only by presenting the agent with a contextual state (e.g., tool state and memory) that is not the latest faithfully evolved one. This observation suggests that a continuity check over the contextual state covers this family of attacks. We present ElephantAgent, a protocol that enforces Contextual State Continuity over the bounded, security-critical subset of the agent's context. Before each planning-and-execution cycle, ElephantAgent recomputes the digest of the local contextual state and verifies it against the latest authorized digest in a linearizable ledger of state transitions, maintained over replicated trusted hardware. The protocol also provides Historical Traceability, a secondary guarantee that keeps state transitions attributable and recoverable. We integrate ElephantAgent into DeepSeek Harness (DSH) and implement ElephantDSH, an agentic system protected by contextual state verification. ElephantDSH withstood all out-of-band attack attempts, from rug pulls and rollbacks to attacks on its own mechanism, and recovered from an in-band prompt injection in all trials. By comparison, existing defenses typically check only what enters the context: of the five we evaluated, all leaked the targeted content under the rollback, and three also under the rug pull. ElephantDSH completed all normal coding tasks with a relative overhead of 1.02-1.07$\times$ over the original DSH with model latency variation removed.
조기 종료는 잠정 답이 최종 답처럼 보일 때 추론을 멈춤으로써 추론 모델의 서비스 비용을 낮춘다. 운영자는 학습된 중단 규칙과 하나의 정적 토큰 예산 중 하나를 선택해야 하며, 전체 추론 대비 절감량만으로는 이 선택을 결정할 수 없다. 본 논문은 워크로드의 보정 데이터로 이를 결정하는 절차를 제시한다. 이 절차는 두 계열을 모두 Learn-then-Test로 인증하여, 전체 추론은 정답을 맞히지만 조기 종료는 맞히지 못하는 질문의 비율에 대한 하나의 상한을 보장하고, 서비스 스택이 하는 방식대로 잠정 답의 비용을 산정하며, 인증된 후보 중 가장 저렴한 것을 배포한다. 네 개의 모델과 다섯 개의 벤치마크 전반에서 어느 계열도 전반적으로 우수하지 않았다. 5% 위험 목표에서 학습된 규칙은 Qwen3의 자유 형식 수학 문제에서 정적 예산보다 10.4–17.0퍼센트포인트 더 많은 토큰을 절감하면서 정확도는 전체 추론보다 2.4–2.9점 낮았으며, MMLU-Pro에서는 평균적으로 절감량이 더 적었다. 어느 계열의 비용이 더 낮은지는 위험 목표에 따라서도(15개 설정 중 8개에서) 그리고 잠정 답의 가격에 따라서도 달라진다. 세 가지 가격 전반에서, 미리 한 계열로 확정하면 일부 워크로드에서 최대 27.4점을 잃는 반면, 보정 데이터로 선택하면 보정 질문이 99개뿐인 과제에서도 더 나은 계열보다 최대 11.6점 부족한 데 그친다. Qwen3-8B를 사용한 vLLM 엔진에서 평균 응답 시간은 생성된 토큰 수에 비례하여 감소했다. 보정 과제가 아닌 다른 과제에서 서비스된 정책은 44개 과제 쌍 중 18개에서 위험 목표를 초과했으며, 새 과제에서 재보정하면 위험 통제가 회복되었다.
차세대 무선 네트워크에서는 기기 밀도가 증가하고 스펙트럼 자원이 제한되어, 무선 전자기 환경에서 취약한 합법적 통신 링크에 심각한 재밍 문제가 발생한다. 특히 재밍이 시간 및 주파수 영역 모두에서 파일럿 심볼과 데이터 심볼에 겹치면 수신기 측의 결합 추정과 검출에 심각한 병목이 생긴다. 기존 방식은 이러한 재밍 오염에 대응할 효과적인 프레임워크가 부족하여 신뢰할 수 있는 전송을 보장하지 못하는 경우가 많다. 이 문제를 해결하기 위해 재밍에 강인한 직교 주파수 분할 다중화(OFDM) 수신기를 위한 브라운 브리지 확산 보조 결합 채널 추정 및 데이터 검출(BBD-JCED) 프레임워크를 제안한다. 제안 프레임워크는 재밍 억제 모듈과 브라운 브리지 결합 복원 모듈로 구성된다. 전자는 단시간 푸리에 변환(STFT) 영역에서 재밍에 오염된 빈을 식별하고 스펙트럼 노칭을 통해 지배적인 재밍 성분을 억제한다. 후자는 브라운 브리지 기반 확률 그래프를 구성하여 억제된 OFDM 관측에서 부호화된 비트로의 확률적 전이 과정을 모델링하고, 역방향 복원 과정을 수행하여 향상된 결합 채널 추정 및 데이터 검출을 가능하게 한다. 또한 다루기 어려운 비트 추정 문제를 다루기 쉬운 학습 목적 함수로 재구성하는 변분 하한(VLB)을 유도하여 손실 함수 설계의 확률적 토대를 제공한다. 나아가 재밍 억제 모듈과 브라운 브리지 결합 복원 모듈을 개별적으로 최적화하기 위한 2단계 학습 알고리즘을 개발한다. 대표적인 재밍 유형에 대한 시뮬레이션 결과, 제안 프레임워크는 경쟁력 있는 추론 복잡도를 유지하면서도 고려한 기준 방식보다 우수한 재밍 억제 및 비트 복원 성능을 달성함을 보여 준다.