본 논문은 차세대 하이브리드 인간-기계 의사결정 지원 시스템(DSS)에서 운영자 제어의 안정성을 보장하고 목표 지향성을 유지하는 근본적인 문제를 탐구한다. 단행본 형식의 텍스트 배열 공동 설계에 관한 두 달간의 연속 종단적 실험을 기반으로, 심층 논리 추론 대규모 언어 모델(Reasoning LLM)에서 잠재적 현상인 의미론적 컨텍스트 드리프트가 검증되고 기술된다. 인간-기계 인터페이스에서의 상호작용에 대한 수학적 모델이 제안되며, 숨겨진 추론 체인의 비선형 컨텍스트 압력을 고려하는 독창적인 지표인 운영자 제어 안정성 계수가 도입된다. 코그니톰 이론의 패러다임 내에서 제어 기능 역전의 임계점이 포착된다. 수정된 계층적 유사성 모델을 기반으로 동적 관계형 중재 루프를 구현하기 위한 엔지니어링 권장사항이 도출된다.
우리는 몬테카를로 입자 및 중이온 수송 코드 시스템(PHITS)을 위한 실행 기반 평가 벤치마크인 PHITSBench를 소개한다. PHITSBench는 세 가지 공통 워크플로 범주에 걸쳐 282개의 수송 채점 가능 태스크로 구성된다: 매개변수 편집(Edit), 구문 수정(Repair), 자연어 설명으로부터의 완전한 시뮬레이션 생성(Reproduce). 각 태스크는 실행 성공 여부와 생성된 수송 관측량과 참조 수송 관측량 간의 일치도를 결합한 복합 지표 점수(Composite Metric Score)를 사용하여 평가된다. PHITSBench를 활용하여 제로샷 프롬프팅부터 지식 증강 및 에이전트 워크플로까지 다섯 가지 GPT-5.4 기반 구성을 평가한다. 도메인 특화 지식 없이 모델은 편집 및 수정 태스크에서 높은 성능(각각 95%, 70% 성공률)을 보이지만, 처음부터 올바른 시뮬레이션을 생성하는 데는 실패한다(Reproduce 트랙에서 성공률 0%). 사용자 매뉴얼과 함께 제공되는 구조화된 기계 가독형 PHITS 지식 카탈로그는 단일 시도 Reproduce 태스크 성공률을 57%까지 향상시킨다. 에이전트 실행은 66~73%까지 추가적인 개선을 제공하지만, 계산 비용이 증가한다. 실패 분석 결과, 나머지 오류는 구문 생성보다는 물리적 관측량의 잘못된 선택 및 구성에서 비롯된 것으로 나타났다. 이러한 결과는 AI 보조 방사선 수송 모델링의 향후 발전이 기반 모델 자체의 발전만큼이나 기계 가독형 지식 베이스, 큐레이션된 도메인 학습 데이터셋, 실행 기반 평가 환경에 달려 있음을 시사한다.
AI 에이전트는 다양한 목표를 추구하고 보상을 두고 경쟁하는 공유 환경에 점점 더 많이 배포되고 있다. 이러한 다중 에이전트 간 경쟁은 집단적 비용을 치르며 개인적 이익을 추구하는 행동으로 이어질 수 있다—예를 들어, 마케팅 에이전트들은 소셜 미디어에서 참여도를 두고 경쟁한 결과로 오해를 유발하는 콘텐츠를 게시할 수 있다. 인간 사회는 허용 가능한 행동을 제한하는 규범과, 위반을 감지하고 제재하는 집행 메커니즘을 통해 이러한 문제를 해결한다. 이에 착안하여, 우리는 언어 모델(language model) 에이전트를 위한 규범 집행 메커니즘을 연구한다. 단순한 집행 메커니즘은 명시적으로 학습되거나 프롬프트되지 않았더라도 정렬이 어긋난 에이전트에 의해 경쟁적 우위를 위해 악용된다는 것을 발견하였다. 이에 우리는 더욱 견고한 메커니즘 설계에 주목하고, 두 가지 핵심 요소를 파악하였다: 각 에이전트의 신뢰성을 시간에 따라 추정하는 것, 그리고 반복적인 위반 행동에 대해 가중되는 제재로 이 추정치를 갱신하는 것이다. 세 가지 시뮬레이션 환경과 다양한 에이전트 집단에 걸쳐, 이 원칙들에 기반한 메커니즘은 악용에 저항하면서도 기준선과 비슷하거나 더 낮은 비용으로 규범 위반을 제재한다. 우리의 결과는 규범 집행 메커니즘이 에이전트 행동을 형성하는 확장 가능한 수단으로 기능할 수 있음을 보여주지만, 이는 자신이 관장하는 시스템의 일부가 될 것을 예상하여 설계된 경우에만 가능하다. 코드와 데이터는 https://yaowenye.com/norm-enforcement 에서 이용 가능하다.
신뢰할 수 없는 에이전트들로 구성된 저렴한 군집은 소수의 강력하고 비용이 높은 '오라클' 수정자에 의해 올바른 합의로 유도될 수 있다. 우리는 얼마를 지출해야 하는지, 그리고 오라클을 어디에 배치해야 하는지를 묻는다. 우리는 군집을 그래프 위의 합의 문제로 모델링하며, 각 오라클은 비용에 연계된 오목한 강도로 하나의 노드를 진실 방향으로 고정하고, 품질은 일관성 H(R)=tr M(R)^{-1}로 측정한다. 첫 번째 결과로, 오라클의 강도가 서로 다른 경우에도 H는 준모듈성(submodular)을 유지하며(각 추가 오라클의 기여는 이전보다 감소), 이로써 비용-편익 그리디 알고리즘이 임의의 예산에서 최적 배치의 1-1/e 이내를 달성한다. 예산을 역으로 보면 예산-정확성 경계 B*(eps)를 얻는데, 이는 eps-정확 합의를 보장하는 최소 지출이다: 완전 그래프에서는 닫힌 형태로, 오라클 비용이 동일한 경우 최소 오라클 수 k*로 표현된다. 주어진 예산으로 소수의 강한 오라클을 구입할지 다수의 중간 오라클을 구입할지는 비용-품질 법칙의 곡률에 달려 있다: 수확 체감 구간에서는 분산 배치가, 급격한 증가 구간에서는 집중 배치가 유리하다. Qwen3 계열(0.6B~32B)에서 측정한 결과, 이 법칙은 수학 검증에서는 오목하고 창발적(emergent) 코드 추적에서는 볼록하게 나타나, 결론은 진정으로 태스크 의존적임을 보인다. https://github.com/YehudaItkin/budgeted-oracle-placemen
공개 배터리 노화 데이터셋은 고급 상태 관리를 위한 핵심 자산이지만, 일관성 없는 형식, 불명확한 스키마, 저장소와 논문 전반에 분산된 메타데이터로 인해 실제 활용이 제한되는 경우가 많다. 현재의 큐레이션은 대부분 수작업에 의존하며 재현이 어렵고, 범용 데이터 통합 도구는 전기화학 시계열 데이터의 도메인별 의미론을 포착하지 못한다. 우리는 BatteryLake를 제시한다. 이는 에이전틱·물리 기반 큐레이션 프레임워크를 통해 원시 공개 배터리 데이터를 벤치마크 준비 자산으로 변환하는 거버넌스 데이터 레이크하우스로, 세 가지 기여를 제공한다. 첫째, 대규모 언어 모델(LLM) 에이전트가 메타데이터를 추출하고 데이터셋별 변환기를 합성하되, 모든 출력을 원문 증거에 근거하며 이를 뒷받침하는 값이 없을 경우 답변을 보류한다. 둘째, 인간-루프(human-in-the-loop) 메커니즘이 검증을 선택적 예측으로 구성하고, 스키마·통계·물리적 타당성에 관한 26개 규칙을 통해 허용 데이터를 게이팅한다. 셋째, 25개 이상의 기관에서 수집된 41개 데이터셋으로 구성된 공개 벤치마크를 공개하며, 표준화된 SOH 및 RUL 과제, 세 가지 분할 프로토콜, 그리고 여덟 가지 기준선 모델 패밀리를 포함한다. 플랫폼, 벤치마크, 큐레이션 프로토콜은 https://tianwen1209.github.io/batterylake/에서 공개적으로 이용 가능하다.
분산 시스템에서 고전적인 상태 기계 복제(SMR) 모델은 올바른 복제본이 결정론적 전이를 실행하여 동일한 비트 단위 상태를 산출한다고 가정한다. 그러나 자율적이고 확률론적이며 모델 기반 에이전트들이 인프라를 조율하는 에이전트 기반 분산 시스템의 부상은 결정론적 비트 단위 복제가 불충분한 시나리오를 제시한다. 생성 모델로 동작하는 복제본들은 서로 다른 추론 경로, 요약, 토큰 경계를 보일 수 있지만, 의미론적으로 동등하고 올바른 운영 결정에 도달할 수 있다. 이러한 확률론적 참여자들 전반에 걸쳐 비트 단위 합의를 강제하면 실행 유연성이 저하되고, 컨텍스트 기억상실이 유발되며, 성능이 제한된다. 우리는 이러한 환경에서 복제본들은 비트가 아닌 신념에 합의해야 한다고 주장한다. 우리는 에이전트 기반 분산 시스템을 위한 신념 복제 층인 인식론적 상태 복제(ESR)를 제안하며, 이는 복제 경계를 데이터 가시성에서 지식 가시성으로 이동시킨다. 우리는 인식론적 노드 상태를 K = (L, B) 쌍으로 형식화하여, 결정론적이고 불변하는 증거 로그 (L)를 확률론적이고 진화하는 신념 계보 (B)로부터 분리한다. 실행 안전성을 관장하기 위해, 우리는 의미론적 선형화 가능성(Semantic Linearizability)을 정의하는데, 이는 연산이 검증자 유계 의미론적 호환성 메트릭 내에서 최신 커밋된 운영 의미를 반영할 것을 요구하며, 또한 공정한 전달, 단조로운 증거, 유계 검증자 교란, 수축적 접목 연산자 하에서 기대 의미론적 발산을 유계로 제한하는 유계 최종 일관성(Bounded Eventual Coherence)을 정의한다. 우리는 구조화된 인식론적 델타를 사용하여 도출된 인사이트를 전파하기 위한 프로토콜을 개략적으로 제시하고, 컨텍스트 기억상실을 유발하지 않으면서 신념 계보에서 결함 있는 전제를 제거하기 위한 검증 가능한 의미론적 롤백(Verifiable Semantic Rollbacks)을 형식화한다. 우리는 ESR의 프로토타입을 구현하고, 제시된 가정 하에서 실현 가능성을 보여주며 이차적 인지 결함의 감소를 나타내는 예비 시뮬레이션 결과를 보고한다.
우리는 구조화된 추론 개입이 대규모 언어 모델(LLM)의 전략적 경제 추론을 향상시키는지, 그리고 그 효과가 모델 아키텍처에 따라 달라지는지를 조사한다. 호텔링 선형 도시 모델을 진단 도구로 활용하여, 표준 인스트럭션 팔로잉 모델인 GPT-4.1-mini와 추론 최적화 모델인 GPT-5-mini를 다섯 가지 조건—스캐폴딩 없는 기준선과 네 가지 추론 개입—에서 평가한다. 평가는 연역적 및 귀추적 추론을 아우르는 여덟 가지 질문, 세 가지 프롬프트 프레이밍, 조건당 세 번의 반복으로 구성되며, 총 720개의 개별 판정 응답을 생성한다. 스캐폴딩 유형과 모델 아키텍처 간에 통계적으로 유의미한 교차 상호작용을 발견한다($t(7) = 4.79$, $p = 0.002$, $d = 1.69$): 커밋먼트 스캐폴딩은 표준 모델을 향상시키는($+0.21$) 반면 추론 모델을 저하시키며($-0.63$), 원칙적 분리는 반대 패턴을 보인다($-0.40$ 대 $+0.31$). 두 교차 효과 모두 개별적으로 유의미하며(커밋먼트: $p = 0.040$; 분리: $p = 0.002$), 여덟 가지 질문 전체에서 7/8의 방향 일관성을 보이며 유지된다. 적대적 스트레스 테스트는 두 모델 모두에 해를 끼치며, 추론 모델에서 $2.6\times$ 더 큰 성능 저하를 보인다($-1.47$ 대 $-0.57$; $p = 0.038$). 이 손상은 기준선 난이도와 음의 상관관계를 가진다($R^2 = 0.36$, $p = 0.014$). 또한 두 모델 모두 올바른 전략을 식별하는 비율이 이를 실행하는 능력을 크게 초과하는 지속적인 선언적-절차적 격차를 확인한다. 원칙적 분리는 추론 모델에서 이 격차를 완전히 해소하는 반면, 표준 모델에서는 어떠한 개입도 도움이 되지 않는다.
우리는 LLM 벤치마크 코어셋 선택을 연구한다: 여러 벤치마크에 걸쳐 소수의 프롬프트 부분집합을 선택하여, 해당 부분집합에서 유도된 모델 점수와 순위가 전체 벤치마크 스위트에서 얻은 결과와 근사하도록 한다. 평가-비지도 벤치마크 코어셋 선택(우리의 접근법)에서, 선택 알고리즘은 모델 평가 결과를 전혀 사용하지 않으며, 전체 벤치마크의 부분 컬렉션을 생성하는 것이 아니라 여러 벤치마크에 걸친 프롬프트 부분집합을 생성하는 세밀한 단위로 동작한다. 우리는 부분모듈러(submodular) 부분집합 선택을 활용하며, 이를 위해 행렬식 포인트 프로세스(DPP, determinantal point process) 기반 접근법, 부분모듈러 상호정보(mutual information) 함수, 시설 위치(facility location) 기반 함수 등 다양한 부분모듈러 함수를 개발하고 평가한다. 5가지 능력 범주, 18개의 최전선(frontier) LLM, 61K개 이상의 프롬프트를 아우르는 35개의 이질적 벤치마크로 구성된 새로운 대규모 스위트에서, 저비용 의미론적 프롬프트 임베딩만을 활용하는 시설 위치(FL) 함수가 다양한 코어셋 예산 범위에 걸쳐 12가지 점수 기반 및 다양성 기반 베이스라인보다 LLM 점수를 더 잘 보존함을 발견하였다. 나아가, 우리의 제안된 목적함수가 평가-비지도 환경에만 국한되지 않음을 보인다: 소수의 전체 벤치마크만 선택해야 하고 대량의 모델 점수가 이용 가능한 설정에서, 동일한 목적함수가 MMLU 및 MTEB 리더보드에서 최신(state-of-the-art) 베이스라인과 동등하거나 이를 능가하면서도 계산 비용이 크게 낮다. 종합하면, 우리의 결과는 부분모듈러성(submodularity)이 일반적으로 벤치마크 압축을 위한 강력하고 신뢰할 수 있는 도구임을 시사한다.
현재 AI 시스템의 수학적 역량을 평가하기 위해, 우리는 기본적인 수학 상수들에 대한 공식 집합을 제시한다. 이 문제들은 구체적이며 임의의 정밀도(precision)로 수치적 검증이 가능하면서도 증명에는 자명하지 않은 수학이 요구될 수 있어 AI 평가에 적합하다. $π$, $e$, 카탈란 상수, 리만 제타 함수의 특수값과 같은 수학 상수들은 수세기 동안 수학자들을 매료시켜 왔다. 수학 상수를 평가하는 공식의 탐구는 특히 무리수 증명이나 빠른 수렴(convergence)률을 산출하는 경우에, 해당 분야에서 가장 아름다운 수학을 낳아왔다. 라마누잔의 유산은 이러한 전통을 상징적으로 보여준다. 우리가 제공하는 목록은 두 가지 유형의 문제를 포함한다: 저자들에게 증명이 알려져 있으나 초기 단기간 동안 암호화된 상태로 남겨질 공식들, 그리고 아직 증명되지 않은 공식들. 우리는 두 경우 모두에서 AI의 성과를 확인하고자 한다.
자율 산업 운영을 향한 핵심 단계는 수동 재설계를 최소화하거나 없이 자연어 요구사항 명세로부터 제어 정책을 생성하고 재구성하는 능력이다. 이 환경에서, AI 에이전트에 의한 정책 생성은 실행 전 생성된 후보 액션을 검사할 수 있는 플랜트 인식 검증기(예: 디지털 트윈)와 결합될 때 신뢰할 수 있는 경로가 될 수 있다. 그러나 실용적 배포는 추론 지연과 계산 자원 규모에 의해 제약된다: 대형 클라우드 기반 모델은 엣지 폐루프 사용에 있어 너무 느리거나, 불투명하거나, 데이터 민감도 측면에서 문제가 있는 경우가 많다. 본 연구는 소형 언어 모델(SLM)이 제어 추론을 위해 재훈련되고 검증기 기반 수정 루프에 내장될 수 있는지를 조사한다. 우리는 그룹 상대 정책 최적화(GRPO)를 통해 정렬된 Qwen2.5-1.5B 모델을 (i) 액션 에이전트, (ii) 심볼릭/디지털 트윈 방식의 검증 층, (iii) 유효한 액션을 향해 출력을 반복적으로 조정하는 리프롬프팅 에이전트와 결합하여 사용한다. 무작위화된 열 제어 시뮬레이션(각 500 스텝의 30회 실험)에서, 이 프레임워크는 평균 추론 지연 3.84초에 평균 액션 정렬 정확도 91.5%(사례별 86.3%--100%)를 달성한다. 심볼릭 재매핑 하에서 95%의 범위 내 비율을 유지하며, 이는 감소된 토큰 수준 일치도에도 불구하고 견고한 물리적 조절을 나타낸다. 이러한 결과는 SLM+검증기 아키텍처가 엣지에서의 재구성 가능한 자율 제어를 향한 실용적인 경로임을 지지한다.
학습된 판별자(judge)를 기준으로 코드 생성기를 사후 학습(post-training)하면, 실제 결과물을 개선하지 않고도 점수를 높이는 프록시 특성이 최적화될 수 있다. 본 논문은 이와 반대되는 신호, 즉 결정론적이고 판별자 없이 조작이 불가능한 필터—생성된 프로젝트가 헤드리스 엔진에서 정상적으로 실행되는지 여부(strict-launch)—를 연구한다. 이 게이트 하에서 거절 샘플링(rejection-sampling) 자기 증류(self-distillation)는 패밀리 외(out-of-family) 일반화를 복합적으로 향상시킨다. 자연어 지시문을 완전한 Godot 프로젝트로 변환하는 GameCraft-Bench에서, strict-launch 하에 증류된 14B 모델(Qwen3-14B+LoRA)은 세 라운드에 걸쳐 미관측 네 가지 게임 패밀리에서의 정상 생성률을 후보당 8.8%에서 42.2%로, best-of-K 커버리지를 18/25에서 25/25(골드 상한)로 끌어올렸으며, 각 라운드에서 유의미한 향상을 달성했다(p=0.0019, p<1e-4, p<1e-4). 이 향상은 단순히 데이터를 추가한 결과가 아니다: 정확히 일치하는 골드 복제 제어 실험은 기본 모델보다 낮은 성능(5.6% vs. 8.8%, p=0.019)으로 회귀한 반면, 수량을 맞춘 분해 실험은 라운드 1에서 2로의 도약을 품질(+8.8pp)과 수량(+8.5pp)의 비슷한 두 채널로 분리했다. 가장 직접적인 증거로, 필터만 교체하여—실행 게이트 대신 생성물의 99.9%를 통과시키는 관대한 BUILD 검사로—루프를 재실행하면 향상이 완전히 사라지고(기본 모델 수준으로 회귀, p=1e-3 vs. 실행-게이팅 라운드), 옵티마이저가 아닌 검증기의 정밀도(precision)가 결정 요인임이 분리된다. 두 번째 조작 불가능한 신호인 헤드리스 실행 그라운딩(headless execution grounding)은 라운드 전반에 걸쳐 단조롭게 증가하며, 동일한 예산에서 골드 복제보다 훨씬 많은 그라운딩된 후보를 생성해(16 vs. 5), 향상이 기능적임을 확인한다—단순히 실행만 되고 내용이 없는 것이 아니라. 게임 생성은 하나의 교훈을 위한 검증 가능한 테스트베드다: 검증기가 커리큘럼이다—검증기가 인증하는 것이 모델이 학습하는 것이다.
YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate
언어 모델은 서술된 상황을 수치 계획으로 변환하며, 주요 파이프라인(NL4Opt, OptiMUS, ORLM, OR-LLM-Agent)은 단일 목적 함수와 점 값(point-valued) 계수를 확정한 뒤 한 번만 풀어낸다. 실제 예산, 노력, 또는 임상적 주의를 배분하는 의사결정에서 이러한 확신은 실패의 원인이 된다: 객관화된 모든 수치는 가정이며, 추정이 정확히 맞을 때만 최적인 계획은 취약하다 — 계산의 흉내에 불과하다. YUKTI는 자동 공식화(autoformulation)의 대상을 바꾼다. 그 표현은 관계에 형태 사전 확률(shape priors), 계수 불확실성, 출처 정보를 담은 타입 명제 그래프다. YUKTI는 각 단계를 정확(exact), 비선형, 또는 진화적 솔버로 라우팅하고, 분포적 파레토 인계(distributional Pareto hand-off)를 통해 단계를 결합하며, 가정 강건 파레토 프론티어(Assumption-Robust Pareto Frontiers, ARPF)를 도입한다. ARPF는 구조적 엡실론 오염을 포함한 가정을 재샘플링하여 각 행동이 살아남는 빈도(ρ)를 평가한다. 우리는 ρ를 의사결정 후회의 정확한 인수(factor)로 만드는 경계를 증명하고, 감사 가능한 추적성을 추가하며, 데이터 기반이 존재하지 않을 때 벤치마크 충실 데이터 기반(SRJANA)을 합성한다. 우리는 세 가지 방식으로 검증한다: 통제된 잘못된 명세(misspecification) 하에서 강건한 타협안은 단순 점 계획 대비 평균 및 꼬리 후회를 90% 이상 감소시킨다; 규제된 상업적 의사결정에서는 합법적 행동 공간 내에서 최적화하고 하방 손실을 유로로 가격화한다; 41,188건의 의사결정으로 이루어진 실제 공개 데이터셋에서 표본 외 백테스트는 기록된 현상 유지 대비 34%, 단순 점 규칙 대비 4% 우수한 성과를 보이면서 옵티마이저의 저주를 완화한다. 솔버는 표준 방식이며, 벤치마크 SOTA 달성을 주장하지 않는다. 직접 비교 실험에서, 올바른 수치와 단일 목적 최적화가 주어진 대규모 언어 모델(LLM)은 모두 YUKTI 대비 약 47배의 보류 후회(held-out regret)를 발생시킨다 — LLM은 공식화기이지 솔버가 아니다. 장거리 인과 결합 하에서 전방 인계(forward hand-off)는 불건전해지며, 이는 역귀납(backward-induction) 인과 정책이 필요한 지점을 특정한다.
CODI와 COCONUT 같은 최근의 잠재 추론(latent reasoning) 방법들은 근본적인 해석 가능성 문제에 직면해 있다. 이 방법들은 명시적 사고의 연쇄(CoT)가 단일하고 투명한 추론 경로를 따르는 것과 달리, 각 단계마다 잠재 공간(hidden space) 내에서 여러 후보 경로를 중첩된 형태로 유지한다. 기존의 기계론적(mechanistic) 방법들은 압축, 지름길(shortcuts), 중첩(superposition)을 보여주지만, 잠재 단계 전반에 걸쳐 추론이 어떻게 전개되는지는 설명하지 못한다. 이 간극을 해소하기 위해, 우리는 잠재 토큰 시퀀스를 표현 공간(representation space) 내의 궤적으로 모델링하고, 동역학계(dynamical systems) 분석을 적용하여 추론의 전개 양상을 특성화한다. 단계 간 변화, 방향 일관성, 랴푸노프(Lyapunov) 민감도 등의 정량적 측도와 함께 UMAP 및 DMD/PHATE와 같은 정성적 투영 기법을 활용하여, 잠재 CoT가 두 가지 뚜렷한 안정성 부류를 지닌 구조적이고 비무작위적인 동역학을 나타냄을 보인다. CODI는 안정적인 끌개(stable attractor)로 동작하는 반면, COCONUT은 불안정한 팽창 시스템으로 동작하며, SIM-CoT 지도학습은 기저 동역학을 변경하지 않은 채 두 동작 모두를 수렴시킨다. 이 프레임워크는 잠재 CoT 추론 동역학의 해석 가능성을 향상시키고, 잠재 추론 성능 개선을 위한 실용적인 통찰을 제공한다. 코드와 프로젝트 페이지는 온라인에서 확인할 수 있다.
When LLM agents hand off information to one another, does the message format matter? Two literatures disagree: format-optimization work reports that structured messages cut cost without hurting accuracy, while format-restriction work finds that imposing structure degrades generation -- and neither measures what happens when a message traverses multiple hops, where copy fidelity, not one-shot generation, dominates. We introduce a controlled relay testbed: briefs of twelve programmatically generated atomic facts are re-encoded hop-by-hop in five formats (free NL, precision-instructed NL, JSON, triples, key-value) over six hops, scored by a fixed strong grader against programmatic ground truth, across two relay-capability tiers, a cognitive-load condition, and a paired-fork error injection. We find that message-format effects are tier-dependent. (i) Under faithful-relay instructions a strong relay is nearly lossless -- the documented "telephone-game" collapse does not occur -- and adding per-hop cognitive load leaves format-level fidelity unchanged (within +/-1.8 points) while raising generation cost by 24-53%. (ii) Under a weak (1.5B) relay the across-format spread of six-hop recall grows by a factor of 8.7 (from 2.3 to 20.5 points), driven by two opposing mechanisms -- an encoding toll paid by the rigid formats and drift resistance specific to the fixed-key JSON schema -- that flip the format ranking in transit. (iii) In a paired-fork injection, an injected wrong value, once present, persists to the final hop in 83-100% of chains in every format, closely matching each format's retention of the true value, with no detectable collateral damage to neighboring facts. Structure buys a faithful, error-localizing channel -- not an error-correcting code -- and format choice should follow the weakest relay in the pipeline.
프롬프트 래퍼는 형식만 다른 경우에도 모델 점수를 충분히 변화시켜 리더보드 결론을 뒤집을 수 있다. 본 연구는 토큰 제어 프로토콜 하에서 이 분산을 분석하고, 두 가지 보완적 지표를 제안한다: 래퍼 선택에 의해 유발되는 정확도 범위인 형식 민감도 지수(FSI)와, 이에 대응하는 정답 파싱 가능성 범위인 파싱 가능성 민감도 지수(PSI)이다. 7개의 QA 태스크, 5개의 래퍼 패밀리, 7B에서 72B 파라미터에 이르는 4개의 인스트럭션 튜닝 모델에 걸쳐 생성된 140,000건의 OpenRouter 출력을 분석한 결과, 평균 FSI는 모델 간 30배 이상 차이를 보이며, 이는 대부분 준수 실패(compliance failures)로 설명된다. 고정 효과 회귀 분석을 통해, 태스크·모델·래퍼를 통제한 이후에도 파싱 가능성이 정확도의 강력한 예측 변수임을 확인한다. 본 연구는 래퍼 분산 및 준수 여부 없이 정확도만 보고하는 것은 통계적으로 취약하다고 주장하며, 벤치마킹 및 구조화된 출력 배포 모두에 대한 실용적 권고안을 제시한다.
NIS-2 지침은 지속적이고 감사 가능한 컴플라이언스 증거에 대한 필요성을 높이며, 문서 기반 컴플라이언스에서 기계 판독 가능한 컴플라이언스 아티팩트로의 전환을 촉진한다. OSCAL(Open Security Controls Assessment Language)은 이를 위한 표준으로, 독일 연방정보보안청(BSI)이 Grundschutz++를 통해 이를 적용하고 있다. 그러나 기업들은 여전히 방대한 레거시 IT 보안 개념(IT-SC)을 관리하고 있으며, 검증 없이 마이그레이션하면 구식 자산이 새로운 형식으로 이전될 수 있다. 기존 연구는 주로 새로운 개념의 생성에 초점을 맞추고 있으나, 레거시 IT-SC를 감사 가능한 중간 표현으로 추출하고, 추출된 그래프를 독립적으로 구성된 참조 상태와 결정론적으로 비교하며, 스키마 유효 OSCAL 아티팩트를 내보내는 검증 프레임워크는 부재한 상태다. 본 논문에서는 이러한 공백을 해결하는 ASSERT(Automated Security Concept Structure Extraction and Reverse Topology-checking) 프레임워크를 소개한다. ASSERT는 온톨로지 기반 추출을 통해 레거시 문서를 공식 문서 그래프로 변환하고, 검증된 참조 그래프와의 5개 클래스 그래프 차이 분석을 수행하며, 시스템 설명 및 평가 증거를 위한 스키마 유효 OSCAL 출력으로 내보낸다. BSI의 RecPlast 데이터셋을 활용하여, 참조 온톨로지 노출 수준이 다른 세 가지 구성에서 로컬 오픈 가중치 모델과 상용 모델을 비교한다. 평가 결과, ASSERT는 문서-인프라 불일치를 측정 가능하게 만들지만, 문서화되지 않은 엔티티 발견과 스키마 적용 간의 트레이드오프가 존재함을 보여준다.
테스트 시간 스케일링(TTS)은 대규모 언어 모델(LLM)의 추론 능력을 안정적으로 향상시키지만, 소형 오픈 비전-언어 모델(VLM)에도 동일한 효과가 있는지는 불분명하다. 우리는 이를 다국어 시각적 객관식 벤치마크인 EXAMS-V에서 Qwen2.5-VL-7B-Instruct와 Qwen3.5-4B를 대상으로, 자기 일관성(self-consistency), PRM 기반 빔 서치를 활용한 설명 후 추론(describe-then-reason), 두 가지 사후 선택기를 비교하며 검토한다. 중요한 것은 탐색 또는 검증 메커니즘이 아니라, TTS가 실행되는 조건이다. 가장 큰 영향 요인은 파싱 가능성(parseability)이다. 초기 프롬프트 형식으로 인해 많은 추론 체인이 올바르게 추론하면서도 답변 문자를 확정하지 못하는 경우가 많았는데, 표준 답변 단서와 안내된 수정 단계를 통해 이 문제를 대부분 해소할 수 있었다. 더 큰 디코딩 예산은 나머지 문제를 해결한다. 체인별 토큰 한도를 1k에서 2k로 늘리면 3.7 pp를 회복하는 반면, 체인 수를 늘려 더 많이 샘플링(8개에서 16개)하면 0.15 pp만 추가된다. 체인이 완료될 충분한 공간이 확보되면 정교한 방법들의 기여는 미미해진다. PRM 기반 빔 서치는 두 정책 모두에서 8배 이상의 비용을 들이고도 순수 자기 일관성보다 0.39 pp 낮으며, 학습이 필요 없는 생성 비평기나 학습된 멀티모달 PRM 모두 두 정책에 걸쳐 다수결 투표를 능가하지 못한다. 가장 큰 성능 향상은 오히려 정책 모델 자체에서 비롯된다(+11.4 pp). 최적 구성은 보류된 ImageCLEF 2026 테스트 분할에서 84.1%를 달성하여 Visual MCQ 리더보드에서 1위를 기록했다.
긴 컨텍스트 처리는 대규모 언어 모델(LLM)에서 점점 더 중요해지고 있지만, 단순히 컨텍스트 윈도우를 확장하는 것만으로는 긴 입력의 효과적인 활용을 보장하지 않는다. 입력 길이가 늘어날수록 정확도가 저하되는 경우가 많으며, 이는 모델들이 여전히 질문과 가장 관련성 높은 증거를 식별하고 활용하는 데 어려움을 겪고 있음을 나타낸다. 긴 컨텍스트 활용을 개선하는 유망한 방법으로 테스트 시간 학습(TTT)이 있으며, 이는 테스트 컨텍스트를 인스턴스별 매개변수 적응을 위한 학습 예시로 취급한다. 그러나 전체 긴 컨텍스트에 TTT를 적용하는 것은 비용이 지나치게 크고, 무작위로 샘플링된 스팬에 적응하면 심각한 노이즈가 발생한다. 긴 컨텍스트의 대부분 스팬은 특정 질문과 무관하기 때문에, 이러한 스팬으로 학습하면 기반 모델의 성능이 오히려 저하될 수 있다. 우리의 예비 연구에 따르면 TTT는 학습 스팬의 품질에 매우 민감하다: LongBench-v2에서 무작위로 샘플링된 스팬에 대한 TTT는 성능을 저하시키는 반면, 오라클 스팬에 대한 TTT는 성능을 크게 향상시킨다. 이에 동기를 얻어, 우리는 간단한 방법인 자기 유도 TTT(S-TTT)를 제안한다: 적응 전에 모델이 스스로 학습해야 할 증거 스팬을 식별하고, 표준 언어 모델링 학습 목표를 선택된 스팬에만 적용한다. LongBench-v2와 LongBench-Pro라는 두 가지 도전적인 긴 컨텍스트 추론 벤치마크에서 S-TTT는 Qwen3-4B-Thinking-2507과 Llama-3.1-8B-Instruct 모두의 정확도를 향상시켜 최대 15%의 상대적 개선을 달성한다.
검색-증강 생성(RAG) 평가는 모델의 주장이 검색된 문서에 사실적으로 근거하는지를 확인한다. 그러나 검색된 증거가 올바른 개체에 귀속되는지는 확인하지 않는다. 임상 RAG 응답은 자동화된 모든 검사(환각 없음, 거의 완벽한 충실도, 실제 인용)를 통과하면서도, 쿼리된 약물 X에 대한 증거로 약물 Y의 임상 증거를 제시할 수 있다. 우리는 이를 기만적 그라운딩(DG)이라 명명한다: 모든 주장이 실제 문서에서 출처를 가지지만 잘못된 개체에 대한 것이기 때문에, 충실도·환각·인용 검사에서는 보이지 않는 실패 유형이다. 13개 모델에 걸친 통제된 요인설계 벤치마크를 사용한 결과, 최대 적대적 조건에서 DG 비율이 8~87%에 달함을 확인했다. 의료 및 생물의학 파인튜닝 모델은 최대 86.7%에 이르며, 도메인 특화가 실패를 완화하기보다 오히려 증폭시켰다. 통제된 절제 실험을 통해 메커니즘을 규명했다: 검색된 문서에서 개체별 임상 증거를 제거하면 개체 귀속 실패가 완전히 사라지고 모든 실패가 혼란(confabulation)으로 전환된다. 두 가지 실패 유형은 동일한 트리거에 반응하지만 서로 다른 경로를 취한다. 740개의 약물-질환 쌍에 대한 실제 운용 시스템 측정에서는 전체 DG가 7.8%로 나타났으며, 최근 승인된 약물의 경우 13.6%까지 상승했다. 개체 귀속 검증(인용된 증거가 쿼리된 개체에 적용되는지 확인)은 DG를 정밀도 97.0%, 재현율 98.7%(역확률가중 조정 인간 골드 스탠다드)로 탐지한다. 기존의 어떤 프레임워크도 이를 구현하고 있지 않다.
비정형 데이터로부터의 인과 발견(causal discovery)은 의료, 금융, 교육과 같은 고전문성 도메인에서 어렵지만 충분히 탐구되지 않은 과제이다. 기존 방법들은 일반적으로 대규모 언어 모델(LLM)의 일반 지식을 활용하여 비정형 데이터에서 인과 요인을 식별하고 이를 인과 그래프 구성을 위한 정형 데이터로 주석화한다. 그러나 이 방법들은 두 가지 핵심 과제(CH)에 의해 여전히 제한된다: (CH1) 도메인 특화 지식의 부재로 인해 데이터에 암묵적으로 존재하면서도 인과 발견에 필수적인 잠재 요인(latent factor)의 불충분한 식별; (CH2) 도메인에 기반한 추론의 부재로 인한 불신뢰할 요인 주석화, 이로 인해 오류가 결과적인 인과 그래프에 전파됨. 이러한 과제들을 해결하기 위해, 우리는 세 가지 상호 연결된 구성 요소를 갖춘 고전문성 도메인의 비정형 데이터로부터의 인과 발견을 위한 새로운 도메인 지식 강화 인과 발견 프레임워크(DKCD)를 제안한다: (1) 지식 마이닝(Knowledge Mining): 후속 인과 추론을 지원하기 위해 관찰 가능한 요인들을 기반으로 관련 도메인 지식을 검색한다. (2) 지식 기반 인과 추론(Knowledge-guided Causal Reasoning): 관련 지식을 활용한 추론을 통해 CH1을 해결하기 위한 잠재 인과 요인을 발견하고, CH2를 해결하기 위한 더 정확한 데이터 주석화를 위한 핵심 인과 단서를 생성한다. (3) 인과 구조 발견(Causal Structure Discovery): 더 완전한 요인 집합과 정확한 주석을 기반으로 최종 인과 그래프를 구성한다. 두 개의 도메인 특화 데이터셋에 대한 실험 결과, DKCD가 인과 요인 식별과 인과 그래프 구성 모두에서 유의미한 성능 향상을 달성함을 보인다.