온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.
장기 실행 에이전트(long-horizon agent)는 복잡한 문제 해결에서 인간을 보조하는 데 점점 더 중요한 역할을 하고 있습니다. 그러나 이러한 확장된 상호작용 이력은 지금까지 충분히 탐구되지 않은 실행 안전성(execution-safety) 문제를 유발합니다. 정상적인 상호작용 환경에서도 에이전트는 여러 턴(turn) 이전에 명시된 안전 제약 조건을 위반하는 행동을 실행할 수 있습니다. 본 연구에서는 비가역적인 피해를 초래할 수 있는 이러한 실패 모드를 '턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험(GHOST, Governance Hazard from Overlooked Safety Constraints across Turns)'이라고 명명합니다. 실험 결과 GHOST 사건은 개별적인 예외 사례가 아님을 확인했습니다. 정상적인 상호작용 조건에서도 정확히 발생하는 이 실패 모드는 GPT-5.5에서 11.5%의 발생률을 나타냈습니다. 나아가 본 논문에서는 이론적으로 각 안전한 접두 문맥(safe prefix)에 따른 잔여 조건부 위반 위험이 발산하는(non-summable) 수열로 아래로 유계되는 경우, 실행이 거의 확실하게(almost surely) 위험 영역에 진입함을 증명합니다. 이러한 이론적 통찰을 바탕으로, 과거 의미론적 안전 제약 조건 복원과 실행 전 감사를 결합한 2개 층의 방어 메커니즘인 STAR-Guard를 제안합니다. STAR-Guard는 적용 가능한 안전 제약 조건을 복원하여 안전하지 않은 제안을 줄이는 동시에, 결정론적 감사 층을 통해 잔여 위반 사항이 환경(environment)에 도달하지 못하도록 방지합니다. 이러한 2개 층 설계에 힘입어, GPT-5.5 설정에서의 실험에서 GHOST 사건이 전혀 발생하지 않음을 관찰했습니다.
전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.
하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.
에이전트(agent)는 직접 설계한 실험을 통해 경험적 법칙을 발견하거나, 아무도 최적해를 모르는 휴리스틱을 개선하거나, 기존 최고 기록을 갱신하는 것과 같은 개방형(open-ended) 연구 과제를 점점 더 많이 부여받고 있습니다. 이들의 실행 로그에는 이러한 연구의 모든 단계가 기록되지만, 실행 결과는 여전히 최종 결과 점수로만 평가됩니다. 그 점수만으로는 에이전트의 주장이 실행된 실험으로부터 도출된 것인지 입증할 수 없으며, 기준 정답이 존재하지 않을 수도 있습니다. 본 연구에서는 에이전트가 가설을 수립하고, 이를 검증하며, 증거에 따라 가설을 수정하는 방식인 인식론적 과정(epistemic process)을 평가합니다. 우리는 기준 정답이나 결과 점수를 전혀 참조하지 않고 에이전트의 실행 기록만을 읽는 벤치마크 불가지론적(benchmark-agnostic) 방법론인 OEB(Open-Endedness Bench)를 소개합니다. OEB는 기록을 통합된 인식론적 사건 그래프(epistemic event graph)로 컴파일하며, 이 그래프의 엣지는 에이전트가 진술한 명제와 이를 검증하는 실행된 행동을 연결합니다. 각 노드(node)는 코드를 통해 기록과 대조 검증되는 정확한 발췌문을 포함합니다. 평가에는 한 가지 원칙이 적용됩니다. 글로는 명제를 진술할 수 있지만, 실행된 행동이 반환한 증거만이 이를 뒷받침하거나 반박할 수 있으므로 OEB는 에이전트가 작성한 내용을 실제로 실행한 내용과 대조하여 확인합니다. 이 그래프로부터 OEB는 네 가지 역량 축(증거, 실험, 수정, 보상 해킹 방지)을 에이전트가 건전한 연구 기회를 활용한 비율을 중심으로 점수화하고, 에이전트의 연구 습관을 설명하는 여섯 가지 주관적 페르소나 특성을 프로파일링합니다. 우리는 세 가지 벤치마크(LLM 사후 학습(post-training), 칩 설계, 학습(training) 속도 기록)의 12개 과제에 걸쳐 기존 119개의 실행 기록을 평가했습니다. 기록된 결과와 비교했을 때 에이전트가 주장한 개선 사항 중 실제 개선된 것은 16~29%에 불과했습니다. 10개 과제 중 9개에서 최상의 실행 결과는 최악의 실행 결과보다 후반부에 더 많은 새로운 아이디어를 시도했습니다. 페르소나 측정치는 모델(model)을 따릅니다. 모든 특성에 대해 실행된 모델은 과제보다 실행 간 분산의 더 많은 부분을 설명했습니다(중앙값 기준 43% 대 7%).
타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.
체계적 문헌고찰은 임상 시험 결과를 근거 표(evidence table)로 요약하지만, 임상의는 데이터베이스 쿼리를 통해서만 이러한 표를 질의할 수 있으며, 많은 질문은 약물의 표적 분류나 통합된 평가변수(endpoint)처럼 표에 기록되지 않은 속성과 관련되어 있습니다. 본 논문에서는 두 종류의 질문에 모두 답하고, 모든 답변의 배경이 되는 쿼리, 선정된 임상 시험 및 도출 규칙을 공개하며, 전문가의 교정으로부터 학습하는 언어 모델(LM) 프레임워크인 FD-SCoPE를 소개합니다. 159건의 면역관문억제제(immune checkpoint inhibitor) 임상 시험 기록으로 구성된 종양학 근거 표에서, FD-SCoPE는 140개의 임상의 대상 과제를 모두 완료했습니다(대안 모델 90.7~97.9%). 파생 속성이 필요한 질문의 경우, 89.8%의 양성 예측도(positive predictive value)로 관련 임상 시험 기록의 99.3%를 검색했으며 4가지 대안 접근법보다 우수한 성능을 보였습니다(파생값 F1 77.7% 대비 64.8~73.4%). 기준 답변으로부터 시뮬레이션된 299개 질문에 대한 교정은 이전에 보지 못한 1,201개 질문에 대한 F1 점수를 77.9%에서 84.9%로 향상시켰습니다. 실행 가능한 쿼리, 검증된 프로그램, 전문가 피드백과 결합된 언어 모델은 임상의에게 임상 시험 근거에 대한 검증 가능한 접근성을 제공할 수 있습니다.
인간관계에 대한 조언을 비롯한 개인적 조언은 현재 생성형 AI의 가장 흔한 사용 사례 중 하나로 자리 잡았습니다. 그러나 언어 모델(LM)은 아첨(sycophancy) 현상을 보입니다. 즉, 사람보다 훨씬 더 자주 사용자의 말에 동조하며, 이는 갈등 이후 사람들이 과도한 확신을 갖게 하거나 관계를 개선하려는 의지를 약화시킬 수 있습니다. 아첨을 완화하기 위한 이전 연구들은 정답(ground truth)과 대조해 응답을 검증할 수 있는 사실적 환경에 초점을 맞추어 왔으며, 정답이 존재하지 않는 개인적 조언과 같은 사회적 아첨 완화는 단순한 프롬프트 기법과 제한된 효과를 지닌 사후 학습 방식에 의존해 왔습니다. 본 연구의 핵심 통찰은 사회적 아첨이 부분적으로 언어 모델이 사용자에게 지나치게 집중하여 사용자의 행동으로 영향을 받는 다른 이해관계자의 관점을 고려하지 못하기 때문에 발생한다는 점입니다. 이 문제를 해결하기 위해 저자들은 다원적 선호도 최적화(Pluralistic Preference Optimization, PlurPO)를 제안합니다. 대인 갈등을 설명하는 입력이 주어지면, LM은 관련 이해관계자들을 식별 및 시뮬레이션하고, 모든 이해관계자가 수용할 수 있는 응답을 선호하고 생성하도록 학습됩니다. PlurPO는 정답 레이블 없이 모델이 자체 출력에 대해 생성한 신호만을 사용합니다. PlurPO는 기존 방식과 비교하여 4개의 데이터셋과 4개의 모델 제품군 전반에서 사회적 아첨을 실질적으로 감소시킵니다. 예를 들어 사용자의 행동을 지지해서는 안 되는 유해 의도 진술의 경우, PlurPO는 4개 모델 전반에서 지지율을 평균 89% 줄입니다. 사람의 응답 수준으로 지지율을 맞추는 것이 목표인 일반적인 조언 질문에서는 평균 격차를 17.8%에서 8.0%로 절반 이상 줄입니다. 또한 8B 모델을 위해 PlurPO로 구축된 선호도 데이터셋은 더 큰(32B) 모델의 아첨을 완화하는 데에도 효과적으로 전이됩니다. 본 연구 결과는 관련된 다양한 관점을 시뮬레이션하는 모델 자체의 능력을 활용하여 사회적 아첨을 줄일 수 있음을 시사합니다.
월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.
행동 데이터로부터 알고리즘적 추론에 대한 인지 모델(cognitive model)을 개발하는 것은 인지과학의 핵심 과제이며 기존 방식에 도전 과제를 제기합니다. 인지 모델링에 대한 전통적인 접근법은 해석 가능하고 인간의 전문 지식을 활용할 수 있지만 유연성과 확장성이 부족합니다. 대규모 언어 모델(LLM)을 활용하여 인지 모델을 새롭게 생성(de novo generation)하는 최신 기술들은 확장 가능하고 유연하지만, 인간의 전문 지식이 개입할 여지가 부족하며 주로 알고리즘 복원보다 단순한 과제에 적용되어 왔습니다. 본 연구에서는 인지 알고리즘 발견을 프로그램 개선(program refinement) 문제로 다루는 하이브리드 시스템을 제안합니다. 사람이 생성한 인지 모델을 확률적 프로그램으로 표현한 뒤, 모델과 행동 간의 불일치 식별, 연구자가 지정한 제약 조건 내에서의 코드 수준 수정안 제안, 구조적 충실도 검증의 역할을 맡은 LLM 에이전트 시스템에 제공합니다. 수정 사항은 잠재 변수에 대한 추론(inference) 및 데이터 가능도(likelihood) 계산을 수행하는 확률적 추론 모듈로 전달됩니다. 다양한 인지 알고리즘을 드러내는 문제 해결 패러다임 하에서 인간 행동을 바탕으로 본 파이프라인을 평가합니다. 개선된 모델들은 기존 조상 모델에 비해 모델 적합도를 일관되게 향상시키며, 본 과제에서 유의미한 행동 변동성을 포착하는 소수의 반복적인 혁신 요소를 밝혀냅니다.
검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.
AI 출력이 직무 요구사항을 충족하는지 평가하기 위해 대규모 언어 모델(LLM) 심사관이 점점 더 많이 사용되고 있으나, 응답 순위의 일치가 수용률이나 직업별 총계에 대한 일치까지 보장하지는 않습니다. 본 연구에서는 45,796건의 근로자 평가를 수집한 기존 설문조사를 바탕으로 구축된 감사 도구 모음인 O*NET-BENCH를 소개하고, 4,501건의 테스트 평가를 대상으로 6개 모델 패밀리에 걸친 33개의 기존 심사관 구성을 평가합니다. 25개 구성이 0.60 이상의 동점 고려 쌍 정확도(tie-aware pair accuracy)를 달성했으나, 학습 데이터에 맞춘 응답 전용 TF-IDF 기준선 역시 가장 강력한 심사관에 거의 필적했습니다. 이러한 순서 일치에도 불구하고 심사관들은 응답의 3.0%~97.9%가 수용 가능하다고 추정하여, 직업이 일치하는 근로자들의 61.1%와 큰 차이를 보였습니다. 한 파인튜닝 계열에서는 포인트와이즈(pointwise) 채점에서 번들 퓨샷/리스트와이즈(few-shot/listwise) 프로토콜로 전환할 경우 응답 순위는 향상되었지만, 과업 및 직업 수준에서 근로자 평균과의 일치도는 감소했습니다. 이러한 역전 현상은 사전 지정된 기준에 따른 과업 및 근로자 분리 검증 분할에서도 재현되었습니다. 교차 검증된 보정은 평균 바이어스를 상당 부분 제거하지만, 보정된 점수는 개별 근로자 평가 분산의 최대 8.5%만을 설명합니다. 예측 보조 추정(prediction-assisted estimation)은 조사된 라벨 예산에서 기껏해야 미미한 정밀도 이득만을 가져옵니다. 이러한 결과는 직업적 측정을 수행하는 데 순위 일치만으로는 불충분함을 보여줍니다. 심사관은 점수를 통해 추정하고자 하는 실제 수용률 및 집계치를 기준으로 검증되어야 합니다.
에이전트 간 통신은 대규모 언어 모델 멀티 에이전트 시스템(LLM-MAS)의 핵심이지만, 아직 충분히 연구되지 않은 취약점을 유발합니다. 바로 에이전트 자체를 침해하지 않고 전송 중인 메시지를 조작하는 중간자 에이전트(AiTM) 공격입니다. 이전 연구에서는 정형화된 태스크에서 100%에 근접하는 공격 성공률(ASR)을 보고했습니다. 기존 방어 기법은 추가 추론이 필요하고 정상적인 출력을 차단할 수 있는 의미론적 검증에 의존하거나, 중계자가 합법적으로 TLS를 종료하는 환경에서는 도움이 되지 않는 전송 계층 암호화에 의존합니다. 본 논문에서는 단일 정규화 페이로드를 k개의 논리적 경로로 복제하고 엄격한 과반수의 경로가 동일한 다이제스트를 보고할 때만 메시지를 수락하는 통신 계층 무결성 프리미티브인 MIRROR를 제안합니다. 경로 상의 능동적 공격자는 자신이 수정한 페이로드에 대해 다이제스트를 항상 재계산할 수 있으므로, MIRROR는 비키 해싱(unkeyed hashing)을 사용하여 그 자체로는 아무것도 인증하지 않습니다. 모든 무결성은 정직한 경로가 과반수를 형성한다는 가정에서 비롯됩니다. 다이제스트는 감시 경로(witness route)를 상수 크기로 만들고, 제2 역상 저항성(second-preimage resistance)에 따라 복구된 페이로드를 쿼럼 합의 값에 바인딩하는 역할만 수행합니다. 본 연구는 경로 침해 상한 alpha < 0.5 조건에서 무결성을 보장하며, 경로 수가 아닌 가장 큰 공유 장애 그룹의 크기가 중요한 상관 경로 환경으로 이를 확장합니다. 또한 가용성과 무결성이 동일한 임계값에서 저하됨을 보입니다. 즉, alpha = 0.5 미만에서는 쿼럼 거부 및 메시지 누락 공격자가 정직한 트래픽을 차단할 수 없습니다. 2개 프레임워크와 4개 통신 토폴로지 기반의 MMLU, HumanEval, MBPP 평가와 프로덕션 API를 대상으로 한 MetaGPT 배포 환경에서, MIRROR는 1배의 LLM 토큰 비용으로 임계값 미만에서 ASR을 0%로 줄입니다. 동일한 배포에서 LLM-as-a-judge는 35배의 비용이 소모되며, 토폴로지 탐색 전반에서 정상 출력의 최대 44.2%를 차단합니다.
대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.
에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.
수율과 입체선택성을 동시에 극대화하는 촉매, 리간드, 용매, 시약, 온도, 시간 및 분위기를 선택하는 화학 반응 조건 최적화(chemical reaction-condition optimization)는 대규모 언어 모델(LLM)의 지원이 점차 기대되고 있는 유기 합성 방법론 연구의 핵심적이면서도 고도의 판단을 요하는 하위 작업입니다. 그러나 기존의 화학 벤치마크는 반응 분류 라벨링, 역합성, 또는 SMILES 조작 등을 평가할 뿐, 모델이 실제 조건 스크리닝 표를 읽고 최적의 조합을 선택하도록 요구하지는 않습니다. 본 연구에서는 2025년에 출판된 유기 방법론 논문의 최적화 표에서 추출한 실제 습식 실험(wet-lab) 항목으로 모든 선택지와 선례를 구성한 벤치마크인 RxnOptBench를 소개합니다. 이 벤치마크는 보고된 수율과 거울상이성질체 과잉률(ee), 부분입체이성질체 비율(dr), 위치이성질체 비율(rr)을 결합하여 명시된 대표 효용(headline utility)으로부터 도출된 연속 상대 점수로 채점되며, 문헌 증거의 문맥 내 활용과 파라메트릭 암기를 분리하는 선례 유무(precedents-vs-no-precedents) 쌍 설계를 갖추고 있습니다. 9개의 프론티어 LLM과 3개의 화학 특화 LLM을 평가한 결과, 가장 우수한 모델조차도 상당한 개선의 여지를 남겼습니다. 화학 특화 모델은 다축 선택에서 무작위 기준선(random baseline) 수준으로 떨어졌으나, 오픈 가중치(open-weight) 모델은 독점 프론티어 모델과의 격차를 대부분 좁혔습니다. 본 연구에서는 최종적으로 사람이 검수한 벤치마크 테스트 세트와 평가 코드를 공개합니다.
긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.
코딩 에이전트(coding agent)는 올바르게 보이지만 사용자가 전혀 의도하지 않은 동작을 구현하는 코드를 생성할 수 있다. 이러한 불일치는 에이전트가 불충분하게 명시된 요구사항을 자체적인 가정을 통해 은밀하게 해결할 때 발생할 수 있다. 후속 개발이 이러한 가정을 기반으로 진행됨에 따라, 결과적인 동작을 수정하는 데 드는 비용은 점점 더 커질 수 있다. 조기 명확화(clarification)는 이러한 불일치를 예방하는 데 도움이 될 수 있지만, 불필요한 질문은 개발자를 방해하고 개발 속도를 늦출 수 있다. 기존 방법들은 불필요한 질문을 피하면서 핵심적인 명확화 질문을 식별하는 데 어려움을 겪는다. 따라서 본 논문에서는 광범위한 질문 탐색과 의미론적 및 실행 기반 질문 검증을 결합한 학습(training) 불필요 방식의 CONTRA를 제안한다. CONTRA는 먼저 후보 질문들을 생성하고, 요구된 동작과 무관하거나 요구사항에 의해 이미 해결된 질문들을 필터링한다. 남아 있는 각 질문에 대해, 타당한 두 가지 답변을 조건으로 프로그램을 생성하고 공유 입력에 대해 안정적인 동작 차이가 나타나는지 확인한다. 그런 다음 상호작용 기록을 활용하여 검증된 질문 중 선택하거나 질문을 중단한다. ClarifyCodeBench에 대한 실험 결과, CONTRA는 4개의 모든 코딩 에이전트에서 가장 높은 F1 점수를 달성했으며, 가장 우수한 기준선(baseline)의 매크로 평균 F1을 13.88%포인트 상회했다. 동일한 대규모 언어 모델(LLM) 및 평가 프로토콜에서 CONTRA는 코딩 하네스인 Claude Code 및 OpenHands보다 더 높은 명확화 재현율(recall)과 F1을 달성했다. 실제 사용을 지원하기 위해, 우리는 선택적 명확화를 일상적인 개발에 통합하는 Claude Code 플러그인으로 CONTRA를 구현하기도 했다.
확률 기반 보상을 활용한 검증기 없는(verifier-free) 강화학습(RL)은 외부 검증기를 사용할 수 없는 일반 추론 태스크에서 대규모 언어 모델(LLM)을 학습(training)하기 위한 유망한 방식을 제공합니다. 그러나 특히 긴 호흡의 추론(long-horizon reasoning)에서 이러한 보상의 신뢰성은 아직 충분히 연구되지 않았습니다. 본 연구는 확률 보상에서 길이에 의존하여 발생하는 실패 모드를 규명하고, 이를 사후 집중 현상(Posterior Concentration Phenomenon, PCP)이라 명명합니다. 우리는 추론 과정(reasoning trace)이 길어짐에 따라 추론 과정을 조건부로 하는 참조 답변의 확률이 분산이 낮은 구간으로 축소되는 경우가 빈번함을 보입니다. 이 현상은 거의 구별할 수 없는 보상으로 이어져, GRPO 기반 설정에서 확률 기반 정책 최적화(policy optimization)를 불안정하고 비효율적으로 만듭니다. 이에 착안하여, 우리는 더 나은 최적화 안정성과 토큰(token) 효율성을 위해 PCP를 명시적으로 고려하는 검증기 없는 강화학습 프레임워크인 집중 인식 사후 보상 기반 강화학습(Reinforcement Learning with Concentration-aware Posterior Rewards, RLCPR)을 제안합니다. 이 프레임워크는 두 가지 구성 요소를 가집니다. 첫째는 생성 전에 집중이 발생하기 쉬운 롤아웃을 줄이는 불확실성 인식 데이터 샘플링이며, 둘째는 사후 보상이 붕괴될 때 불필요하게 긴 추론 과정에 페널티를 부여하는 집중 인식 정규화(regularization)입니다. 광범위한 실험 결과, RLCPR은 더 높은 토큰 효율성과 더불어 일반 영역 및 수학적 추론 과제를 포함한 7개 벤치마크(benchmark) 중 6개에서 기존 최고 수준의 검증기 없는 강화학습 기준선(baseline) 대비 최대 4.0% 우수한 성능을 보였습니다.
학습자 시뮬레이션(learner simulation)은 특정 학습자가 새로운 과제에서 어떻게 행동하는지 재현하는 것을 목표로 합니다. 대규모 언어 모델(LLM)이 점차 세분화된 학습 행동을 생성할 수 있게 되었지만, 기존 접근 방식은 학습자를 재구성하기 위해 계속 늘어나는 상호작용 이력을 반복적으로 처리해야 하는 경우가 많습니다. 이는 추가적인 컨텍스트 및 추론(inference) 비용을 유발하며, 획득한 학습자 맞춤형 시뮬레이션 기능을 서로 다른 LLM 간에 재사용하기 어렵게 만듭니다. 이에 따라 본 논문에서는 과거 상호작용에서 획득한 시뮬레이션 역량을 지속 가능하고 재사용 가능한 시뮬레이션 스킬(Simulation Skill)로 외재화하는 Learner2Skill을 제안합니다. 이 스킬은 학습자의 현재 학습 상태와 반복적인 응답 패턴을 포착하고, 새로운 실제 상호작용이 유입됨에 따라 발전하며, 학습자를 처음부터 다시 구성하지 않고도 경량 실행기 보정(executor calibration)을 통해 새로운 LLM에 적응할 수 있습니다. 실험 결과에 따르면 Learner2Skill은 전반적인 토큰(token) 비용을 줄이면서도 세분화된 학습자 행동을 더 충실하게 재현하며, 구축된 동일한 스킬을 서로 다른 LLM 실행기 전반에서 효과적으로 재사용할 수 있음을 보여줍니다.