웹 도메인 신뢰도 평가는 허위 정보 대응에 필수적이다. 이는 도메인 유형, 투명성, 전반적인 평판 등의 요소를 검토하여 수행된다. 그러나 새롭게 등장하는 웹 도메인은 아직 평판이 없어 신뢰도 평가가 어렵다. 전문 팩트체커들은 허위 정보, 바이어스, 또는 프로파간다의 존재 여부를 포함한 기사 내용을 분석하여 도메인 신뢰도를 평가한다. 그러나 대규모 언어 모델(LLM)이 가능하게 한 대규모 콘텐츠 생성의 용이성은 새로운 콘텐츠 생성을 가속화하여 수동 평가를 불충분하게 만들었으며, 도메인 신뢰도 평가를 위한 자동화된 접근 방식의 필요성을 부각시킨다. 본 논문에서는 전문가 평가에 기반한 도메인 신뢰도 평가를 위한 시간적 프레임워크인 도메인 신뢰도 평가 프레임워크(DCEF, Domain Credibility Evaluation Framework)를 소개한다. DCEF는 소스 도메인 자체에 대한 사전 지식 없이 전문 팩트체커의 워크플로우를 따라 게시된 기사로부터 웹 도메인의 신뢰도를 평가할 수 있는지 조사하는 것을 가능하게 한다.
두피 뇌전도(EEG)에서 발작간 뇌전증양 방전의 자동 검출은 임상적으로 중요하지만, 최근의 고성능 딥러닝 모델들은 정확도를 위해 해석 가능성을 희생하는 경우가 많다. 우리는 EEG-SpikeAgent를 소개한다. 이는 대규모 언어 모델(LLM) 에이전트 시스템을 활용하여 두피 EEG에서 스파이크 검출을 위한 신호 처리 특징을 생성하는 폐루프 프로그램 합성 프레임워크이다. 이 시스템은 반복적으로 한 번에 하나의 결정론적 EEG 특징 모듈을 제안하고, 생성된 코드를 EEG에서 실행하여 표 형식의 특징을 생성하며, 표 형식 분류기를 통해 성능을 평가하고, 실행 수준 메트릭을 요약한 후, 정교화를 위해 구조화된 진단 결과를 모델에 피드백한다. 반복 과정에서 EEG-SpikeAgent는 모델 성능에 기반한 후보 신호 특징과 결정 규칙을 제안하고 정교화한다. 우리는 EEG-SpikeAgent를 VEPISET에서 평가하였다. 이는 2,516개의 방전 포함 에포크와 22,933개의 비방전 에포크로 구성된 4초 에포크의 공개 29채널 데이터셋이다. 그래디언트 부스팅 트리 분류기를 사용한 5겹 교차 검증에서, 에이전트가 생성한 특징은 기본 운용 지점 기준으로 수신자 조작 특성 곡선 아래 면적 0.935, 균형 정확도 0.699, F1 점수 0.557, 민감도 0.401, 특이도 0.996을 달성하였다. 민감도 0.80의 운용 지점에서 평균 정밀도는 0.470, 평균 특이도는 0.900이었다. 아티팩트 인식 특징 생성은 스파이크만을 대상으로 한 특징 탐색에 비해 균형 정확도와 F1 점수를 향상시켰다. 이러한 결과는 LLM 기반 프로그램 합성이 임상 및 방법론적 검토를 위해 감사 가능하고 검사 가능한 코드 기반 방식으로 EEG 특징 공학을 자동화할 수 있음을 시사한다.
우리는 형식적으로 검증된 대수 코퍼스에서 대규모 언어 모델(LLM)의 구조적 라우팅 실패에 관한 실증 연구를 제시한다. 해당 과제는 Lean 4의 FiberRing 형식화에서 추출한 소형 수학적 객체에 대해 고정된 닫힌 템플릿 집합에서 올바른 증명 메커니즘 레이블을 선택하는 것으로, 각 항목은 Lean 검증 아티팩트에 고정되며 해당 증명서 패밀리에서 레이블이 부여된다. 핵심 발견은 메커니즘 수준의 라우팅 상한선이다: 블라인드 조건에서 gpt-oss-120b는 22개 FiberRing 항목에 대해 80.3%의 템플릿 정확도를 달성하고(n=66; temperature=0, seed=0), Llama 3.3 70B는 68.2%에 도달한다. 메커니즘 포함 Lean 판정/증인 단서(조건 A2)를 노출하면 정확도가 각각 90.9%와 81.8%로 상승하며 — 이 격차(+10.6 및 +13.6 pp)를 단서 유도 라우팅 향상이라 명명한다. 주된 실패는 CRT-링 동치 오라우팅으로: gpt-oss-120b는 블라인드 조건에서 12개 CRT 항목 중 7개(58.3%)를 오라우팅하지만, A2 조건에서는 0건이다. Llama에서 나타나는 교차 모델 분리는 주목할 만하다: 두 조건 모두에서 판정 정확도가 동일(95.5%)한 반면 템플릿 정확도는 13.6 pp 향상되어 — 진리 추론(inference)과 증명 메커니즘 분류(classification)가 분리 가능한 능력임을 확인한다. 교차 코퍼스 확장(세트 B; 6개 POM/CollisionKernel 항목, 72회 평가)은 소규모 교차 모듈 검증을 제공한다: CRT 세분성 압축이 다른 레이블과 함께 재등장하고, 역방향 교차 모델 분리가 나타난다. 이러한 발견은 라우터 가설(Cazares 2026)을 형식적 대수 구조로 확장한다. 전체 파이프라인, 매니페스트, 결과는 https://github.com/bytepro-ai/fiber-routing-eval에서 확인할 수 있다.
신경망에서 개념이 어떻게 표현되는가는 기계학습의 근본적인 질문이다. 지배적인 관점은 개념 표현을 정적인 기하학적 객체로 다룬다. 그러나 개념은 맥락 속에서 등장하며, 맥락은 개념을 변환한다. 우리는 신경 집단 기하학(neural population geometry)으로부터 착안하여 개념 표현을 점군 다양체(point-cloud manifold)로, 맥락적 변환을 벡터 필드(vector field)로 형식화하고, 이 프레임워크를 대규모 언어 모델(LLM)에 구체화한다. 다양한 규모의 6개 모델 패밀리에 걸쳐, 맥락이 각 개념을 서로 다르게 이동시킨다는 것을 발견한다. 이러한 변위(displacement)의 분산은 의미론적으로 조직되어 있으며, 어휘적 구체성(lexical concreteness)과 밀도(density)와 상관관계를 보인다. 중요하게도, 변환되는 개념과 이 분산 구조 모두 모델 간에 공유된다. 즉, 한 모델에서 이전된 변위 구조는 다른 모델의 홀드아웃 변위를 우연 수준보다 유의미하게 높게 예측한다. 종합하면, 이러한 발견들은 모델들이 개념이 표현되는 방식뿐 아니라, 더 중요하게는 맥락이 개념을 변환하는 방식에서도 공통 기하학을 공유하며, 이는 선행 연구에서 인식된 것보다 더 풍부한 구조를 지님을 보여준다.
"호랑이는 줄무늬가 있다"와 "자동차에는 라디오가 있다"와 같은 일반적 진술은 대체로 사실인 정보를 전달한다. 그러나 첫 번째 진술은 원칙적으로 참인 반면, 두 번째 진술은 통계적으로만 참이다. 사람들은 이 원칙적 참과 통계적 참의 구분에 매우 민감하다. 어떤 것이 범주 구성원이기 때문에 참인 경우와 단순한 통계적 규칙성 때문에 참인 경우를 구별하는 이 능력은 인간 개념 체계의 일반적 속성이며, 그 자체로는 학습될 수 없다는 주장이 있어 왔다. 본 연구에서는 원칙적 속성과 통계적 속성 간의 구분이 언어 자체로부터 학습될 수 있는지를 탐구한다. 만약 그렇다면, 언어 경험이 핵심 개념적 구분을 부트스트랩할 수 있으며 언어로부터 직접 정교한 인과 모델을 학습하는 것이 가능하다는 가능성이 제기된다. 우리는 언어 모델들이 모두 통계적 유병률(prevalence)에 민감하지만, 유병률을 통제한 상태에서 원칙적-통계적 구분을 표상하는 데 어려움을 겪는다는 것을 발견했다. GPT-4에 이르러서야 비로소 이 구분에 성공한다.
대규모 언어 모델 기반 에이전트의 추천 시스템 통합이 빠르게 진행되면서, 정적인 랭킹 기반 파이프라인에서 추론, 계획, 행동이 가능한 자율적·대화형 시스템으로의 전환이 이루어지고 있다. 본 서베이는 자율성 수준에 기반한 통합 분류 체계와 에이전틱 추천 시스템의 세 가지 핵심 패러다임—에이전트 보조 추천(agent-assisted recommendation), 추천자로서의 에이전트(agent-as-recommender), 사용자 시뮬레이터로서의 에이전트(agent-as-user-simulator)—을 제시함으로써 이 신흥 분야에 대한 포괄적인 개요를 제공한다. 자율성 프레임워크는 기존 방법들을 능동성, 맥락 인식, 상호작용 유연성, 적응성의 증가하는 역량에 따라 체계화한다. 이 프레임워크를 바탕으로, 각 패러다임이 서로 다른 에이전틱 아키텍처를 어떻게 채택하는지, 그리고 에이전트가 프로필, 메모리, 도구 사용, 워크플로우, 최적화 메커니즘 등 핵심 구성 요소를 어떻게 강화하는지를 분석한다. 또한 에이전틱 추천에 대한 평가 방법론을 검토하며, 자동화된 메트릭, LLM 기반 평가, 시뮬레이션 기반 평가를 다루고, 추론 품질·사용자 경험·시스템 행동 포착에 있어서의 한계를 논의한다. 기존 평가 프로토콜을 넘어, 궤적 수준 평가(trajectory-level assessment), 에이전트 기여도 분석, 사용자 시뮬레이션 보정 등 에이전틱 추천 시스템 평가에서 미해결된 문제들을 추가로 논의한다. 마지막으로, 평생 사용자 모델링, 맥락적 추상화, 멀티모달 정렬(alignment), 제어 가능성, 신뢰성, 프라이버시, 확장성, 효율성에 관한 미결 과제들을 제시한다. 이러한 분석들은 에이전틱 추천 시스템의 현재 발전 상황을 이해하기 위한 통합적 토대를 마련하고, 보다 자율적이고 신뢰할 수 있으며 인간과 정렬된 추천 에이전트 개발을 위한 유망한 기회를 부각시킨다.
대규모 언어 모델(LLM)은 질의응답(QA) 시스템에 점점 더 많이 배포되고 있으나, 신뢰할 수 있는 신뢰도 추정 없이 환각(hallucination)되거나 정렬(alignment)되지 않은 응답을 생성할 수 있다. 불확실성 정량화(UQ)는 선택적 답변의 자연스러운 기반을 제공하는데, 이는 시스템이 예측이 신뢰 가능하다고 판단될 때만 답변하고 그렇지 않으면 답변을 거부하는 방식이다. 그러나 LLM을 위한 기존 불확실성 점수는 흔히 휴리스틱에 의존한다. 이러한 점수에 대해 선택된 임계값만으로는 수락된 답변의 오류율에 대한 통계적 보장을 제공하지 않는다. 본 논문에서는 임의의 불확실성 점수를 위험 제어 선택적 답변 규칙으로 변환하는 신뢰 구간 기반 캘리브레이션 프레임워크인 CIC를 제안한다. 보류된 캘리브레이션 세트가 주어지면, CIC는 응용 프로그램별 정렬 기준을 사용하여 각 생성된 응답을 평가하고 불확실성 점수 및 이진 오류 레이블과 연결한다. 각 후보 불확실성 임계값에 대해 CIC는 수락 조건부 오류율을 추정하고 Hoeffding 방식 또는 Clopper-Pearson 신뢰 구간을 사용하여 높은 확률의 상한 신뢰 경계를 구성한다. 그런 다음 CIC는 상한이 사용자 지정 위험 수준 $α$ 아래에 있는 가장 큰 임계값을 선택함으로써, 유한 표본 신뢰성 제약 하에서 답변율을 최대화한다. 교환 가능성 하에서 CIC는 확률 최소 $1-δ$로, 선택된 임계값이 null이 아닌 경우 수락된 답변의 오류율을 수준 $α$에서 제어함을 보장한다. 우리는 CIC를 7개의 LLM과 여러 불확실성 추정기에 걸쳐 폐쇄형 및 개방형 QA 벤치마크 모두에서 평가한다. 실험 결과, CIC는 강력한 답변 효율성을 유지하면서 유효한 위험 제어를 일관되게 달성하여, 신뢰성이 중요한 QA 워크플로에서 LLM을 배포하기 위한 실용적이고 통계적으로 근거 있는 메커니즘을 제공함을 보인다.
언어 모델 평가에서 지배적인 관행은 모델별로 단일 정확도 수치를 보고하고 높은 쪽을 더 낫다고 선언하는 것인데, 이때 그 격차가 샘플링 노이즈일 가능성을 검정하지 않는다. 수천 개 항목 규모의 벤치마크에서, 그리고 모델이 실행마다 보고된 모델 간 격차보다 더 크게 달라질 수 있는 온도 샘플링 조건에서, 이 관행은 헤드라인 주장에 대한 신뢰도를 일상적으로 과장한다. 이를 바로잡을 통계적 도구들—신뢰 구간, 대응 유의성 검정, 검정력 분석, 군집 표준오차, 다중 비교 보정—은 잘 확립되어 있지만, 평가가 실제로 취하는 형태인 항목별 결과 테이블에 맞게 패키징된 표준적이고 pip 설치 가능한 도구는 존재하지 않는다. 우리는 항목별 결과 테이블을 단 하나의 함수 호출로 출판 가능한 주장—예: "모델 A가 모델 B를 이김, Δ=3.1점, 95% CI [1.2, 5.0], 대응 순열 p=0.002, n=1,319"—으로 변환하는 순수 파이썬 라이브러리(numpy/scipy/pandas만 사용) evalci를 제시한다. 이 라이브러리는 lm-evaluation-harness 및 HELM 출력을 위한 어댑터를 포함하며, 모든 루틴은 자기 자신에 대해서만 검증하는 것이 아니라 독립적인 참조 구현(statsmodels 또는 브루트포스 정확 열거)에 대해 검증된다. 사례 연구로서, 우리는 아홉 언어 모델의 MMLU 정확도에 대한 공개 비교를 재분석하여, 해당 순위가 내포하는 36개의 쌍별 비교를 보정한 후 인접한 리더보드 순위 격차 8개 중 3개가 통계적으로 유의하지 않음을 발견한다. evalci는 https://pypi.org/project/evalci/ 에서 이용 가능하다(소스: https://github.com/Shreyaskc/evalci, DOI: https://doi.org/10.5281/zenodo.21201815).
확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬 대안을 제공한다. 그러나 사후 학습을 통해 강력한 추론 능력을 이끌어내는 것은 여전히 어렵다. 지도 미세조정은 오프-정책 방식이라 노출 바이어스를 겪으며, 강화학습은 시퀀스 수준의 희소한 보상만을 제공하고 다루기 쉬운 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생과 교사로 동시에 활용하여 밀도 높고 토큰 수준의 온-정책 지도 신호를 제공하는 유망한 대안이지만, 그 효과는 교사에게 특권 정보(PI)—일반적으로 추론 시에는 사용할 수 없는 인스턴스별 정답 레퍼런스—를 부여하는 것에 달려 있다. 이로 인해 학생은 개선 효과가 거의 없는 약한 PI-프리 합의 정책을 증류하게 되어 dLLM 추론에 별다른 향상을 가져오지 못한다. 우리는 dOPSD를 제안한다. 이 방법은 교사의 특권을 외부 레이블이 아닌 학생 자신의 디노이징 경로에서 직접 도출하며, 마스킹된 위치를 동일한 경로의 이후 더 많이 디코딩된 단계를 활용하여 평가함으로써 교사의 이점이 모델 자체의 디코딩 과정에서 창출되도록 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학 추론과 도메인 외 코드 생성 모두를 개선하며, 지도 기반 및 온-정책 베이스라인을 능가한다.
멀티모달 기반 모델과 에이전트 시스템의 최근 발전은 GUI 에이전트를 단일 플랫폼 작업 실행에서 크로스 플랫폼 상호작용으로 나아가게 했다. 그러나 멀티 플랫폼 GUI 에이전트를 구축하는 것은 여전히 어렵다. 한편으로는 고품질의 실행 가능한 크로스 플랫폼 상호작용 궤적이 여전히 부족하며, 기존 데이터는 플랫폼 커버리지가 제한되는 문제를 겪는 경우가 많다. 다른 한편으로는 플랫폼마다 서로 다른 상호작용 관습을 가지고 있어, 공동 또는 지속적 학습 시 행동 패턴 혼합, 플랫폼별 성능 저하, 그리고 치명적 망각(catastrophic forgetting)이 발생하기 쉽다. 이러한 문제를 해결하기 위해, 우리는 고품질 크로스 플랫폼 GUI 상호작용 데이터셋인 Uni-GUI를 구축하고, GUI 에이전트의 지속적 학습에 멀티 교사 온-정책 지식 증류(distillation)를 통합한 최초의 방법인 UI-MOPD를 제안한다. UI-MOPD는 현재 환경에 따라 플랫폼별 교사를 동적으로 선택하고, 플랫폼 조건부 증류를 통해 플랫폼별 행동 사전(behavioral prior)을 공유 정책에 전달함으로써, 기존 플랫폼의 역량을 보존하면서 새로운 플랫폼에 적응할 수 있게 한다. OSWorld와 MobileWorld에서의 실험 결과, UI-MOPD는 각각 38.2%와 12.0%의 태스크 성공률을 달성하여, 크로스 플랫폼 역량 유지와 새로운 플랫폼 적응 간의 균형을 맞추는 데 있어 그 효과를 입증했다. 프로젝트 페이지: https://elispectre.github.io/UI-MOPD/.
장기 메모리는 AI 에이전트의 구조적 약점으로 남아 있다. 지배적인 접근 방식인 검색-증강 생성(RAG)은 임베딩 기반 유사도 검색에 의존하는데, 이는 구조적으로 불투명하고 감사하기 어려우며 벡터 표현의 이론적 한계에 묶여 있다. 우리는 에이전트가 구조화된 관계형 데이터베이스를 대상으로 검색을 주도하는 에이전트 메모리 아키텍처인 메모리 조율 시맨틱 시스템(MOSS)을 제안한다. MOSS는 모델 비종속적, 스토리지 비종속적, API 비종속적으로 설계되어 임의의 관계형 엔진에서 실행되고, 임의의 대규모 언어 모델(LLM) 제공자(또는 결정론적 비-LLM 프로세스)에 연결되며, 로컬 또는 클라우드의 임의의 인프라에 배포된다. 검색 실행은 기호적이고 재현 가능하며(쿼리가 수립된 후에는 LLM이 검색 루프에 참여하지 않음), 인덱싱부터 답변 생성까지 시스템의 모든 단계가 기록되고 검사 가능하여 MOSS는 구조적으로 감사 가능하다. 외부 온톨로지를 강제하는 대신 MOSS는 코퍼스 자체로부터 개념적 어휘를 도출한다. 우리는 에이전트 메모리 문헌에서 유례없는 종단적 배포 사례를 보고한다. 개별 연구자의 작업 코퍼스를 대상으로 1년간 지속적으로 프로덕션 운영한 사례로, 2024년 10월까지 소급 인덱싱된 약 4,400만 토큰 규모의 대화형 코퍼스—110,183개 세그먼트, 163,494개의 카탈로그화된 문서, 569개의 귀납적으로 도출된 개념, 322,662개의 개념 어노테이션, 그리고 약 500만 개의 관계로 구성된 11개의 메타데이터 그래프—를 4세대에 걸친 인프라에서 운영하였다. 현재 사례는 단일 연구자를 대상으로 하지만, 이 아키텍처는 특정 개인에 국한되지 않으며 팀, 기관, 또는 시간이 지남에 따라 지식을 축적하는 모든 주체에 적용 가능하다. 우리는 감사 가능하고 주권적이며 구조적으로 무한한 메모리가 세션이 아닌 수년에 걸쳐 개인이나 조직과 함께하도록 설계된 AI 에이전트의 전제 조건임을 주장한다.
온라인 소셜 미디어 게시물은 초기 우울증 선별을 위한 확장 가능한 신호를 제공하며, 최근 연구들은 주로 위험 게시물 선택, 증상 그라운딩, 임상 정보 기반 특징 구성을 통해 사전 분류(pre-classification) 근거를 개선한다. 그러나 이러한 선별 단계 설계는 최종 결정을 단일 탐지기에 맡기는 경우가 많아, 선별 후 사용자들이 이질적으로 우울 위험을 표현하는 방식을 간과한다. 단일 분류기는 이질적인 사용자 전반에 걸쳐 평균화해야 하므로 국소화된 근거를 희석시키고 오분류를 유발할 수 있으며, 특히 자기 노출을 하지 않는 사용자의 경우 더욱 그러하다. 이 문제를 해결하기 위해 우리는 공유된 대규모 언어 모델(LLM) 백본 위에 구축된 약한 사전 정보 기반 밀집 전문가 혼합(MoE) 프레임워크인 WPG-MoE를 제안한다. WPG-MoE는 사용자 수준의 약한 의미론적 사전 정보를 도출하여 서로 다른 근거 레이아웃에 매칭된 전문가에게 사용자를 소프트 라우팅한다. 우리는 이 과정을 특권 정보를 활용한 학습(LUPI, Learning Using Privileged Information)으로 공식화한다: LLM이 추출한 풍부한 구조화된 근거가 학습 시 라우팅을 안내하는 반면, 추론 시에는 PHQ-9(Patient Health Questionnaire-9) 템플릿 선별과 배포 가능한 백본만 유지된다. 중국어 및 영어 데이터셋에 대한 실험에서 WPG-MoE는 해석 가능한 라우팅 동작으로 강력한 기준 모델들을 능가함을 보인다.
동반 논문에서는 트랜스포머의 피드포워드 층이 명시적인 퍼지 집합 연산—교집합, 집합 차, 자기망각 시퀀스 양화사—으로 재구성될 수 있으며, 그 결과 은닉 유닛이 언어 모델 품질 손실 없이 명명된 논리 연산자로 읽힐 수 있음을 보였다. 이는 트랜스포머의 나머지 절반을 불투명한 채로 남겨두었다. 본 연구에서는 동일한 아이디어를 어텐션에 적용하고 두 요소를 하나의 모델로 결합한다. 메커니즘은 단순하다: 헤드의 값을 시그모이드에 통과시킴으로써 각 값 채널이 특징이 토큰에서 성립하는지 여부를 판단하는 가독 가능한 검출기가 된다. 이는 파라미터를 추가하지 않으며 표준 헤드를 그 외에는 변경하지 않는다. 불리언 변형은 더 나아가 값을 명시적인 토큰 내 교집합과 부정 가능한 집합 차로 재구성한다. 두 설계 모두에서 출력 투영은 어휘에 묶이지 않고 자유롭게 유지되는데, 이것이 핵심 결정이다: 헤드가 검출하는 것을 제한하면서 쓰는 것은 제약하지 않으면 선택적 검출기가 생성되지만, 쓰기를 제약하면 그렇지 않다. 경계가 설정된 값은 두 가지 선택성 압력에 의해 가독 가능한 검출기로 형성되는데—하나는 희소 발화를 위한 것이고 다른 하나는 경계에서의 결정적 발화를 위한 것—어떤 설계가 이를 필요로 하는지는 보편적이지 않다. 1억 2500만 파라미터 규모의 다섯 가지 특화된 어텐션 설계에 걸쳐, 44~62%의 값 채널이 명확하고 문맥적으로 선택적인 검출기가 되며, 가독성은 구두점에서만 결정화되는 것이 아니라 깊이에 따라 향상된다. 언어 모델 품질은 기존 기준선과 동등하다. 마지막으로, 불리언 어텐션을 가독 가능한 피드포워드 층과 결합하여 벤치마크 동등 수준에서 엔드투엔드 구성적 가독성 언어 모델을 학습시킨다: 이 모델의 피드포워드 유닛은 전체에 걸쳐 명명된 집합 및 양화사 연산으로 구성되며, 모델이 생성한 토큰을 가져와 이를 생성하는 데 기여한 명명된 유닛들을 읽을 수 있다.
대규모 언어 모델(LLM)을 활용한 AI 과학자 에이전트 구축이 최근 주목받고 있다. 과학적 발견은 근본적으로 관측에서 인과 관계를 밝혀내는 과정에 의존하므로, 인과적 사고 능력—즉 인과관계와 상관관계를 구분하고 숨겨진 바이어스를 인식하는 능력—은 LLM 에이전트에게 필수적이다. AI 과학자를 위한 벤치마크가 다수 존재하지만, 실제 과학적 발견에서 광범위하게 나타나는 선택 바이어스(selection bias), 측정 오차(measurement error), 숨겨진 교란 변수(hidden confounders)로 인한 도전을 명시적으로 포함한 벤치마크는 없다. 이를 위해 우리는 인터랙티브 게임을 통해 LLM 에이전트의 인과적 사고 능력을 평가하는 벤치마크인 CausalGame을 제시한다. CausalGame은 LLM 에이전트가 실험 프로토콜을 능동적으로 설계하고, 관측 데이터를 수집하며, 설명 보고서와 함께 최종 해답을 도출하도록 요구한다. 현실적인 과학적 발견의 도전을 모사하기 위해, 선택 바이어스, 측정 오차, 숨겨진 교란 변수를 포함하는 14가지 시나리오를 설계하였다. 30개의 LLM 에이전트 전체에 걸쳐 신뢰할 수 있는 인과적 사고를 보인 모델은 없었다. 최고 성능 모델도 분석적 최적값인 78~85% 대비 생존율이 68.0%에 그쳤으며, 인과 추론 평가 기준에서 점수를 획득한 세션은 5~7%에 불과하였다. CausalGame은 AI 과학자 에이전트의 인과적 사고를 평가하기 위한 확장 가능하고 통제된 테스트베드를 제공한다.
시맨틱 캐싱(semantic caching)은 의미적으로 유사한 질의에 캐시된 답변을 제공함으로써 검색-증강 생성(RAG)의 지연 시간과 비용을 줄이지만, 기존 방법 대부분은 오픈 웹 증거의 시간에 따라 변하는 신선도(freshness)를 모델링하지 않는다. 우리는 FreshCache를 제안한다. FreshCache는 캐시 재사용을 리스크 제약 시간적 추론 문제로 다루는 3계층 시맨틱 캐시로, 캐시 히트를 승인하기 전에 학습된 MLP로 강화된 피팅된 지수 감쇠 모델을 사용하여 캐시된 결과가 오래되었을(stale) 확률을 추정하고, 해당 확률이 답변(ε = 0.10), URL 목록(ε = 0.20), 페이지 콘텐츠(ε = 0.35)에 대한 계층별 오류 예산 이하일 때만 재사용을 승인한다. 이를 통해 시스템은 오래된 히트와 전체 파이프라인 실행 사이의 이진 선택을 강제하는 대신, 항목이 오래될수록 점진적으로 성능이 저하되도록 한다. 우리는 FreshCache-Bench를 소개한다. 이는 기준선 크롤 후 1시간, 12시간, 24시간, 7일 시점의 실제 웹 스냅샷에서 추출한 실제 정답 오래됨 레이블을 갖는 다섯 가지 신선도 클래스에 걸친 8,072개의 기본 질의로 구성되며, 패러프레이즈 생성을 통해 31,201개의 질의로 확장된 벤치마크다. 24시간 평가 윈도우에서 FreshCache_MLP는 해시 기반 오래됨 오류 0.1%로 97%의 검색 API 절감을 달성하며, 확인된 변경 쌍 396개에 대한 대규모 언어 모델(LLM) 심사 평가에서는 감지된 콘텐츠 변경 중 실제로 답변 정확도에 영향을 미치는 비율이 34.3%에 불과하여, 실제 답변 영향 오래됨 오류는 약 0.034%로 나타났다. 규칙 기반 FreshCache는 시간적 홀드아웃 보정 하에 오래됨 오류 3.3%로 98%의 검색 절감을 달성하여, SemanticTTL(오래됨 14.9%, 절감 72%), vCache(오래됨 7.2%, 절감 47%), SCALM(오래됨 5.2%, 절감 96%)을 능가한다. 절제 연구(ablation)에 따르면 시간적 리스크 게이트는 유사도만을 이용한 재사용 대비 오래됨 오류를 11.6 포인트 감소시키며, 학습된 MLP는 규칙 기반 모델 대비 오래됨 오류를 추가로 3.2 포인트 줄인다.
대규모 언어 모델(LLM) 에이전트는 부분 관측 가능하고 장기간에 걸친 환경에서 동작하며, 지도 신호를 확보하는 것이 주요 병목으로 남아 있다. 우리는 기존 사후 학습 방법에서 간과된 지도 신호 원천, 즉 에이전트 롤아웃에 내재된 의도치 않았지만 성공적인 목표를 활용함으로써 이 문제를 해결한다. 구체적으로, 보조 LLM이 완료된 각 궤적을 검토하여 에이전트가 실제로 달성한 모든 자연어 목표로 재레이블링하는 사후 지도 학습(HSL, Hindsight Supervised Learning)을 제안한다. HSL은 이후 궤적과 재레이블링된 목표를 쌍으로 구성하고, 이 쌍을 추가 미세조정에 활용한다. 재레이블링된 데이터의 준최적성을 완화하기 위해, 관련 없는 행동 마스킹(irrelevant-action masking)과 샘플 재가중(sample reweighting)이라는 두 가지 학습 기법을 HSL에 제안한다. 실험 결과, HSL은 유연하며 기존 사후 학습 파이프라인과 호환됨을 보인다. SFT와 DPO 모두를 개선하며, 목표 공간이 더 다양한 장기간 과제에서 더 큰 성능 향상을 달성한다. 또한 HSL은 샘플 효율적이다: ALFWorld에서 실측 시연의 4분의 1만 사용하면서도 전체 데이터셋으로 학습한 기준선을 능가한다.
자연어 명세와 달리, 실행 가능한 형식 명세(formal specification)는 코드의 검증, 디버깅, 수정을 위한 기계 검증 가능한 제약 조건을 제공한다. 그러나 이러한 명세를 작성하는 것은 노동 집약적이며, 기존의 대규모 언어 모델(LLM) 기반 방법들은 주로 전체 프로그램의 사전/사후 조건(pre/postcondition)을 추론하는 데 그쳐, 프로그래머가 알고리즘을 추론할 때 의존하는 중간 의미적 확약을 놓친다. 또한 본 연구에서는 현재 CodeLLM에 프롬프트를 제공하면 구문적으로 유효하지 않거나, 자명하거나, 동작을 변경하는 결함을 거부하기에 너무 약한 실행 가능한 어서션(assertion)이 자주 생성됨을 보인다. 본 논문에서는 실행 가능한 체크포인트(checkpoint) 명세 생성을 연구하며, 이는 예상되는 중간 상태를 기술하기 위해 의미 있는 프로그램 내부 지점에 어서션을 삽입하는 것이다. 우리는 검증된 참조 프로그램, 동작 변경 뮤턴트(mutant), 다중 턴 명세 개선 트레이스로부터 학습하는 검증 유도 CodeLLM 학습(training) 프레임워크인 SpecCoder를 소개한다. SpecCoder는 올바른 실행에서는 성립하고 결함 있는 실행은 거부하는 명세를 선택하여, 명세를 수동적 주석에서 실행 가능한 증거로 전환한다. 이 설정을 평가하기 위해, 테스트 스위트, 참조 솔루션, 사람이 제출한 버그 있는 코드를 포함한 최근 Codeforces 경쟁 프로그래밍 문제들로 구성된 벤치마크인 HumanExec을 소개하며, 이는 명세 생성, 프로그램 정확성 검사, 프로그램 수정의 세 가지 태스크를 지원한다. HumanExec에서의 실험 결과, SpecCoder는 기본 CodeLLM 대비 체크포인트 명세 품질을 크게 향상시킨다. Qwen2.5-Coder 모델 전반에 걸쳐 SpecCoder는 인라인 명세의 정확성을 최대 55.8%, 완전성을 최대 358.1%, 실행 가능한 어서션 유효성을 최대 26.6% 향상시킨다. 이러한 성과는 하위 작업인 정확성 추론 및 수정에도 이어지며, 실행 가능한 체크포인트가 신뢰할 수 있는 검증을 위한 세밀한 증거를 제공함을 보여준다.
대규모 언어 모델(LLM)이 생성한 텍스트와 인간이 작성한 글을 구별하는 것은 중요하면서도 어려운 과제이다. LLM은 인간처럼 글을 쓰도록 학습되지만, 우리는 이 학습이 지울 수 없는 흔적을 남긴다고 가정한다. LLM은 학습 초기 단계에서 토큰 반복에 대한 특히 강한 거부 반응을 발달시킨다. 이 바이어스는 '흔적 휴리스틱(Vestigial Heuristic)'(발달 과정의 인공물)으로서 지속되며 LLM 생성 텍스트에서 활성화되어, LLM과 인간의 글쓰기를 구분하는 요인이 된다. 이 현상을 탐구하기 위해 우리는 모델의 토큰 반복, 즉 $P(s_i | s_{1:i})$를 평가하는 지표인 Telescope Perplexity를 소개한다. 우리의 실증적 연구에 따르면 Telescope Perplexity 시그니처는 사전학습 초기에 나타나며, Telescope Perplexity는 경험적으로 매우 효과적인 제로샷 LLM 탐지를 가능하게 한다. 우리가 새로 도입한 현대적 평가 세트를 포함한 다양한 데이터셋, 참조 모델, 변형 기법에 걸쳐 다른 방법들보다 높은 효율성으로 최첨단 또는 경쟁력 있는 성능을 보임을 입증한다.
우리는 LongEval-RAG를 위한 후보 제한 검색-증강 생성(RAG) 시스템을 제안한다. 이 시스템에서 각 쿼리는 주최자가 제공한 후보 집합과 연결되며, 검색된 모든 증거와 최종 인용은 해당 집합 내에서만 이루어져야 한다. 본 시스템은 결정론적 출처 추적과 패시지 기반 검색, 결정론적 쿼리 확장, 유사 관련성 피드백(PRF), 역순위 융합(RRF), 경량 증거 재순위화, 인용 인식 증거 집계, 그리고 선택적 MiniLM 문장 재순위화를 결합한다. 우리는 주최자의 1차 평가와 자체 생성한 보조 진단 프로토콜을 활용하여 열 가지 파이프라인 변형을 평가한다. 1차 평가 결과, 균형 잡힌 성능이 가장 우수한 변형은 rule-minilm으로, 규칙 기반 청킹 파이프라인에 쿼리 확장, PRF, RRF, 재순위화, 인용 사전 확률, 그리고 후기 MiniLM 문장 선택을 결합한 방식이다. 이 변형은 제출물 중 BERTScore, 검색 정밀도(precision), 너깃 커버리지, 평균 등급에서 최고 점수를 획득한다. 이 결과는 주된 성능 향상이 더 복잡한 의미론적 또는 주제 전환 청킹에서 비롯되는 것이 아니라, 안정적인 규칙 기반 증거 단위와 생성 전 문장 수준 신경망 선택의 조합에서 비롯됨을 시사한다. 보조적인 대규모 언어 모델(LLM) 판정 평가는 조기 진단 및 추가 분석에 유용하지만, 1차 정답 및 너깃 기반 평가와는 다른 시스템을 강조함으로써 다중 지표 RAG 평가의 필요성을 부각시킨다.
본 연구는 대규모 언어 모델(LLM) 에이전트 시스템에서 구조화된 도구 호출 방식의 사용에 의문을 제기한 Johnson et al.(2025)의 자연어 도구(NLT, Natural Language Tools) 프레임워크를 독립적으로 복제하고 확장한다. 우리는 14개 모델과 8,560회 시험에 걸쳐 NLT를 평가하였으며, 원본 연구의 모델 집합에 최신 프론티어 모델, 추론 모델, 오픈-가중치 모델을 추가하였다. 결과는 핵심 발견을 확인하고 세부 사항을 보완한다. NLT는 전체적으로 도구 호출 정확도를 14.9 퍼센트포인트 향상시키며(62.3% 대 구조화 방식 47.4%), 치명적 오류를 93% 감소시킨다(51건 대 755건). 이러한 성능 향상은 모델 역량에 따라 달라진다. 네이티브 도구 호출 기능이 없는 모델, 추론 모델, 소규모 모델은 상당한 이득을 얻는 반면(+24.0pp~+43.1pp), 고도로 최적화된 프론티어 모델(GPT-5, Gemini 2.5 Pro)은 더 작거나 역전된 이점을 보인다. 이는 강화학습 최적화 도구 사용에 관한 최근 분석(Martinez, 2025)과 일치한다. NLT는 토큰 사용량도 25.2% 절감한다. 신뢰성과 효율성 측면의 이점은 에이전트가 서브에이전트에 걸쳐 다수의 도구 호출을 연쇄적으로 수행하는 재귀적 에이전트 워크플로에서 복합적으로 나타난다. 구조화 방식에서 오류가 발생하면 재시도, 폴백 라우팅, 조정 오버헤드가 유발되는 반면, NLT는 해당 비용의 대부분을 원천에서 방지한다. 본 연구는 세 가지 기여를 한다. (1) 오픈소스 툴링을 사용한 NLT 최초의 독립적 검증, (2) 모델 역량이 NLT의 이점을 조절한다는 근거(Chen et al., 2025; Zhang et al., 2025), (3) NLT의 신뢰성 이점 측정(오류 93% 감소)—구조화된 도구 호출의 알려진 취약성을 고려할 때 배포에 가장 관련성 높은 특성. NLT는 구조화된 도구 호출에 대한 실용적인 대안이며, 특히 파싱 가능성보다 신뢰성을 중시하는 프로덕션 시스템에 적합하다.