대규모 언어 모델(LLM)은 강력한 추론 능력과 방대한 세계 지식으로 인해 최근 추천 시스템에서 주목받고 있지만, 기존 LLM 기반 에이전트는 환각과 컨텍스트 길이 제한에 시달려 전체 순위(full-ranking) 추천 작업에 적합하지 않다. LLM 자체를 수정하기보다 아키텍처 설계를 통해 이러한 한계를 우회하기 위해, LLM이 여러 추천 모델을 도구로 상호작용하는 중앙 계획자 역할을 하는 메모리 기반 Personalized Recommendation Tool learning via autonomous language Agents(PRTA) 에이전트 기반 추천 프레임워크를 제안한다. LLM 기반 에이전트는 고수준 추론과 개인화된 도구 선택을 담당하고, 전통적인 추천 모델은 행동 패턴 모델링에서의 확장성을 활용하여 전체 순위 점수 산출을 수행한다. 개인화된 도구 선택을 지원하기 위해, 사용자 프로필과 후보 순위 목록을 기반으로 각 사용자에 대해 도구를 평가하고 비교할 수 있도록 에이전트에 반성(reflection) 메커니즘을 설계한다. 세 개의 공개 데이터셋에 걸친 광범위한 실험은 전체 순위 추천 성능 향상에서 PRTA가 전통적인 추천 및 LLM 기반 베이스라인 대비 우수함을 보여준다.
대규모 언어 모델(LLM) 에이전트는 SWE-Bench 이슈 해결과 실제 코드베이스에서의 기능 구현을 포함한 정확성 중심의 저장소 수준 작업에서 이제 우수한 성능을 보인다. 그러나 동작을 유지하면서 런타임 성능을 개선해야 하는 저장소 수준 코드 최적화에서는 여전히 어려움을 겪는다. 이 설정에서는 테스트 통과만으로는 충분하지 않으며, 패치는 동작을 유지하고 코드 최적화를 구현하며 전문가 수준의 속도 향상(speedup)에 근접해야 한다. 현재 에이전트는 추상화 계층과 네이티브 확장 뒤에 숨겨진 병목을 놓치거나, 얕은 수준의 속도 향상에서 멈추거나, 코드 패치를 충분히 테스트하지 않아 엣지 케이스를 조용히 깨뜨릴 수 있다. 우리는 PerfAgent를 제안한다. PerfAgent는 프로파일러 기반의 검증기 내 루프(verifier-in-the-loop) 워크플로우로, 기성(off-the-shelf) 코딩 에이전트에게 실제 핫스pot을 찾고, 첫 번째로 통과하는 패치를 넘어 개선하며, 타이밍만이 아니라 프로파일러 증거를 사용해 다음에 무엇을 최적화할지 결정하는 데 필요한 피드백을 제공한다. 두 가지 도전적인 최적화 벤치마크인 GSO와 SWE-fficiency-Lite에서 PerfAgent는 GPT-5.1을 사용한 OpenHands 대비 전문가 수준에 부합하는 패치 비율을 두 배 이상 높였으며, GSO에서는 19.6%에서 39.2%로, SWE-fficiency-Lite에서는 26%에서 74%로 개선했다. 또한 PerfAgent는 훨씬 낮은 비용으로 오라클 best-of-five 기준선을 능가하며, 이는 성능 향상이 추가적인 테스트 시점 샘플링이 아니라 더 나은 피드백에서 비롯됨을 보여준다.
자기 개선(self-improvement) AI 시스템은 일반적으로 프롬프트, 워크플로, 하네스(harness), 또는 에이전트 자체의 코드를 최적화함으로써 에이전트를 개선 대상으로 취급한다. 이러한 에이전트 중심(agent-centric) 관점은 이득이 특정 에이전트 설계, 작업 분포, 또는 적응(adaptation) 실행에 묶이기 때문에 개선을 유지하기 비용이 많이 들고 전이하기 어렵게 만들 수 있다. 우리는 상호 보완적인 패러다임인 지식 중심(knowledge-centric) 자기 개선을 연구한다. 이 패러다임에서는 에이전트는 범용적이고 일회용으로 유지되는 반면, 지속적인 객체는 에이전트가 향후 작업에 활용할 수 있는 큐레이션된 지식 베이스(knowledge base)이다. 우리는 간단한 프로토콜을 통해 이 아이디어를 구체화하기 위해 통제된 사례 연구를 수행한다. 에이전트는 하나의 작업을 시도한 다음, 작업 수준 및 교차 작업 포럼을 통해 공유 지식 베이스에 증거 기반(evidence-grounded) 통찰을 기여하고, 이어서 지식 증류를 수행한다. 자기 개선이 에이전트가 아닌 지식에 담겨 있기 때문에, 개선은 더 검사 가능하고, 전이 가능하며, 이식 가능할 수 있다. 추상적 추론, 코딩, 터미널 벤치마크 전반에 걸쳐, 이 프로토콜은 에이전트 중심 기준선(baseline) 대비 달러 비용을 줄이면서 해결률(solve rate)을 향상시킨다. 그 결과로 얻어진 증류된 지식은 또한 홀드아웃(held-out) 작업 및 대규모 언어 모델(LLM) 계열 간에도 전이되어, 개선이 단순히 특정 LLM이나 실행(run)에 국한된 행동이 아님을 시사한다. 이 결과는 자기 개선 에이전트(agentic) 시스템에 대한 새로운 관점을 뒷받침한다: 진보는 주로 큐레이션된 지속적 지식에 의해 추동될 수 있다. 코드는 https://github.com/recursive-knowledge/KSI 에서 이용할 수 있다.
양자 리저버 컴퓨팅(QRC)은 고정된 양자 역학을 고차원 시간적 특징 맵으로 사용하고, 경량의 고전적 readout만 학습한다. QRC는 근시일 양자 머신러닝에 매력적이지만, 입력 인코딩, 리저버 깊이, 얽힘 토폴로지, 측정 특징, 상태 재설정 정책, 특징 구성, readout 정규화 등 아키텍처 선택에 성능이 크게 의존한다. 우리는 QRC 설계를 제약 조건이 있는 블랙박스 아키텍처 검색으로 공식화하고, 대규모 언어 모델(LLM)이 이 검색 문제에 대한 제안 컨트롤러로 작동할 수 있는지 평가하는 시뮬레이터 기반 벤치마크인 \method를 제안한다. 이 벤치마크는 동일한 평가 예산 하에서 다섯 가지 정책을 비교한다: 무작위 검색, 진화적 검색, 베이지안/TPE 최적화, 피드백 기반 LLM 에이전트, 그리고 LLM 제안과 메모리, 돌연변이, 교차, 중복 회피, 탐험을 결합한 \hybrid. NARMA10, Mackey-Glass 예측, temporal parity에서 \hybrid{}는 가장 일관된 정책이다: NARMA10과 temporal parity에서 1위, Mackey-Glass에서는 진화적 검색에 근소하게 뒤진 2위를 기록한다. 25회 평가 예산과 세 개의 시드 하에서 \hybrid{}는 Mackey-Glass 오류의 23.6\% 상대 감소를 포함하여 모든 과제에서 무작위 검색 대비 개선된다. 결과는 LLM이 보편적인 QRC 최적화기라는 것을 보여주지 않으며, 오히려 생성 모델이 검증되고 재현 가능한 하이브리드 검색 루프 내부에 내장될 때 유용한 고수준 컨트롤러가 될 수 있음을 보여준다.
피어 투 피어 분산 추론은 여러 노드에 레이어를 분산하여 풀링된 소비자 하드웨어에서 대규모 언어 모델(LLM)을 실행한다. 모든 요청은 여러 독립 당사자가 소유하고 제어하는 노드를 거친다. 그러나 이 환경에서는 어느 당사자든 자신의 레이어 출력을 변조하여 최종 결과를 손상시킬 수 있다. 신뢰할 수 있는 하드웨어에서 순전파를 재계산하면 이를 잡아낼 수 있지만, 추가적인 계산 비용이 발생한다. 과학 문헌에는 이미지 분류기를 위한 known-answer trap과 암호학적 커밋(cryptographic commitment) 같은 여러 기존 무결성 검증 접근법이 있다. 그러나 이러한 해법들은 정확한 정확성만을 검증하며, 정상 노드 간에 발생할 수 있는 일반적인 변동을 고려하지 않는다. 본 논문에서는 각 노드가 다음 노드로 전달하는 활성화(activation)의 변동을 측정하여 출력 무결성을 검증하는 방법을 제안한다. 네트워크를 사용하려는 피어는 올바른 활성화가 사전에 알려진 소수의 비밀 카나리(canary) 입력을 선택하여 일반 트래픽에 섞는다. 피어들이 카나리와 실제 쿼리를 구분할 수 없기 때문에, 변조하는 노드는 카나리도 함께 손상시킨다. 알려진 기준값으로부터의 편차가 악성 활동을 드러낸다. 정상 노드는 하드웨어 유발 노이즈로 인한 미미한 변동만 보이는 반면, 변조된 노드는 훨씬 더 크게 벗어난다. 악성 노드 식별을 고정 임계값에 의존하지 않고 두 drift 분포를 분리하는 확률적 검정으로 다룬다. 실험 전에 지표와 성공 기준을 고정한 408가지 구성을 연구했으며, 검출기는 AUROC 1.0에 도달하여 모든 구성에서 모든 카나리에 대해 악성 샤드를 모든 정상 샤드보다 올바르게 순위화했다.
멀티 에이전트 LLM 애플리케이션은 플래너, 작업 에이전트, 검증기, 합성기를 연결하며, 에이전트 간의 모든 홉은 공격자가 지시를 밀반입할 수 있는 모니터링되지 않은 채널이다. 기존 방어는 입력 경계만 보호하거나(IBProtector, Llama Guard, perplexity 필터, SmoothLLM) 애플리케이션 외부에서 불투명하고 확률적인 제공자 측 필터로 동작한다. 우리는 이 공백이 드물게 측정되는 결과를 수반함을 보인다. 8개 공격군, 5개 방어, 3개 모델 백엔드에 걸친 2,100-트레이스 평가에서, 표준 보고 기준으로는 완전히 안전해 보이는(도구 및 메모리 독 poisoning에서 공격 성공률 0.000) 무방어 파이프라인의 그 안전성은 거의 전적으로 클라우드 제공자의 서버 측 필터(Azure GPT-5에서 60건 중 54건 차단)에 의존하며, 이러한 필터가 없는 백엔드에서는 조용히 에이전트 모델 자체의 정렬(alignment)로 전환된다. 결과만 보고하는 방식은 이러한 의존성을 숨긴다. 우리는 ChannelGuard를 제시한다. 이는 모든 에이전트 간 채널에 정보 병목(information-bottleneck) 게이트를 배치하는 학습 없는(training-free) 심층 방어( defense-in-depth) 프레임워크로, 각 게이트는 임베딩 유사도로 채널 텍스트를 적대적 구문 뱅크와 대조해 점수를 매기고 결정적으로 통과, 압축, 또는 차단하며 LLM 호출을 추가하지 않는다. 동시에 귀속(attribution) 방법은 각 공격을 어느 층에서 중단했는지 기록한다. ChannelGuard의 도구 출력 게이트는 애플리케이션 층에서 Tool Poisoning 30건 중 30건을 차단하며, Azure GPT-5, Anthropic Sonnet 4.5, Anthropic Haiku 4.5에서 동일하고, 무방어 파이프라인은 백엔드마다 완전히 달라진다. 또한 Prompt Injection 공격 성공률을 절반으로 낮추고(0.333에서 0.167) GSM8K 정확도를 정확히 유지한다(0.867). 화이트박스 적응형 패러프레이즈는 모든 임베딩 게이트를 우회하며, perturb-and-vote 기준선(baseline)이 더 나은 성능을 보인다. 확장 부록에는 기준선, ablation, 스윕, 양성 보존 분석, 판정 감사(kappa = 0.900)가 포함되며, 총 비용은 47.36 USD이다.
최근 대규모 언어 모델(LLM)의 발전으로 운영 금융(operational finance) 분야에서 에이전트 시스템의 배포가 가속화되고 있다. 기존 벤치마크는 일반 역량, 지시 따르기(instruction following), 또는 안전성(safety) 측정에 중점을 두지만, 에이전트 시스템이 자동화하도록 배포되고 있는 운영 금융 워크플로를 직접 다루는 벤치마크는 거의 없다. 금융 전문가들은 에이전트가 사실에 부합하고 적절히 그라운딩(grounding)된 정보를 제공할 뿐만 아니라, 이러한 정보가 검증 가능하고 운영 금융 도메인의 규칙과 제약을 일관되게 준수하는 것을 요구한다. 우리는 251개의 전문가 주석 쿼리를 포함하고, 운영 금융 도메인 요구사항에 맞게 보정된 루브릭 기반 프레임워크를 사용하여 응답을 정확성(accuracy), 인용(citations), 명확성(clarity), 깊이(depth), 그라운딩(groundedness), 최신성(recency), 관련성(relevance), 구조(structure)의 8개 차원에서 평가하는 FORCE-Bench를 제안한다. FORCE-Bench는 세 가지 작업 유형에서 에이전트 시스템을 평가한다: 재무 의무 조사(매출채권 및 매입채무 데이터를 위해 ERP 시스템을 조회), 금융 실체 성과 조사(공시 자료 및 시장 데이터로부터 시한이 정해진 질문에 답변), 비즈니스 브리프 생성(다중 출처의 기업 인텔리전스 보고서 종합). 실제 배포 조건을 반영하기 위해, 우리는 목적에 맞게 구축된 에이전트와 범용 에이전트 시스템 모두를 공통 도구 접근 및 지연 시간 제한(latency-bounded) 설정 하에서 평가한다. 결과는 범용 에이전트 시스템이 운영 제약 하에서 금융 도메인 품질 요구사항을 일관되게 충족하지 못하는 반면, Microsoft 365 Copilot을 위해 목적에 맞게 구축된 Finance Agent가 모든 차원에서 더 신뢰할 수 있음을 보여준다. 우리는 재현 가능한 비교와 다른 기업 금융 환경에의 적응을 지원하기 위해 데이터셋, 루브릭, 하네스, 분석 코드를 오픈소스로 공개한다.
형식 정리 증명(formal theorem proving)은 기계학습의 최전선 과제로 부상했지만, 생태계는 파편화되어 있다. 증명은 호환되지 않는 시스템들 사이에 고립되어 있어, 학습 기반 증명기(prover)를 위한 학습 데이터와 검증된 결과의 이식성(portability) 모두를 제한한다. 우리는 ITPEval을 제안한다. 이는 Lean 4, Rocq, Isabelle, HOL Light의 네 가지 주요 대화형 정리 증명기(ITP)에 걸쳐—두 가지 서로 다른 논리적 기반(logical foundations)을 아우르며—자동 형식 증명 번역을 평가하는 최초의 벤치마크이다. 우리 벤치마크는 1,560개의 소스 파일과 6,848개의 정리(theorem)로 구성되며, 기초적 번역 난이도를 분리하는 공리화(axiomatized) 파일의 통제 계층(controlled tier)과, API 및 증명 스타일(proof-style) 불일치를 드러내는 실제 라이브러리에서 가져온 생태계 계층(ecosystem tier)으로 조직되어 있다. 우리는 itpeval을 공개한다. 이는 아티팩트(artifact)별 네이티브 검증 의미론(native checking semantics)을 보존하는 상태 격리(state-isolated) 웜 백엔드(warm backends)를 갖춘 통합 다중 ITP 검증 인프라이다. 12개의 방향성 번역 쌍(directed translation pairs)에 대해 5개의 최신 및 오픈 가중치(open-weight) 대규모 언어 모델(LLM)로 명제(statement) 번역과 증명(proof) 번역을 모두 평가한다. 명제 번역은 pass@1 29.1%, 증명 번역은 10.5%에 정점을 찍는다. 통제된 정리는 증명 pass@1 29.7%에 도달하는 반면 생태계 수준 번역은 5.2%로, 라이브러리 불일치(library mismatch)가 지배적 병목임을 확인한다. pass@k 평가에 더해, 결정론적(deterministic) Lean 4 BEq 검사는 검증된 소스-to-Lean 4 miniF2F 명제 번역의 54.0%에 대해 동치(equivalence)를 확립하며, 네이티브 타입 검사(type-checking)만으로는 의미적 충실도(semantic fidelity)를 상당히 과대평가할 수 있음을 보여준다. 자동 형식화(autoformalization)/자동 비형식화(auto-informalization) 왕복(round-trip) 연구에서 Rocq와 HOL Light는 Lean 4와 Isabelle보다 형식화 대상(formalization targets)으로 더 쉽고, 다중 ITP 컨텍스트는 풀링(pooled) Lean 4 성공률을 4.8%에서 10.6%로 향상시킨다. 우리의 벤치마크, 검증 인프라, 평가 파이프라인은 공개된다.
문서 기반 LLM 시스템은 가드레일이 검사하기 전에 PDF를 종종 평탄화한다. 이 단계는 사용자에게 한 번도 보이지 않았던 지시가 있었다는 증거를 버릴 수 있다. 우리는 PDF에서의 숨겨진 프롬프트 주입을 위한 통제된 벤치마크인 CrackedPDFs를 소개한다. 이 벤치마크는 4,983개의 기본 문서로부터 생성된 29,322개의 PDF를 포함한다. 여기에는 9,774개의 주입 파일과 19,548개의 양성 또는 짝지어진 대조군 파일이 포함된다. PromptGuard와 규칙 기준선을 평가한다. 또한 구조만 학습한 모델과 정화된 하이브리드 탐지기도 평가한다. 평가는 홀드아웃 출처 분할과 짝지어진 양성-대조군 대조를 사용한다. 또한 레이블 셔플 검사와 지름길 감사도 사용한다. 2,919개 문서로 구성된 홀드아웃 테스트 세트에서 하이브리드 탐지기는 F1 0.960을 달성한다. ROC-AUC는 0.998이고 PR-AUC는 0.997이다. 또한 973개 짝 중 95.9%에서 주입 파일을 짝지어진 양성 대조군보다 상위로 순위 매긴다. PromptGuard는 추출된 텍스트만 주어졌을 때 재현율이 낮다. 구조만 학습한 모델은 짝지어진 대조 하에서 약하다. 텍스트만 사용한 TF-IDF 모델은 홀드아웃 점수에서 완벽하지만 지름길 감사를 통과하지 못한다. 이러한 결과는 통제된 짝 평가 하에서 문서 인식 하이브리드 탐지가 유용함을 보여준다. 광범위한 실세계 견고성이나 신뢰할 수 있는 교차 계열 일반화를 보여주지는 않는다.
언어 모델은 경제적으로 가치 있는 업무를 수행하지만, 현재는 경제적으로 가치 있는 모든 과업에서 얼마나 잘 수행하는지 평가받지 못하고 있다. 우리는 미국 노동 경제의 과업, 업무 활동, 직업과 관련된 역량을 측정하기 위한 오픈소스 평가 스위트 EconEvals를 소개한다. 가능한 경우 평가 스위트를 언어 모델에 대한 실제 사용자 질의에 기반하고, 이를 합성 데이터로 보완한다. 우리의 평가는 미국 직업의 5%를 다루는 기존 최첨단 벤치마크인 OpenAI의 GDPval 벤치마크 대비 500배 낮은 비용으로 커버리지를 개선한다. 벤치마크와 함께, 우리는 또한 시뮬레이션 기반 노출(exposure) 지표를 도입하여, 각 추정치에 대한 상세한 산출 근거와 함께 현재 언어 모델 역량이 모든 미국 직업에 속한 모든 과업에서 절약할 수 있는 시간을 추정한다. 우리의 추정에 따르면, 현재 모델은 47%의 직업에서 근로자가 수행하는 과업의 절반 이상에서 상당한 시간을 절약할 수 있다. 그러나 상당한 시간 절감이 예측되는 과업의 79%에서 관찰된 Claude 사용량은 낮아, 현재 사용이 잠재력에 뒤처져 있음을 시사한다. 언어 모델 챗봇의 고유한 제약을 넘어서, 우리 데이터는 AI로부터의 추가적 시간 절감을 제한하는 주요 병목으로 프라이버시와 독점 시스템을 식별한다. 전반적으로, 우리는 언어 모델의 노동 시장 영향에 대한 추론을 현재 역량에 기반하도록 하는, 역량이 향상됨에 따라 지속적으로 업데이트할 수 있는 적응형 인프라를 소개한다.
대규모 언어 모델(LLM) 기반 소크라테스식 튜터는 다중 턴 질문을 통해 학생을 점점 더 많이 안내하지만, 스캐폴딩 붕괴(scaffolding collapse)를 겪을 수 있다: 지속적인 학생 압력 하에서 튜터가 점차 안내형 탐구를 포기하고 해답을 직접 공개한다. 기존 방어 방법은 주로 프롬프팅, 선호 최적화, 또는 필터링을 통해 관찰 가능한 응답을 제약하지만, 궤적 수준의 붕괴에 앞서는 내부 표현의 표류는 대체로 다루지 않는다. 우리는 Scaffold-Preserving Representation Alignment를 제안한다. 이는 두 단계 프레임워크로, 먼저 지도 미세조정으로 소크라테스식 튜터를 워밍업한 다음, 궤적 가중 직접 선호 최적화와 동결된 참조 상태에 앵커링된 마진 보존 표현 손실을 결합한다. 우리 방법은 대화 턴 전반에 걸쳐 스캐폴딩을 보존하는 은닉 상태와 붕괴를 유발하는 은닉 상태 사이의 분리를 유지하도록 설계되었다. 우리는 다섯 STEM 분야와 다섯 가지 레드팀 테스팅(red-teaming) 공격 전략에서 방법을 평가한다. Qwen3-8B에서 우리 방법은 붕괴율(Collapse Rate)을 32%로 낮추고, 평균 붕괴 시작 시점을 9턴 이후로 지연시키며, 과도한 거부(over-refusal)를 낮은 수준으로 유지한다. 이는 표현 수준 정렬이 우리 레드팀 테스팅 프로토콜 하에서 장기 소크라테스식 튜터링의 견고성을 개선할 수 있음을 시사한다.
긴 프롬프트 추론은 prefill 어텐션이 시퀀스 길이에 대해 이차적으로 스케일링되기 때문에 여전히 비용이 큽니다. 우리는 Spectral-LSH를 제안합니다. 이는 프롬프트가 언어 모델에 들어가기 전에 동작하는 무학습 프롬프트 압축 방법입니다. Spectral-LSH는 Krylov 부분공간(subspace) 방법과 랜덤 특징(random features)을 함께 사용하여 암시적 어텐션-커널 연산자의 주요 성분을 근사하며, 명시적인 $O(N^2)$ 어텐션-커널 구체화(materialization)를 피합니다. 그다음 결과적인 어텐션 고유공간(eigenspace)에서 SimHash를 적용하여 유사한 토큰을 그룹화하고, 인과적(causal) 위치 할당으로 이를 거시 토큰(macro-tokens)으로 집약합니다. 우리는 C4에서 Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct를 평가합니다. 실험 결과 압축률(compression ratio)의 위상 전이(phase transition)가 나타납니다. $ρ= 4 \times$ 미만에서는 지역적 토큰 중복도가 충분히 낮아 경량 청킹(chunking)이 일반적으로 최상의 지연-품질(latency-quality) 트레이드오프를 제공합니다. $ρ= 8 \times$ 이상에서는 스펙트럴(spectral) 경로가 청킹이 잃는 품질을 보존합니다. $ρ= 16 \times$에서 Qwen2.5-7B(adaptive)는 PPL 비율을 353.409에서 196.963으로 낮추고, Qwen2.5-14B(adaptive)는 9.533에서 3.427로 낮춥니다. JSON 유사, 코드 유사, 표 유사 입력을 포함하는 소규모 장문맥 구조화 스트레스 테스트에서, 지역 LSH 또한 $8 \times$에서 청킹 대비 모든 지표를 개선합니다. 적응형(adaptive) 백엔드는 낮은 압축에서는 청킹 경로를, 높은 압축에서는 스펙트럴 클러스터링을 사용하여 두 영역을 모두 포착하지만, 총 지연 시간(total latency)에서는 청킹이 여전히 가장 빠른 백엔드입니다.
캘리브레이션(calibration)은 LLM 신뢰도 평가의 주요 기준이지만 충분하지 않다. 이는 사소하게 비일관적인 추정량을 허용하고, 평가 분포에 의존하며, 추정치가 일관된 기저 확률 함수로 해석될 수 있는 정도를 검증하지 않는다. 우리가 실제로 필요로 하는 것은 LLM 신뢰도 추정치가 일관적인 확률적 믿음에 요구되는 조건을 만족하는 것이다. 우리는 이 조건들을 세 축(구조적 일관성, 충실성, 유용성)을 따라 형식화하고 C1 지표로 구현한다. 널리 사용되는 추정량은 잘 캘리브레이션된 것처럼 보이지만 이러한 조건을 체계적으로 위반한다. 모델은 논리적으로 더 쉬운 질문에 더 낮은 신뢰도를 부여하는 경우가 31%이며, RMSCE를 줄이는 일반적인 개입은 구조적 위반을 바꾸지 않아, 캘리브레이션이 확률적 타당성과 직교함을 시사한다. RLHF와 사고의 연쇄(Chain-of-Thought)는 일관성을 회복하지 않은 채 유용성 지표를 개선한다. 우리의 결과는 현재 LLM 신뢰도 추정치를 일관적인 확률로 해석할 수 없음을 보여주며, 우리의 프레임워크는 이 격차를 측정하고 줄이기 위한 도구를 제공한다.
Safety as Polytope(SaP)는 LLM 은닉 공간에서 선형 반공간 제약을 학습하지만, 제약 개수 K에 대한 카테고리별 튜닝이 필요하다. 우리는 희소 오토인코더(SAE) 특징 추출이 이를 해결함을 보인다: Qwen3.5-9B에서 14개 카테고리 중 12개에 대해 K=2가 최적이 되며, BeaverTails 분류 벤치마크에서 카테고리당 96-99% 정확도를 달성하여, (무작위 초기화를 사용한 K=4-25에 대한) 포괄적 탐색의 필요성을 대부분 없앤다. 두 평면으로의 이러한 수렴은 선형 표현 가설(Linear Representation Hypothesis)과 일치하며, 이 설정에서 안전성 경계가 SAE 특징 공간에서 저차원 선형 기술을 허용함을 시사하는 증거를 제공한다. 이 기하학적 관점을 바탕으로, 학습 가능한 개구(aperture)가 각 카테고리의 클러스터 집중도에 적응하는 원뿔 제약을 도입하며, 3단계 학습에 의해 안정화된다.
대규모 언어 모델(LLM)을 비정형 텍스트에서 의미론적 데이터 추출에 사용하여 자연어로부터 후보 관계형 사실을 생성할 때, 복잡한 조합적 추론과 전역적 일관성을 요구하는 작업에서는 여전히 신뢰할 수 없을 수 있다. 본 논문은 LLM 기반 추출과 답변 집합 프로그래밍(ASP)을 결합한 논리 기반 데이터 추출 프레임워크를 제안한다. LLM은 후보 사실을 생성하고, ASP는 검증, 추론, 일관성 검사, 제어를 수행한다. 모든 대상 술어에 대해 LLM을 독립적으로 질의하는 기존 파이프라인과 달리, 제안된 접근법은 ASP 추론을 사용하여 각 단계에서 논리적으로 허용 가능한 술어를 식별하고 추출 질의를 안내한다. LLM 호출과 ASP 도출을 교차 배치함으로써, 프레임워크는 추가 추출 없이 논리적으로 함의되는 사실을 추론하고 불일치를 조기에 감지한다. 파이프라인을 형식화하고, 완화된 가정 하에서 최종 추출 사실에 관하여 기준선 접근법과 동등함을 증명하되, 더 적은 수의 LLM 호출이 필요함을 보인다. 또한 논리 기반 제어 질의를 위한 캐싱 메커니즘을 도입하여, 점진적으로 구성되는 사실 집합에 대한 연언 질의의 단조성을 활용해 솔버 호출 횟수를 줄인다. ASP로 파생된 벤치마크에서의 실험은 프레임워크가 LLM 호출을 줄이고 허위 출력을 완화하여 추출 품질을 향상시킴을 보여 주며, 제어된 의미론적 추출을 위한 비단조 논리 프로그래밍의 가치를 입증한다.
활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 종종 개별 관측을 더 일반적인 규칙형 구조로 매핑하여 질의에 답한다. 그러나 이러한 구조가 어떻게 저장·선택·수정되는지는 여전히 불분명하다. 이 과정을 연구하기 위해, 우리는 리프트 표현 가설(lifted representation hypothesis)을 제안한다: LLM은 고립된 인스턴스 수준 사실이 아니라 공유 잠재 구조를 통해 메모리를 갱신한다. 이 관점은 리프팅(lifting)을 인스턴스 간 대칭성의 효율적 활용으로, 샤터링(shattering)을 거친 리프트 구조를 더 구체적인 하위 유형으로 정제하는 것으로 본다. 우리는 문맥 내 학습(ICL), LoRA, 전체 미세조정에 걸친 통제된 예외 학습 실험을 통해 LLM의 리프팅과 샤터링을 평가한다. 중첩된 규칙과 예외로 지배되는 데이터에서는 LLM이 샤터링 실패에 취약한 반면, 리프팅은 종종 조기에 발생한다는 것을 발견한다. 이 결과는 LLM에서 데이터와 규칙 구조 간 관계를 연구할 필요성을 강조한다.
도구를 사용하는 LLM 에이전트가 점점 더 영향력 큰 행동을 실행하게 되면서, 런타임 안전성 모니터링이 필수적이 되었다. 우리는 NEXUS(Neural EXecution Utility and Safety)를 제안한다. 이는 공식적인 개입 정책을 적용하여 allow, block, request confirmation, request revision 네 가지 행동 중 하나를 선택하는 구조화된 계획 기반 안전성 모니터이다. NEXUS는 결정론적 안전성 규칙, 인자 수준 검사, 그리고 단계적 에스컬레이션을 위한 보정된 로지스틱 회귀 위험 점수를 결합한다. 128개 인스턴스로 구성된 합성 벤치마크에서 NEXUS는 F1 점수 0.949와 4클래스 개입 정확도 0.6406을 달성하여, 규칙 전용 개입 선택보다 27.3%p 높은 성능을 보인다. R-Judge에서도 규칙 전용(F1 = 0.861 vs. 0.849)보다 우수하고, AgentHarm에서는 위협 모델 한계로 규칙 전용과 동등하며, IPI에서는 99% control allow에서 ASR 0%를 달성한다. 규칙을 사용하지 않는 NEXUS-Stress 벤치마크에서는 F1 점수 0.881에 도달하여, 세밀한 개입 라우팅의 난이도를 보여준다. 중앙값 지연시간 0.205ms로, 일반적인 에이전트 루프에 0.1% 미만의 오버헤드를 추가한다. 코드, 벤치마크, 보정된 위험 점수 산출기는 공개되어 있다.
대규모 언어 모델(LLM)은 인터넷과 같은 외부 지식 소스와 함께 점점 더 많이 사용되고 있다. 이들은 정보를 적절히 가중하는가—신뢰할 수 있는 출처에 대해 더 많이 갱신하는가(출처 판별(source discernment)), 그리고 주장이 사전 믿음(priors)을 진실에 더 가깝게 만드는 경우 더 많이 갱신하는가(진실 판별(truth discernment))? 이를 정보 판별(information discernment)로 형식화하고, 해석 가능한 지표를 갖춘 세 가지 규범적 공리에 기반한 실험 프레임워크 및 벤치마크인 Learn2Discern(L2D)을 소개한다. 외적 타당성을 확립하기 위해, 사전 등록된 할당량 매칭 사용자 연구(n=299)는 실제 LLM 사용자가 세 공리 모두를 지지하며, 위반 시 신뢰와 사용 의도가 감소한다고 보고함을 확인한다. 13개 모델과 약 67만 회의 시행에 걸쳐, 두 차원 모두에서 일관된 실패를 발견한다: 모델은 출처 및 진실 판별에서 거의 무작위 수준의 성능을 보이고, 출처 신뢰성보다 출처 인기도에 두 배 더 의존하며, 주장이 정답(ground truth) 대비 자신의 입장을 개선하든 악화하든 거의 동일하게 갱신한다. 모델은 사전 믿음이 이미 가장 정확한 데이터셋에서 외부 지식을 가장 효과적으로 통합한다. 최신·대형 모델은 진실 판별은 개선하지만 출처 판별은 개선하지 않으며, 이는 모델 복잡도가 해결하지 못하는 사각지대이다. 두 형태의 판별 모두를 개선하는 간단한 추론(inference) 시점 개입을 확인한다. 데이터셋과 설문조사를 LLM이 전통적 검색을 대체할수록 중요성이 커지는 핵심 정렬(alignment) 특성에 대한 테스트베드로 공개한다.
기밀 컴퓨팅(confidential computing)은 민감한 입력을 처리하거나 독점 모델 자산을 보호해야 하는 AI 추론 워크로드에 있어 실질적인 배포 요구사항이 되고 있다. 그러나 GPU 가속 대규모 언어 모델(LLM) 서빙을 위해 기밀 실행(confidential execution)을 활성화할 때 발생하는 성능 비용은 여전히 워크로드에 따라 달라지며 운영상 중요한 요소이다. 본 논문은 Intel TDX 기밀 인스턴스에서 호스팅된 단일 NVIDIA H100 80GB GPU 상에서 표준 비기밀(non-confidential) 실행과 기밀 컴퓨팅 모드를 비교하는 벤치마크 연구를 제시한다. 평가는 Mistral-7B v0.1과 Qwen3-30B-A3B라는 두 대표적인 언어 모델을 사용하며, 동시성(concurrency) 증가 하에서 첫 토큰까지의 시간(TTFT, time to first token), 종단 간(end-to-end) 요청 지연(latency), 요청당 토큰 생성 처리량(throughput), 전역 토큰 처리량, 폐루프(closed-loop) 요청 처리량을 측정한다. 고정 요청률(fixed request-rate) 실험에서 기밀 모드는 Mistral-7B의 평균 TTFT를 21.8%, Qwen3-30B-A3B의 평균 TTFT를 27.8% 증가시키는 반면, 전역 토큰 처리량은 각각 17.7%와 21.1% 감소한다. 폐루프 동시성 실험에서 처리량 격차는 11.5-20.2% 범위에 머물지만, 더 큰 모델은 기밀 모드에서 포화(saturation) 임계점(knee)에 더 일찍 도달한다. 결과는 기밀 GPU 추론이 부하 하에서도 사용 가능한 처리량을 유지할 수 있음을 시사하지만, 용량 계획(capacity planning) 시 안정적인 처리량 페널티와 더 큰 모델에서 관찰되는 조기 포화 동작을 모두 고려해야 함을 나타낸다.