PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23496v1cs.AI

LLM은 자신의 취약 시나리오를 알고 있는가?

Do LLMs Know Their Vulnerable Scenarios?

안전성 정렬(safety-aligned) 대규모 언어 모델(LLM)은 유해한 요청을 거부하도록 학습되지만, 동일한 요청을 특정 시나리오에 끼워 넣으면 이러한 안전장치를 우회할 수 있다. 기존 레드팀 테스팅(red-teaming) 방법은 관측된 공격 결과를 통해 효과적인 시나리오를 경험적으로 식별하지만, 특정 시나리오가 거부를 약화시키는 이유는 기계론적으로 불분명하다. 한편, 기계론적 해석가능성(mechanistic interpretability) 연구는 거부 방향(refusal directions)과 탈옥(jailbreak) 관련 특성(feature)을 모두 특성화했지만, 두 표현 간의 관계를 설명하지는 못했다. 본 연구에서는 시나리오로 감싼 프롬프트(scenario-wrapped prompts)가 내부 시나리오 방향을 활성화하며, 이러한 방향에 대한 인과적 조향(causal steering)이 거부 점수를 지속적으로 낮춘다는 것을 보인다. 이 발견을 바탕으로, 취약 시나리오 발견을 위한 개념 기반 귀속(attribution) 프레임워크인 Concept2Scenario를 제안한다. 이는 희소 오토인코더(sparse autoencoder)로 광범위한 개념 공간을 구현하고, 거부 억제를 개별 개념에 귀속하며, 식별된 개념을 해석 가능한 자연어 시나리오로 변환하고, 상호작용 귀속(interaction attribution)을 통해 시너지적 시나리오 조합을 식별한다. 세 개의 오픈소스 모델, 두 개의 안전성 벤치마크, 여섯 가지 블랙박스 탈옥 방법에 걸쳐, 발견된 시나리오는 재사용 가능한 사전(priors)으로 작용하여 평균 공격 성공률을 최대 18.2%p까지 향상시킨다. 또한 GPT-5, Claude-Haiku-4.5, Gemini-3-Flash에도 전이(transfer)되어, 일부 시나리오 수준의 거부 취약성은 모델 계열 간에 공유된다는 것을 시사한다. 또한 식별된 조합은 개별 구성 요소보다 우수한 성능을 보이며, 반복적 공격이 더 적은 턴(turn)으로 성공할 수 있게 한다.

arXiv:2607.23394v1cs.AI

LLM 미세조정으로 인한 숨겨진 행동 완화를 위한 추론 시점 합의

Inference-Time Consensus for Mitigating Hidden Behaviors from LLM Fine-Tuning

최근 연구는 소량의 오염된 데이터만으로 언어 모델을 미세조정해도 표적화된 오동작을 심을 수 있으며, 겉보기에는 무해한 데이터도 광범위하게 일반화되는 숨겨진 선호를 전달할 수 있음을 보여준다. 데이터 필터링, 무해한 데이터 혼합, 정규화와 같은 표준 방어 기법은 이러한 효과를 약화시키지만 제거하지는 못한다. 우리는 대신 중복성을 통해 견고성을 추구한다. 서로 다른 출처에서 여러 데이터셋을 수집하고 그들 사이에 공통적인 것만 학습하는 방식이다. 따라서 출처의 일부만 악의적이라면 오동작이 차단된다. 이 방어 전략을 구현하기 위해, 우리는 각 출처의 데이터셋으로 별도의 참조 모델을 미세조정하고 디코딩 시점에 다음 토큰 분포를 집계한다. 우리는 두 가지 합의 디코더를 제안한다. 하나는 각 출처가 부여하는 최저 확률로 모든 토큰을 상한으로 제한하는 토큰 단위 최솟값이고, 다른 하나는 출처들이 상반된 방향으로 이동하는 토큰에서 기본 모델 확률로 되돌리는 기본 모델 대비(base-relative) 변형이다. 또한 출처 간 부분적 지지와 동일한 의도의 서로 다른 표면적 표현을 허용하기 위해 정확한 합의를 완화한다. 통제된 포이즈닝 과제, 잠재 학습(subliminal learning), 창발적 정렬 불일치(emergent misalignment) 전반에 걸쳐, 합의 디코딩은 공유된 바람직한 행동을 보존하면서 출처 특이적 오동작을 억제하며, 합집합 학습(union training)과 가중치 평균화가 원치 않는 행동을 유지하는 경우도 포함한다.

arXiv:2607.23386v1cs.AI

확신에 찬 오류: 최첨단 LLM 규칙 평가에서의 예외 체인 붕괴

Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation

본 논문은 최첨단 대규모 언어 모델(LLM)에서 "A is required UNLESS B applies, UNLESS C overrides B" 형태의 중첩 조건부 규칙 하에서 자격 평가 시 관찰되는 실패 유형인 예외 체인 붕괴(exception chain collapse)를 기록한다. 이 실패는 첫 관찰에서 재현되지만, 경험적 표면은 불안정하다. 2026년 3월과 4월 사이 동일한 모델 별칭에서 버전 변경 없이 여러 실패 셀이 조용히 닫혔다(건설 보험에서 GPT-5.4가 동일한 프롬프트와 하네스 하에서 96.6%에서 100%로 변함). 규제 워크플로에서 최첨단 모델의 정확도는 사전 통지 없이 이동하는 준수 경계이다. 권위 있는 출처로부터 LLM이 규칙을 작성하고 SMT 기반 층이 이를 결정론적으로 실행하는 신경-기호(neuro-symbolic) 아키텍처인 Aethis Eligibility Module을 제시한다. 이는 모델 드리프트, 추론 노력(reasoning-effort) 기본값, 또는 프롬프트 형식과 무관하게 작성된 명세와 일치한다. 세 가지 근거가 있다: (i) 네 규제 도메인에 걸친 225개 시나리오의 통제 벤치마크가 패턴과, 재현에서 이를 부분적으로 닫은 드리프트를 기록한다; (ii) 건설 보험에 대한 20개 시나리오 적대적 확장에서 엔진은 20/20을 기록하고, 네 가지 최첨단 구성 중 하나(GPT-5.4, 낮은 추론 노력)도 동일하나, 평가 시점 Anthropic 최강 모델을 포함한 나머지 세 구성은 동일한 보장 공백(coverage-gap) 엣지 케이스에서 실패한다; (iii) 아홉 개의 동료 심사 LegalBench 과제, 949개 홀드아웃 케이스에 대한 외부 검증에서 엔진은 세 최첨단 모델 모두보다 유의미하게 더 정확하다(결합 McNemar's p <= 0.003), Anthropic 모델 대비 큐레이션된 다중 요소(multi-prong) 과제에서 최대 +41점 마진. 기여는 침묵하는 추론 경계에서 불확실성을 의도적이고 감사 가능한 명세 경계로 재배치하는 것이다. 모든 시나리오, 규칙 인코딩, 결과는 공개되어 재현 가능하다.

arXiv:2607.23326v1cs.AI

ESF-Bench: 실전 기업 애플리케이션의 도전적인 슬롯 채우기(slot filling) 시나리오 벤치마킹

ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications

대규모 언어 모델(LLM)의 급속한 부상은 기업 전반에 걸쳐 혁신적인 도입을 이끌고 있다. 그러나 이러한 모델을 실제 환경에 배포하는 것은 복잡한 시스템 제약과 예상치 못한 사용자 행동으로 인해 고유한 과제를 제기한다. 이러한 애플리케이션 중 슬롯 채우기(slot filling)는 비구조화 입력을 구조화되고 실행 가능한 데이터로 변환하는 데 필수적이다. 본 연구에서는 8개의 고유 도메인에 걸쳐 810개의 다중 턴(multi-turn) 샘플과 6530개의 슬롯으로 구성된 도전적인 Enterprise Slot Filling 벤치마크인 ESF-Bench를 제안한다. 실제 기업 배포 과정에서 관찰된 57가지 가장 도전적인 슬롯 채우기 시나리오의 분류체계를 바탕으로 구축된 ESF-Bench는 현재 최첨단 LLM의 현저한 한계를 드러내며, GPT-OSS-120b low는 벤치마크 샘플의 20.7%에서만 슬롯을 성공적으로 추출한다. 이 분야의 지속적인 연구를 지원하기 위해 벤치마크 데이터셋, 분류체계, 그리고 동봉된 평가 코드를 GitHub에 공개한다.

arXiv:2607.23290v1cs.AI

RareLens: 분기하는 대규모 언어 모델 추론 정렬을 통한 종단 간 희귀질환 진료

RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning

희귀질환은 전체 인구의 추정 3.5%에서 5.9%에 영향을 미치지만, 70% 이상의 환자가 오진되며 많은 환자가 진단에 이르기까지 수년간 평가를 겪는다. 이는 초기 증상이 비특이적이고 관련 전문성이 부족하며 불균등하게 분포되어 있기 때문이다. 인공지능이 지원을 제공할 수 있지만, 기존 시스템은 진료의 고립된 단계, 주로 진단만 다룬다. 이들은 일반적으로 후속 검사 결과에 의존하며, 모델 간 변동성을 제거해야 할 노이즈로 취급한다. 여기서 우리는 이러한 변동성을 활용하여 희귀질환 전체 궤적에 걸친 임상 의사결정을 지원하는 시스템 RareLens를 제시한다. 이질적인 대규모 언어 모델들이 동일한 사례를 평가할 때, 분기하면서도 상호 보완적인 추론을 생성하며, RareLens는 이를 각 단계에서 단일한 수렴적이고 실행 가능한 결정으로 정렬하고 보정한다. 네 개의 조율된 모듈이 초진 위험 선별, 진단, 치료 계획 및 예후를 수행한다. 33개 Orphanet 카테고리 전체와 7,000개 이상의 질환에 걸친 157,525건의 실제 사례로 구성된 실세계 데이터셋 RareBench에서 개발 및 평가되었으며, RareLens는 GPT-5, DeepSeek-R1, Claude-3.7-Sonnet, Gemini-2.5-Pro를 포함한 테스트된 모든 최신 프론티어 모델을 각 단계에서 능가했다. 선별에서 0.917의 곡선 아래 면적(AUC)을, 진단과 치료에서 각각 65.5% 및 89.8%의 top-1 정확도를 달성했다. 1,287건의 사례와 23명의 의사에 걸친 외부 연구에서, 자율 RareLens와 RareLens 보조를 받은 의사 모두 무 보조 의사보다 상당히 우수한 성능을 보였다. 이러한 결과는 단일 모델의 스케일링보다 분기하는 모델 추론의 정렬이 고불확실성 임상 의사결정을 위한 일반화 가능한 전략을 제공함을 나타낸다.

arXiv:2607.23124v1cs.AI

AgentOmnia: 전 시나리오 애플리케이션을 위한 에이전트 모델 스케일링

AgentOmnia: Scaling Agentic Models for Full-Scenario Applications

대규모 언어 모델 에이전트는 빠르게 발전했지만, 도메인, 역량, 과제 난이도, 상호작용 설정 전반에 걸쳐 진전은 여전히 파편화되어 있다. 이를 전 시나리오 에이전트 스케일링으로 정의하고, To-Consumer(ToC), To-Business(ToB), To-Employee(ToE) 애플리케이션 전반에서 과제 공간 정의, 데이터 합성, 사후 학습, 평가, 개선을 조율하는 프레임워크인 AgentOmnia를 제안한다. 확장 가능한 Domain x Capability x Atomic Difficulty 분류체계가 이러한 단계들을 정렬하고 OmniaBench를 통한 세밀한 진단을 가능하게 한다. AgentOmnia는 양방향 환경-과제 합성을 도구 의존성, 프로그램 구조화, 솔버 기반 파이프라인과 결합하여 255,375개의 도구와 52,361개의 과제를 갖춘 5,018개의 상태 유지 환경을 구축한다. 프로그램, 솔버, 검증기가 정확성 신호를 제공하고, 지도 미세조정, 온라인 에이전트 강화학습, 롤백 커리큘럼이 사후 학습을 지원한다. 평가 실패는 표적화된 자기 진화를 위한 제품 요구사항 문서(PRD)로 변환된다. Qwen3-30B-A3B-Thinking-2507에서 출발하여, AgentOmnia는 OmniaBench 도전적 부분집합에서 통과율을 9.16%에서 37.11%로, OmniaBench, $τ^2$-Bench, DeepPlanning, VitaBench 전반의 거시 평균을 22.86%에서 41.69%로 높인다. 통일된 프로토콜 하에서 OmniaBench에서 평가된 에이전트 사후 학습 베이스라인을 선도하며 네 벤치마크 거시 평균 최고치를 유지한다. 또한 네 벤치마크 모두에서 Qwen3-235B-A22B-Thinking-2507을 능가하고 거시 평균에서 Qwen3.5-35B-A3B를 초과한다. 성능 향상은 세 가지 애플리케이션 분할, 열 가지 역량 차원, 여덟 가지 원자 난이도 요인, 90개 1급 도메인 중 76개에 걸쳐 나타나, 범주 특화가 아닌 광범위한 개선을 시사한다. 1라운드 연구는 PRD 기반 자기 진화에 대한 초기 근거를 제공하며, 더 큰 규모와 산업 환경에서의 검증을 촉진한다.

arXiv:2607.23123v1cs.AI

SQBench: 프로덕션 지향 워크플로우에서 언어 모델 에이전트의 작업 수행 평가를 위한 벤치마크

SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows

기존 대규모 언어 모델(LLM) 평가는 지식, 추론, 코딩, 도구 사용을 다루지만, 제약된 워크플로우 내에서 생성된 검증 가능한 산출물을 평가 단위로 삼는 경우는 드물다. 우리는 프로덕션 지향 작업 수행을 언어 모델 에이전트 관점에서 평가하기 위한 벤치마크인 SQBench를 제안한다. SQBench v1.0은 L1 원자적 역량, L2 복합 기술, L3 비즈니스 시나리오로 구성된 220개의 표준화된 태스크를 포함한다. 각 태스크는 에이전트가 입력 자산을 처리하고, 사용 가능한 도구를 활용하며, 명시적으로 지정된 산출물을 생성하도록 요구한다. 평가는 먼저 기능적 Completion을 계산한 다음, 10차원 Risk Matrix의 독립적으로 입증된 트리거로부터 Risk Penalty와 Performance를 도출한다. Strict Pass는 Completion = 1이고 Risk Penalty = 0을 요구한다. 공통 프로토콜 하에서 27개 모델 구성을 평가했으며, 구성-태스크 쌍당 1회 실행했다. 사전 지정된 Weighted Pass@1의 최고값은 60.5%이다. L3에서의 평균 Strict Pass@1은 18.5%이며, 모든 구성이 L3에서 L1과 L2 모두보다 낮은 성능을 보였다. 이는 도메인 제약 하에서의 작업 수행이 현재 태스크 집합 내 공통된 약점임을 시사한다. Completion = 1인 2,348개 결과 중 113개(4.8%)가 검증 불가능한 인용, 부적절한 리소스 사용, 형식 위반 등의 위험으로 인해 Strict Pass 기준을 충족하지 못했다. 이 결과는 기능적 완료만으로는 전달 품질을 완전히 특성화할 수 없으며, 위험 판정은 별도로 보고되어야 함을 보여준다.

arXiv:2607.23089v1cs.AI

LLM 기반 Triton 커널 최적화를 위한 컴파일러 기반 계층적 진단

Compiler-Grounded Hierarchical Diagnosis for LLM-Based Triton Kernel Optimization

대규모 언어 모델(LLM)의 최근 발전으로 자동화된 커널 생성 및 최적화가 가능해졌지만, 기존 접근 방식의 대부분은 컴파일 피드백 및 프로파일링 지표와 같은 표면적 신호에 의존한다. 이러한 신호는 커널이 느리다는 사실은 알려주지만, 특히 NPU와 같은 신흥 가속기에서 백엔드 컴파일러가 유리한 최적화를 구현하지 못하는 이유는 밝혀주지 않는다. 따라서 우리는 소스 재작성 전에 런타임 증상을 IR 구조 및 컴파일러 동작과 연결하는 점진적 교차층 진단 문제로 커널 최적화를 공식화한다. 이러한 통찰을 바탕으로 Triton 커널을 위한 컴파일러 기반 계층적 최적화 프레임워크인 본 시스템을 제안한다. 본 시스템은 가벼운 패턴 선별 및 프로파일링 진단에서 시작하여 더 깊은 증거가 필요할 때만 IR 귀속 및 컴파일러 기반 분석으로 단계를 높인 뒤, 증거에 기반한 소스 수준 재작성을 제안한다. 본 시스템을 Ascend NPU용 Triton에 구현하고, 표준화된 NPUKernelBench 기반 Ascend 950 벤치마크에서 성공적으로 변환된 37개 항목에 대해 평가한다. 이들 항목 전체에서 시스템은 초기 Triton 커널에서 최적화된 Triton 커널까지 기하평균 4.35$\times$, 중앙값 2.73$\times$의 속도 향상을 달성한다. 37개 중 22개는 2$\times$를 초과하고 13개는 5$\times$를 초과한다. 전체 분포는 기준선에 근접한 항목부터 큰 성능 향상까지 이르는 범위를 보이며, 이는 현재 시스템의 범위와 한계를 투명하게 보고할 필요를 부각한다.

arXiv:2607.23055v1cs.AI

SymStep: 논리적 추론을 위한 기호적 단계 검증

SymStep: Symbolic Step Verification for Logical Reasoning

사고의 연쇄(CoT) 프롬프팅은 제약이 밀집한 논리적 추론 작업에서 심각하게 실패할 수 있으며, 이때 검증되지 않은 오류가 단계마다 조용히 누적된다. 본 논문은 SymStep을 제안한다. LLM이 한 번에 하나의 원자적 주장을 생성하고(DEDUCE: Alice, pet, Cat), 이어서 경량 제약 전파기(constraint propagator)가 해당 주장이 이전에 수용된 추론과 일관되는지 검사하고, 모순을 거부하며, 함의된 사실을 자동으로 연쇄 전파한다. SymStep+G는 추가로 각 수용된 단계 이후 MRV(minimum remaining values) 안내를 제공하여 LLM을 가장 제약이 많은 미해결 변수 쪽으로 이끈다. 1,000개의 아인슈타인식 논리 퍼즐 벤치마크인 ZebraLogicBench의 35개 퍼즐 보존 부분집합에서 Direct와 CoT는 모두 0%를 달성한 반면 SymStep+G는 97%에 도달한다. AR-LSAT 분석적 추론 문제에서 SymStep은 100%를 달성하며 CoT의 87%를 상회한다. LGP-14에서 SymStep+G는 100%를 달성하고, 비교 대상인 가장 강력한 기존 기호+LLM 기준선인 Logic-LM과 CoT의 0%를 상회한다. Ablation 연구는 MRV 안내가 방향 없는 순환을 줄이는 핵심 메커니즘이며, 일관성 검사가 명시적 모순에 대한 안전망을 제공함을 보여준다. 5개 작업 도메인에 걸친 6개 벤치마크 전반에서 SymStep 변형들은 제약이 밀집한 작업과 산술 작업에서 모든 기준선과 동등하거나 그 이상의 성능을 보인다. AQUA-RAT 대수 실험은 이러한 이점이 제약 밀도에 특화되어 있음을 확인한다.

arXiv:2607.23045v1cs.AI

로봇 화학 실험실에서 대규모 언어 모델 에이전트 스트레스 테스트

Stress-testing large language model agents in a robotic chemistry laboratory

AI는 지식, 추론, 계획 생성을 통해 평가되지만, 과학적 에이전시(scientific agency)는 신뢰할 수 있는 물리적 행동과 증거에 대한 적응을 요구한다. 본 연구에서는 과학적 에이전시를 측정 가능하게 하기 위해 로봇 화학 실험실을 물리 세계 테스트베드로 사용한다. 기계 판독 가능한 스킬(machine-readable skills)로 노출된 45개의 모듈형 워크스테이션을 통해 4,608회의 시험이 수행되었다. 실험실 제약 조건 하에서 전문가 평가를 거친 실행 가능한 워크플로를 생성한 시험은 3.3%에 불과했으며, 최고 성능 시스템조차 28.1%에 그쳤다. 장기 호라이즌 계획(long-horizon planning)은 여전히 과제로 남아 있었다. 실행 가능한 워크플로 중 30개 이상의 작업을 포함한 것은 단 3개뿐이었으며, 가장 긴 것은 44개였다. 5라운드에 걸쳐 실험 피드백은 국소적 조정을 유발했지만, 워크플로 수준의 재계획이나 분석 방법 재설계는 이루어지지 않았다. 물리적 실행 가능성과 증거 기반 재계획을 측정 가능하게 함으로써, 본 연구는 배포 준비도에 대한 증거 기반 평가와 물리적으로 그라운딩된(physically grounded) 자율 연구를 향한 폐루프(closed-loop) 개선을 안내하는 진단 프레임워크를 제공한다.

arXiv:2607.23019v1cs.AI

Reason Popper-ly: 귀납 논리 프로그래밍으로 문맥 내 추론 패치하기

Reason Popper-ly: Patching In-Context Reasoning with Inductive Logic Programming

사고의 연쇄(CoT) 프롬프팅은 대규모 언어 모델(LLM)이 다단계 추론 과제를 수행할 수 있게 하지만, 생성된 중간 단계가 논리적으로 타당하다는 보장은 없다. 우리는 추론 trace로부터 관계 합성 규칙을 학습하고 이를 단계 수준 보정을 위한 온라인 검증기로 배포하는 귀납 논리 프로그래밍(ILP) 기반의 신경-기호(neurosymbolic) 프레임워크인 Reason Popper-ly를 제안한다. LLM이 생성한 trace가 주어지면, 이 방법은 학습된 규칙 테이블에 대해 각 추론 단계를 검사하고, 위반 유형을 진단하며, 기호적으로 도출된 수정으로 잘못된 단계를 다시 쓰고, 검증된 trace를 조건으로 모델이 최종 답을 생성할 수 있도록 나머지 접미사(suffix)를 재생성한다. 우리는 다중 홉(multi-hop) 친족 관계 추론 벤치마크인 CLUTRR에서 2~10홉(hop) 추론 chain에 대해 5개 언어 모델을 사용하여 평가한다. 모든 모델에서 Reason Popper-ly는 표준 CoT 대비 최종 정확도(terminal accuracy)를 일관되게 향상시키며, 가장 긴 chain에서는 소형 모델에서 최대 48%p, 최첨단(frontier) 모델에서 15%p의 개선을 보인다. 완전히 외생적인(exogenous) 기호 파이프라인과 비교할 때, 우리 방법은 모델의 성공적인 그라운딩(grounding)을 유지하면서 검증 가능한 추론 실패만 수정함으로써 더 어려운 인스턴스에서 더 나은 성능을 보인다. 또한, 단계 수준 ILP 검증은 최종 답 정확도를 넘어선 진단적 통찰을 제공하는 세밀한 오류 분류체계(fine-grained error taxonomy)를 산출한다.

arXiv:2607.22962v1cs.AI

ConsistencyGate: 자기 일관성 승인 제어를 통한 LLM 에이전트의 메모리 오염 방지

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

다중 턴으로 동작하는 LLM 에이전트는 외부 메모리 저장소에 사실을 축적하고 이를 하류 추론의 전제로 재사용한다. 따라서 한 단계에서 기록된 환각 사실은 이후 모든 단계에서 거짓 전제로 지속되며, 우리는 이러한 실패 양식을 메모리 오염(memory contamination)이라 부른다. 기존 메모리 관리는 검색(retrieval)과 용량은 다루지만 기록 시점(write-time)의 정확성은 다루지 않는다. 이 승인(admission) 문제는 유용성(utility) 또는 최근성(recency) 기준으로는 해결할 수 없으며, 통제되지 않은 오염은 긴 궤적(trajectory)에 걸쳐 누적된다. 우리는 ConsistencyGate를 제안한다. 이는 컨텍스트 c에서 추출된 후보 사실 m을 확정하기 전에 LLM에 K회 질의하여 soft support score를 얻고, 평균이 임계값을 초과할 때만 m을 승인하는 기록 시점 승인 게이트이다. 이 메커니즘은 모델에 무관하며 미세조정이 필요 없고, 지연 시간에 민감한 배포를 위한 log-probability 변형에서는 단일 순전파로 축약된다. 자연 데이터에서의 효과를 측정하기 위해, LoCoMo와 MSC의 장기 대화에 통제된 단일 세부 정보 손상(single-detail corruption)을 심어 두 개의 실제 대화 벤치마크(LoCoMo-Contam 및 MSC-Contam)를 구성하고, near-oracle 상한을 격리하는 구조화된 합성 코퍼스(MemContam)로 이를 보완한다. 네 가지 LLM 백본에 걸쳐 ConsistencyGate는 모든 것을 기록하는(write-everything) 기준선 대비 모든 벤치마크에서 오염을 줄이며, 비용은 소스 컨텍스트에서 암시적으로만 진술된 사실에 집중된다. 우리는 게이트 구현과 함께 세 벤치마크를 모두 공개한다.

arXiv:2607.22947v1cs.AI

AI 에이전트는 네트워크를 추론하지 말고 번역하게 하라

Let AI Agents Translate Networks, Not Reason About Them

형식 모델은 도달 가능성 검증, 장애 위치 파악, 또는 변경의 영향 범위(blast radius) 예측을 가능하게 한다. 그러나 형식 모델을 손으로 작성하려면 드문 전문성이 필요하고 네트워크가 자주 변경되면서 최신 상태를 유지하기 어렵기 때문에, 실제 운영 네트워크 중 형식 모델을 갖춘 경우는 사실상 없다. 핵심적으로 네트워크 모델링은 타이포그래피적(typographical) 작업이다. 즉, 네트워크 산출물(예: 구성, 토폴로지, 라우팅 상태)을 형식 논리의 규칙으로 번역하는 것이다. 이러한 종류의 번역은 오늘날 대규모 언어 모델(LLM)이 잘 수행하는 영역이다. 자유 형식의 AI 추론과 달리, 이러한 번역은 형식적으로 검증할 수 있다. 모델링이 더 이상 병목이 아니게 되면, 대규모·복잡한 네트워크에 대해 AI에게 추론을 맡기는 것은 더 이상 타당하지 않다. 따라서 본 논문의 입장은 자율 AI 에이전트를 end-to-end로 총괄하게 두려는 주류 흐름과 정면으로 대립한다. 우리는 대신 AI를 번역에 한정하고, 신뢰할 수 있는 장기 추론(long-horizon reasoning)을 위해 솔버(solver)에 의존하며, 일반적인 네트워크 동작에 대한 재사용 가능한 형식 모델을 구축한 뒤 이를 특정 작업(예: 근본 원인 분석(RCA))에 맞게 특화한다. 우리는 네트워크 고유의 산출물로부터 에뮬레이션된 운영 규모 WAN의 기호 모델을 구축하고 검증하는 TypoNet을 개발한다. 예비 평가에서 TypoNet은 두 가지 방식으로 도움이 됨을 보여준다. 단독으로 사용할 때 TypoNet은 운영 질문(예: 도달 가능성 검증, 변경 영향 분석)에 LLM보다 더 빠르고, 더 저렴하며, 더 신뢰성 있게 답한다. AI 에이전트의 도구로서 TypoNet은 더 낮은 비용으로 장애 위치 파악(fault localization) 성능을 향상시킨다. 그 결과는 검증 가능한 네트워크 모델을 구축하고 신뢰할 수 있는 장기 추론을 위해 솔버에 의존하는 AI의 필요성을 뒷받침한다.

arXiv:2607.22926v1cs.AI

SAGE: 고영향 생성형 AI의 검증된 라이프사이클 제어를 위한 안전성 우선 심층 방어 가드레일

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

고영향 생성형 AI는 치명적 오용을 단순한 프롬프트 필터링 문제가 아니라 라이프사이클 제어 문제로 만든다. SAGE는 안전성 우선, 권한 분리(authorization-separated) 아키텍처로, 신뢰할 만한 치명적 활성화(catastrophic-enablement) 위험이 유틸리티, 지연 시간(latency), 또는 상업적 목표가 고려되기 전에 허용 가능성(admissibility)을 제약한다. 이는 서명된 릴리스 매니페스트, 다양한 탐지기, 견고한 위험 포락선(risk envelopes), 최소 위험 기본값(least-risk defaults), 출력 검사, 3값 모니터링(three-valued monitoring), 보호된 감사 체인, 격리(containment), 및 롤백을 결합한다. 형식적 결과는 안전성 우선순위, 보수적 탐지기 경계, 단조 릴리스 게이팅(monotone release gating), 변조 방지 기록(tamper-evident records), 및 권한 절단(authorization cut)을 확립한다; 두 PRISM 추상화는 명시적 가정 하에서 권한 분리와 라이프사이클 불변식을 검증한다. 동결된(frozen), 벤더 대칭(vendor-symmetric) 연구는 GPT 스냅샷 4개, Claude 스냅샷 4개, Gemini 스냅샷 2개 각각에 84건의 사례를 전송했다: 840회 호출은 794개의 대상 응답, 46개의 제공자 오류, 375개 응답을 아우르는 449건의 성공적 판정을 산출했다. 8개 스냅샷이 완전한 판정된 도메인 커버리지를 갖추었다. 유해 준수(harmful-compliance) 추정치는 낮았으며, 변동은 주로 양성(benign) 유틸리티와 안전한 재지향(safe redirection)에서 발생했다. Claude, Gemini, 또는 GPT-5 스냅샷과 GPT-5 mini 및 GPT-5 nano 스냅샷을 포함하는 7개의 다중성 보정(multiplicity-adjusted) 대비가 지지되었으며, Claude 또는 Gemini 스냅샷과 GPT-5 또는 GPT-5.5 간의 검증된 대비는 보정 후에도 유의하지 않았다. 관측된 유해 준수 범위는 도구, 검색(retrieval), 이력, 또는 인간 심사(human adjudication) 없이 프롬프트당 1회 생성에서 나온 보수적이고 프로토콜에 구속된 관점이며, 운영적 지원의 상한이 아니다. 사전 등록(preregistered) 확장은 잠금 분할(locked split), 반복 샘플링, 다중 턴 및 샌드박스 도구 조건, 도메인 전문가 채점을 사용하여 더 넓은 최선-최악(best-worst) 격차를 검증하는 방법을 명시한다.

arXiv:2607.22917v1cs.AI

Agent Team Work Zone: 장기 운영 코딩 에이전트 팀을 위한 자동화·영속 워크스페이스

Agent Team Work Zone: An Automated, Persistent Workspace for Long-Lived Coding Agent Teams

대규모 언어 모델(LLM) 에이전트는 코딩 및 프로그래밍 워크플로를 크게 개선해 왔다. 특히 Claude Code는 가장 강력한 LLM 코딩 에이전트 중 하나로, 복잡한 코딩 작업을 수행할 수 있다. 그러나 여러 단점이 장기적인 에이전틱(agentic) 워크플로를 약화시킬 수 있다. (1) 복구 불가능한 에이전트 팀: Agent Teams 특징은 강력하지만, 각 팀원이 축적한 작업 상태는 프로세스가 중단되면(예: 터미널이 닫히면) 사라지며 재개할 수 없다. (2) Compaction이 작업 세부사항을 훼손: Compaction은 대화를 요약으로 압축하여 에이전트의 작업 세부사항이 모호해진다. (3) 에이전틱 "기술 부채(technical debt)": 시간이 지나면서 사용자의 결정과 에이전트의 작업이 압축된 오래된 채팅에 갇히게 되어, 프로젝트 유지·검토가 점점 어려워진다. (4) 과도한 프롬프트 작성: 작업을 할당하거나 넘기려면 사용자가 기대하는 에이전틱 성능을 얻기 위해 반복적으로 긴 프롬프트를 작성해야 한다. 우리는 이러한 문제를 해결하기 위해 Claude Code의 네이티브 Agent Teams를 중심으로 구축된 파일시스템 기반 운영 레이어인 ATWZ(Agent Team Work Zone)를 제안한다. 핵심 설계 원칙은 각 에이전트와 팀원을 인간 직원처럼 다루고, "workstation"이라 불리는 전용 디렉터리에 저장된 파일에 중요한 작업 상태를 보존하는 것이며, 이때 해당 파일을 사용하고 유지하는 스킬, 훅, 스크립트도 함께 둔다. ATWZ를 사용하면 에이전트 팀이 작업 상태를 주기적으로 백업할 수 있어, Compaction 이후에도 에이전트의 지식을 복구할 수 있다. 프로세스가 종료된 후에도 팀을 단일 명령으로 복원할 수 있다. 이러한 기능은 위에서 설명한 에이전틱 "기술 부채"를 상당히 완화한다. 또한 ATWZ 내에서 에이전트 "직원"들이 서로 문서를 전송할 수 있어, 프롬프트 작성에 필요한 노력을 크게 줄인다.

arXiv:2607.22902v1cs.AI

AI는 앱 목업에서 백로그를 얼마나 잘 생성할 수 있는가?

How Well Can AI Generate Backlogs from App Mockups?

스프린트 백로그를 작성하려면 상당한 노력이 필요하며, 에픽, 사용자 스토리, 태스크와 같은 항목이 누락되거나 일관되지 않게 명세될 수 있다. 우리는 프로젝트 초기 단계에서 확보 가능한 산출물인 시각적 앱 목업으로부터 백로그 생성을 지원하는 멀티모달 접근법을 제안한다. GPT-4o에 대해 세 가지 프롬프트 전략을 평가한다: 제로샷 기준선, 비전-언어 추론을 위한 Compositional Chain-of-Thought(CCoT), 그리고 페르소나 기반 프롬프트. 두 국가에 걸친 7개의 앱 개발 프로젝트를 연구하고 개발자들에게 결과에 대해 인터뷰했다. 전반적으로 기준선 프롬프트는 정밀도보다 재현율을 우선하는 반면, CCoT는 더 균형 잡혀 에픽과 사용자 스토리에 대해 평균 F1 점수 52-66%를 달성했다. 태스크는 정확하게 생성하기가 더 어려웠다. 아키텍처 컨텍스트, 특히 백엔드 태스크(정밀도 향상 최대 35%)를 추가할 때 정밀도 향상이 가장 일관되었다. 개발자 인터뷰에서는 false positive의 최대 26%가 여전히 유용하다고 평가되었으며, 이는 백로그 생성의 창의적이고 개방적인 성격을 반영한다. 이를 포착하기 위해 ground-truth 평가와 개발자 평가를 보완하는 새로운 지표인 Revised Recall(수정된 재현율)을 제안한다. 우리의 발견은 아키텍처 컨텍스트를 포함한 하이브리드 프롬프팅이 초기 목업으로부터 백로그 생성을 지원할 수 있음을 시사하지만, 결과는 항목 유형에 따라 달라지며 개발자의 검토는 여전히 필요하다.

arXiv:2607.22854v1cs.AI

온디바이스 에이전트 증강 실시간 통신을 위한 조율형 네트워킹

Coordinated Networking for On-Device Agent-Augmented Real-Time Communication

AI 에이전트는 에이전트 증강 실시간 통신(RTC)이라는 새로운 패러다임을 가능하게 하며, 인간은 고수준 협업에 집중하는 동안 에이전트는 상호작용을 지원하기 위해 실시간으로 정보를 자율적으로 검색, 분석, 생성한다. 이러한 앱은 다양한 분야에서 새로운 경험을 가능하게 한다. 예를 들어, 기업 직원들이 법률 문서를 공동 작성할 때 각자의 에이전트가 대신 논의하고 초안을 작성하여 서로의 작업을 수동으로 검토해야 하는 부담을 덜어준다. 기존 클라우드 기반 에이전트는 프라이버시 위험과 확장 불가능한 서버 비용 문제를 겪기 때문에, 온디바이스 에이전트 증강 RTC는 유망한 대안을 제공한다. 그러나 이 온디바이스 패러다임은 새로운 네트워킹 과제를 도입한다: 인간(라이브 비디오 스트리밍용)과 에이전트(분석을 위한 컨텍스트 파일 전송용)가 생성하는 동시 트래픽 흐름 간의 경합이다. 우리는 에이전트 증강 RTC 앱에서 높은 라이브 비디오 품질과 낮은 에이전트 응답 지연 시간을 모두 보장하기 위한 프레임워크인 HFS를 설계한다. 우리는 앱 주도 다중 흐름 전송 접근법을 통해 이 목표를 달성하며, 통합 앱 층 오케스트레이터가 이질적인 앱 요구사항에 따라 라이브 비디오와 에이전트 컨텍스트 흐름의 전송 속도를 공동으로 제어한다. WebRTC와 llama.cpp 위에 구축한 우리의 프로토타입은 HAFS가 베이스라인을 능가하며, 비디오 품질을 1.5배 높이고 에이전트 응답 시간을 31% 줄였음을 보여준다.

arXiv:2607.22750v1cs.AI

자기 협상 계약을 통한 협력 약속

Commitment To Cooperation With Self-Negotiated Contracts

AI 에이전트가 다중 에이전트 환경에서 점점 더 큰 자율성으로 작동함에 따라, 상호 이익을 창출하기 위해 다른 에이전트 및 인간과 협력하는 방법을 학습해야 할 것이다. 그러나 협력의 비용은 종종 초기에 발생하는 반면 이익은 나중에만 실현되므로 배반(defect) 유인이 생겨 협력은 어려운 과제이다. AI 에이전트는 어떻게 약속(commitment)을 통해 협력할 수 있는가? 본 연구에서는 인류 사회가 이러한 유형의 위임-대리인(principal-agent) 문제를 해결하는 데 사용해 온 법률 제도와 계약(contracting)에서 영감을 얻는다. 계약은 약정의 관찰 가능한 표현을 제공하며, 조건의 집행을 통해 신뢰할 수 있는 약속(credible commitments)을 가능하게 한다. 우리는 목표를 향한 탐색(navigation)과 협상(bargaining)을 결합한 시공간(spatial-temporal) 게임 CT에서 대규모 언어 모델(LLM) 기반 에이전트를 사용하여 계약 기반 협력의 역할을 연구한다. 코드로 컴파일되는 형식 계약(formal contracts)부터 재해석이 필요한 자연 계약(natural contracts)까지 다양한 계약 표현을 연구한다. 서로 다른 크기와 제공자(provider)를 사용하는 다양한 LLM 백본을 갖춘 에이전트를 평가한다. 자기 협상 계약(self-negotiated contracts)이 일반적인 거래(regular trading)만으로는 가능한 수준을 넘어 협력적 결과를 개선할 수 있음을 발견한다.

arXiv:2607.22732v1cs.AI

LLM 게임 에이전트의 공간 추론: 인과적 컨텍스트와 다단계 계획의 영향

Spatial Reasoning in LLM Game Agents: Impact of Causal Context and Multi-Step Planning

대규모 언어 모델(LLM) 기반 게임 에이전트는 종종 더 복잡한 과제에서 낮은 성능을 보인다. 본 연구는 이러한 실패가 제한된 공간적 추론과 연관되는지 검토하고, 인과적 프롬프트 증강과 다단계 계획이 응답 지연(latency)을 관리하면서 승률을 개선할 수 있는지 평가한다. 오픈소스 Qwen3 모델 계열을 사용하여 다양한 모델 규모, 추론 모드, 계획 지평(planning horizon)에 걸쳐 실험을 수행한다. 또한 공간 내비게이션을 분리하기 위해 5개 난이도 수준을 갖춘 3개의 맞춤형 게임으로 구성된 집중형 GVGAI 벤치마크를 도입한다. 평가는 두 가지 패러다임을 따른다: 에이전트가 정확한 좌표를 찾는 능력을 시험하는 초기 ``위치 지정 실험(positioning experiment)''과 게임 플레이 성공에 대한 연구. 결과는 사고(thinking) 모드가 활성화된 더 큰 모델이 자신의 위치를 더 정확하게 식별하지만, 좌표 일치에서의 전반적인 성능은 더 작은 모델에서 여전히 제한적임을 보여준다. 승률은 게임 레벨과 레이아웃 복잡도가 증가함에 따라 감소하며, 이는 벤치마크의 난이도 스케일링을 검증한다. 프롬프트에 인과적 컨텍스트를 통합하면 에이전트의 성공률이 향상되는 경향이 있으며, 특히 더 큰 모델에서 그렇다. 사고 모드와 더 긴 계획 지평을 활성화하면 성능이 크게 향상되지만, 다단계 계획은 평균 단계당 응답 시간을 추가로 줄여 추론 깊이와 실행 속도 사이의 실용적인 절충을 제공한다.

arXiv:2607.22713v1cs.AI

SEGRA: Gremlin 기반 질의응답을 위한 구조화된 경험 기반 그래프 추론 에이전트

SEGRA: Structured Experience-Guided Graph Reasoning Agent for Gremlin Based Question Answering

기업 IT 지원 지식 그래프는 사례, 사용자, 장치, 증상, 분류 체계 카테고리, 근본 원인, 과거 해결 기록 간의 풍부한 관계를 포착한다. 그러나 Gremlin으로 이를 조회하려면 그래프 스키마, 순회 의미론, 엣지 방향성, 속성 그래프 특유의 제약에 대한 지식이 필요하여 비전문 운영자가 사용하기 어렵다. 우리는 기업 text-to-Gremlin 질의응답을 위한 경험 기반 에이전트인 SEGRA를 제안한다. SEGRA는 의도 라우팅, 스키마 및 분류 체계에 기반한 쿼리 생성, 멀티샷 분해, 실행 인식 검증, 그리고 검증된 쿼리 패턴을 재사용하는 커리큘럼 부트스트랩 스킬 라이브러리를 통합한다. 기업 IT 지원 벤치마크에서 SEGRA는 백본만 사용한 사고의 연쇄(Chain-of-Thought) 프롬프팅 대비 평균 판정 점수가 7.0배 높다. 스킬 라이브러리는 스킬이 없는 SEGRA 대비 LLM 호출을 20% 줄이고 달러 비용을 18% 절감하면서도 답변 품질을 유지한다. 이 결과는 스키마에 기반한 에이전트 설계와 재사용 가능한 실행 경험이 기업 그래프 QA의 정확도와 효율성 모두를 향상시킴을 보여준다.