PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23130v1cs.AI

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2609.23071v1cs.AI

대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기

Tutoring Large Language Models to be Domain-adaptive, Precise and Safe

본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.

arXiv:2609.23064v1cs.AI

FireWorldBench: 결합장 화재 역학을 통한 복합 물리 세계 지능 벤치마킹

FireWorldBench: Benchmarking Complex Physical World Intelligence through Coupled-Field Fire Dynamics

실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.

arXiv:2609.23043v1cs.AI

구조화된 지식 트리를 통한 LLM 기반 탐정 게임의 서사 신뢰성 및 인식론적 페이싱 강제

Enforcing Narrative Reliability and Epistemic Pacing in LLM-Driven Detective Games via Structured Knowledge Trees

대규모 언어 모델(LLM)은 인터랙티브 게임에서 개방형 대화를 가능하게 하지만, 비결정적 출력 때문에 작가적 통제, 사실적 일관성, 의도된 정보 공개 순서를 유지하기 어렵다. 이러한 문제는 조기 공개나 날조된 세부사항이 플레이어 진행의 논리를 훼손할 수 있는 탐정 게임에서 특히 크다. 본 연구는 개방형 심문 게임에서 대화를 제어하기 위해 구조화된 지식 트리(Structured Knowledge Tree) 아키텍처와 3-에이전트 LLM 파이프라인을 제안한다. 이 시스템은 지식 검색, 대화 생성, 응답 검증을 분리하여 가상 용의자가 현재 서사 상태에서 허용된 정보만 공개하도록 한다. 플레이 가능한 탐정 게임 테스트베드인 The Interrogation of Adrian Gale과 환각 감소, 작가가 작성한 공개 순서 준수, 지각된 논리적 진행을 조사하는 공식 사용자 연구를 통해 접근법을 평가한다. 결과에 따르면 구조화된 아키텍처는 중대한 환각을 64.78% 감소시키고 서사의 조기 공개를 완전히 방지한다. 엄격한 기계적 제약이 강제적 대화 공개와 관련된 사용성 트레이드오프를 야기했지만, 시스템은 엄격한 인식론적 페이싱을 성공적으로 강제하고 플레이어에게 사건 해결을 향한 명확한 주관적 진행감을 제공한다.

arXiv:2609.23023v1cs.AI

PINNForge: 대규모 언어 모델을 통한 PDE 해법을 위한 물리 정보 신경망(PINN)의 실행 기반 진화적 설계

PINNForge: Execution-Grounded Evolutionary Design of Physics-Informed Neural Networks for PDE Solving via Large Language Models

물리 정보 신경망(PINN)은 네트워크 표현, 샘플링, 손실 구성, 최적화에 걸친 조율된 선택을 요구하며, 효과적인 구성은 편미분 방정식(PDE)마다 크게 달라지는 경우가 많다. 기존 자동 PINN 설계 방법은 후보 구성을 탐색할 수 있지만, 실제 학습 과정에서 드러나는 정보는 여전히 주로 평가에 쓰일 뿐 이후 설계를 개선하는 데 활용되지 않아 반복적인 시행착오와 학습 예산의 비�효율적 사용을 낳는다. 우리는 실행 피드백 기반 자동 PINN 설계를 위한 LLM 구동 진화 프레임워크인 PINNsForge를 제안한다. PINNsForge는 PDE 관련 사전 지식으로부터 다양한 후보 구성을 생성하고, 실제 학습을 통해 이를 평가한 뒤, 고성능 설계와 누적된 실행 증거를 LLM에 다시 제공한다. 관측된 최적화 거동을 안내로 삼아 LLM은 결합된 PINN 설계 구성 요소를 정교화·재결합·탐색하며, 생성, 실행, 피드백, 진화의 지속적 순환을 이룬다. 일회성 탐색이나 평가만을 위한 피드백과 달리 PINNsForge는 학습 경험을 목표 PDE에 대한 개선된 설계 결정으로 점진적으로 전환한다. 25개 PDE 벤치마크에서 PINNsForge는 RoPINN, PINNsFormer, PINNsAgent와 비교하여 24개 과제에서 최저 평균 MSE를 달성한다. 절제(ablation) 연구는 PDE 지식 베이스, 실행 피드백, 진화 탐색의 중요성을 추가로 확인한다. 이 구성 요소들을 제거하면 각각 전체 PINNsForge 대비 평균 MSE가 3.74배, 12.10배, 10.10배로 증가한다.

arXiv:2609.22987v1cs.AI

OptiSkill: LLM 기반 최적화 모델링을 위한 계층적·진화형 SkillBank

OptiSkill: A Hierarchical and Evolving SkillBank for LLM-Based Optimization Modeling

자동화된 운영연구(OR) 모델링은 LLM이 자연어 의사결정 문제를 올바른 수학적 프로그램으로 변환할 것을 요구한다. 기존 방법은 개별 공식화(formulation)를 개선할 수 있지만, 종종 문제를 고립하여 해결하여 재사용 가능한 경험을 거의 남기지 못하고 유사한 공식화 오류를 반복한다. 선행 메모리 기반 접근법은 예시, 사고, 또는 인사이트를 참조로 저장하는 반면, OR 모델링은 문제 서사에 걸쳐 전이되는 재사용 가능한 공식화 skill이 필요하며 구체적인 모델링 결정을 안내한다. 우리는 LLM 기반 OR 모델링을 위해 계층적이고 진화하는 SkillBank를 구축하는 skill-증강 프레임워크인 OptiSkill을 제안한다. SkillBank는 solver로 검증된 경험을 재사용 가능한 skill로 저장하며, 문제 수준 공식화 골격을 위한 Global Strategies와 지역적 오류 방지 규칙을 위한 Step Experiences를 둔다. 이는 안정적인 배치 수준 테스트 시간(test-time) 진화를 통해 더 정제되며, 후보 skill은 검증 후에만 통합된다. 8개 OR 모델링 벤치마크에서의 실험은 OptiSkill이 다양한 LLM 백본에서 공식화 정확도를 개선하고, 강력한 에이전트(agentic) baseline을 능가하며, SkillBank의 커버리지와 신뢰성을 확장함으로써 추가 이득을 얻음을 보여준다. 코드와 데이터는 https://github.com/rachhhhing/OptiSkill 에서 이용 가능하다.

arXiv:2609.22951v1cs.AI

AgentRouter: 비용 최적 다단계 에이전트 워크플로우를 위한 이종 모델 라우팅

AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows

기업용 에이전트 시스템이 궤적의 모든 단계를 프론티어 모델로 라우팅하면, 더 작은 모델도 동등하게 처리할 수 있는 하위 과제에 추론 예산의 60–80%를 낭비한다. 기존 라우팅 솔루션은 단일 턴(single-turn) 쿼리 할당을 최적화하지만, 에이전트 워크플로우에만 있는 한 속성을 간과한다. 단일 궤적 안에서 하위 과제 복잡도가 크게 달라진다는 점이다. 계획 단계는 프론티어급 추론을 요구할 수 있는 반면, 이어지는 포맷팅 단계는 7B 모델만으로 충분할 수 있다. 우리는 단계 수준(step-level) 모델 라우팅을 에이전트 궤적에 대한 순차 할당 문제로 형식화하고 AgentRouter를 제안한다. AgentRouter는 경량 분류기(1,200만 파라미터, A100 GPU에서 단계당 5ms 미만 오버헤드)로, 라우팅 시점에 추출 가능한 다섯 가지 특징을 사용해 각 궤적 단계를 네 가지 모델 계층 중 하나에 매핑한다. 계획, 코딩, 연구, 데이터 분석 과제에 걸친 50,000개의 주석이 달린 에이전트 궤적 단계로 학습된 AgentRouter는 프론티어 전용 baseline 대비 72% 비용 절감을 달성하며, 프론티어 전용 품질의 97.3%를 유지한다(End-to-end 과제 완료율에서 3% 미만 저하). 단계별 라우팅 정확도는 최소 복잡도 단계에서 91%, efficient 계층 단계에서 85%에 이르며, 더 어려운 중간·프론티어 계층에서는 76–82%이다. 동일 벤치마크에서 RouteLLM과 FrugalGPT(단계별 적용)는 각각 31%와 44%의 비용 절감에 그친다. 이는 단일 턴 학습 신호가 궤적 수준의 품질 의존성을 포착하지 못하기 때문이다.

arXiv:2609.22939v1cs.AI

선형 컨텍스트를 넘어: 로컬 9B 언어 모델의 장편 소설 추론을 위한 그래프 안내 증거 탐색

Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model

장문 맥락 모델은 소설을 사람이 인쇄물을 읽듯 읽는다. 서사 순서대로 토큰을 하나씩 처리하며, 전체 이력이 고정된 어텐션 예산을 두고 경쟁한다. 탐정은 그렇게 일하지 않는다. 무엇이 언제 일어났는지 정리하고, 누가 누구와 어떻게 연관되는지에 대한 지도를 유지하여, 1장의 단서가 책 끝에서 던진 질문과 만날 수 있게 한다. 우리는 고정(frozen) 지식 그래프가 소규모 로컬 모델에 그와 같은 자유를 줄 수 있는지 검증한다. 탐정 소설 30편과 객관식 문제 234개에 대해, 하나의 고정된 qwen3.5:9b 리더가 아홉 가지 조건에서 답한다. 다섯 가지 그래프 경로, 최근 윈도우 기준선, 전권 압축, 일반 벡터 검색, 문제만 제시하는 대조군이다. 가장 강한 그래프 경로는 53.85%(126/234)로, 최근 윈도우 46.15%, 압축 51.28%, 벡터 검색 51.71%, 문제만 40.17%를 각각 상회한다. 책 없이는 어떤 모델도 답할 수 없는 부분집합에서 그래프 경로는 42.86%에 이른다. 그래프-기준선 대비 15건 중 Holm 보정을 통과한 것은 없으므로, 결과는 설계에 대한 탐색적 증거로 제시한다. 두 가지 구조적 발견은 요약 수치보다 검증에 더 견딘다. 주석된 증거는 이러한 그래프의 위상학적 코어(topological core)에 집중되며(풀링 기준 2.35배 enrichment), 두 그래프 구축 파이프라인은 주석 커버리지(단서 단락의 16% 대 73%)에서 크게 달라, 풀링된 정확도만으로는 어떤 병목이 측정되는지 가려진다.

arXiv:2609.22878v1cs.AI

ISA-Bench: 명령어 집합 아키텍처 전반의 계산 추론 벤치마크

ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures

대규모 언어 모델(LLM) 코드 생성 벤치마크는 Python과 Java처럼 학습 데이터가 풍부한 언어를 주로 평가하며, 모델은 이처럼 풍부한 학습 데이터로 이득을 본다. 익숙하지 않은 계산 모델에서의 추론—단 하나의 빼기(subtract) 명령으로 산술을 유도하거나, 통신하는 노드들 사이에서 병렬 프로그램을 조율하거나, 논리 게이트를 회로로 배선하는 것—에 대한 근거는 제한적이다. 우리는 제약된 명령어 집합을 갖는 프로그래밍 게임 벤치마크인 ISA-Bench를 제안한다. 각 게임에 대해 전체 실행 스택(파서, VM, 검증기)을 제공하여, 반복적 개선을 위한 구조화된 피드백과 함께 자동 평가를 가능하게 한다. 추론 모델은 코드 특화 및 범용 모델보다 더 높은 평균 해결률을 달성하지만, 익숙하지 않은 구문은 여전히 실패의 주요 원인으로 남는다. 모델은 반복적 피드백으로 더 많은 과제를 해결하지만, 그 이득은 아키텍처마다 크게 달라진다. 우리는 타당한 계산 전략을 식별하는 것과 이를 대상 ISA에서 올바른 프로그램으로 표현하는 것 사이의 반복적으로 나타나는 단절을 드러내는 추론–실행 격차(reasoning–execution gap, REG) 분석을 도입한다. 코드는 오픈소스로 공개되었다.

arXiv:2609.22851v1cs.SD

이산형 vs. 연속형: LALM의 통합 오디오 이해에 관한 종합적 연구

Discrete vs. Continuous: A Comprehensive Study of Unified Audio Understanding in LALMs

대규모 오디오 언어 모델(LALM)은 연속형 특징(continuous features) 또는 이산형 토큰(discrete tokens)을 활용하지만, 범용 오디오 이해를 위한 최적의 표현 패러다임에 대해서는 여전히 논쟁이 이어지고 있습니다. 기존 벤치마크는 좁은 도메인에 초점을 맞추거나 LALM 문맥 외부에서 인코더를 평가하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 음성(speech), 음향(sound), 음악 전반에 걸쳐 연속형 및 이산형 표현을 체계적으로 평가합니다. SmolLM2-135M부터 Llama-3-8B에 이르는 모델 규모에 걸쳐 이중 평가 전략을 갖춘 UniARC 프레임워크를 활용하여, 데이터양, 모델 용량 및 계산 효율성 간의 동적 관계를 분석합니다. 실험 결과, 오디오 이해를 위한 토큰화에서 의미론적 제약(semantic constraints)이 중추적인 역할을 한다는 점을 밝혀냈으며, 백본 스케일링이 특히 데이터가 제한된 태스크에서 오디오 표현의 정보 손실을 보상하지 못함을 입증합니다. 이러한 발견은 향후 LALM에서 의미론적 밀도(semantic density), 충실도(fidelity), 효율성 간의 균형을 맞추기 위한 실질적인 지침을 제공합니다.

arXiv:2609.22792v1cs.CR

SelfOp: 자기 개선 보안 에이전트를 위한 최적화 알고리즘

SelfOp: An Optimization Algorithm for Self-Improving Security Agents

취약점 발견, 익스플로잇 재현, 패치 생성과 같은 보안 작업에 대규모 언어 모델(LLM) 에이전트가 점점 더 많이 활용되고 있습니다. 이러한 에이전트를 모델 수준에서 개선하려면 전문가의 시연이나 계산 가능한 보상이 필요하지만, 보안 작업에서는 흔히 그러한 요소가 제공되지 않습니다. 즉, 추적(trace)에는 많은 비용이 들고, 실패는 진단하기 어려우며, 보상은 희소하고 계산 불가능합니다. 이에 따라 노력의 초점은 하네스(harness)와 컨텍스트로 옮겨가고 있지만, 수동 튜닝은 작업별 전문 지식이 필요하고 확장성이 떨어지는 반면, 자동화된 방식은 희소한 정답(ground truth), 더 강력한 옵티마이저 모델, 혹은 값비싼 시행착오로 귀결되는 무유도 제안-평가 루프에 의존합니다. 본 논문에서는 실행 하네스와 모델 가중치를 수정하지 않고도 동결된 보안 에이전트의 작업 컨텍스트(인스트럭션, 스킬, 참조 문서)를 자동으로 개선하는 알고리즘인 SelfOp을 소개합니다. SelfOp은 컨텍스트 최적화를 연쇄 법칙(chain rule)에서 영감을 얻은 텍스트 그래디언트 경사하강법으로 정식화합니다. 단일 인스턴스의 결과로부터 평가자, 에이전트의 궤적(trajectory), 그리고 에이전트의 동작을 형성한 컨텍스트 아티팩트를 통해 오류 신호를 역전파하여 인스턴스별 텍스트 그래디언트를 도출합니다. 그래디언트는 클러스터링, 랭킹 및 필터링을 통해 여러 인스턴스에 걸쳐 누적되며, 인스턴스 간 합의가 이루어질 때만 반영(commit)됩니다. 수렴 감지기는 그래디언트 신호 자체를 모니터링하여, 별도의 홀드아웃 검증 데이터 없이도 컨텍스트가 학습 데이터 내 일반화 가능한 정보를 모두 흡수하면 동작을 중단합니다. 저자들은 실제 취약점 재현 작업 벤치마크인 CyberGym에서 SelfOp을 평가합니다. 200개 미만의 학습 예제만으로도 SelfOp은 GPT-5.4-mini(Codex 포함)의 성능을 17점 향상(자기 개선)시켜 프론티어 GPT-5.4 기준선을 6점 능가하도록 만들었으며, GPT-5.4 자체에 대해서도 18.5점의 자기 개선을 이끌어냈습니다. 최적화된 스킬은 모델 간 전이(transfer)도 가능하여, SelfOp으로 최적화된 스킬이 모델에 특화된 패턴이 아닌 일반화 가능한 작업 지식을 학습함을 보여줍니다.

arXiv:2609.22746v1cs.AI

ProcessLight: 대규모 언어 모델 기반 교통 신호 제어를 위한 프로세스 지도

ProcessLight: Process Supervision for Large Language Model Based Traffic Signal Control

최근 대규모 언어 모델(LLM)은 사람이 읽을 수 있는 추론 생성 능력에 힘입어 의사결정 에이전트로서 교통 신호 제어(TSC)에 도입되고 있습니다. 그러나 기존의 LLM 기반 TSC 기법들은 최종 결과만을 기반으로 최적화하며 타당한 추론 단계와 결함이 있는 추론 단계를 구분하지 못합니다. 이로 인해 유용한 단계와 오해의 소지가 있는 단계가 함께 업데이트되어 모델이 효과적인 추론을 학습하는 데 지장을 줍니다. 이러한 한계를 극복하기 위해, 본 논문에서는 신호 의사결정을 검증 가능한 의미론적 단계로 분해하는 LLM 기반 프레임워크인 ProcessLight를 제안합니다. 나아가 ProcessLight를 바탕으로 단계 수준의 신용 할당(credit assignment)을 통해 구조화된 추론 과정을 최적화하는 새로운 강화학습 프레임워크인 STeP-PO(Step-wise Traffic Process Policy Optimization)를 개발합니다. 구체적으로 STeP-PO는 단계 품질 점수(step quality score)를 사용하여 국소적 추론 품질을 평가하고, 단계 중요도(step importance)를 통해 각 단계가 최종 행동에 미치는 영향을 측정한 뒤 의미론적 단계 트리 구조상에서 단계 수준의 이점(advantage)을 할당합니다. 이렇게 도출된 단계 수준의 이점은 추론 토큰으로 전파되어 결과 기반 보상만을 넘어서는 미세한 정책 최적화를 가능하게 합니다. 여러 실제 데이터셋을 활용한 광범위한 실험을 통해 제안 방법의 우수성을 입증합니다. 코드는 https://github.com/wenzhaoabc/processlight 에서 확인할 수 있습니다.

arXiv:2609.22712v1cs.AI

신뢰할 수 있는 에이전틱 AI: 자율적 LLM 시스템을 위한 실패 모드, 완화 전략 및 생애주기 프레임워크

Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems

대규모 언어 모델(LLM)을 기반으로 구축된 에이전틱 AI(Agentic AI) 시스템은 여러 단계에 걸친 계획 수립, 외부 도구 활용, 메모리 내 정보 보존, 다른 에이전트와의 협업을 수행할 수 있습니다. 이러한 기능은 기존의 정적 언어 모델보다 뛰어난 유용성을 제공하지만, 동시에 새로운 보안 및 운영상의 위험을 야기합니다. 웹사이트, 이메일, 문서, 데이터베이스 등 신뢰할 수 없는 콘텐츠가 시스템 인스트럭션과 동일한 컨텍스트로 유입될 수 있고, 영구 메모리는 침해된 정보를 세션 전반에 걸쳐 전달할 수 있으며, 외부 도구에 대한 접근 권한은 모델의 부정확한 응답을 중대한 실제 행동으로 이어지게 할 수 있습니다. 본 논문은 안전성(safety) 및 견고성, 정렬(alignment) 및 인간 감독, 투명성 및 감사 가능성, 프라이버시 및 데이터 거버넌스, 규제 준수라는 다섯 가지 상호 연결된 차원에서 에이전틱 AI의 신뢰성을 검토합니다. 또한 간접 프롬프트 인젝션(indirect prompt injection), 백도어 트리거, 목표 오일반화(goal misgeneralization), 메모리 오염, 세션 간 데이터 유출을 포함한 주요 실패 모드를 통합된 분류 체계로 정리합니다. 아울러 인스트럭션 계층 구조, 컨텍스트 격리, 스포트라이팅(spotlighting), 프로세스 기반 감독, 제한적 도구 사용, 프라이버시 보존 메모리 등 주요 완화 방식을 살펴보며, 실증적 증거로 뒷받침되는 기법과 여전히 주로 개념적 수준에 머물러 있는 기법을 구분합니다. 이러한 분석을 바탕으로, 명세, 설계, 학습(training), 평가(evaluation), 배포, 모니터링의 6단계로 구성된 '신뢰할 수 있는 에이전트 개발 생애주기(TADL)' 프레임워크를 소개합니다. TADL은 각 단계별로 관련 신뢰성 활동, 요구되는 증거, 위험 기반 의사결정 게이트를 정의합니다. TADL은 아직 실증적으로 검증되지는 않았으나, 보다 안전하고 책임 있는 에이전틱 시스템을 개발하고 평가하기 위한 구조화된 기반을 제공합니다. 마지막으로 본 논문은 현재 벤치마크(benchmark)의 한계를 짚어보고 향후 연구를 위한 우선 과제를 제시하며 마무리합니다.

arXiv:2609.22694v1cs.AI

치매 관련 교통사고 중증도 예측을 위한 감사 가능·보정 AI: 인간 검토를 지원하는 선택적 위임 프레임워크

Toward Auditable and Calibrated AI for Dementia-Related Crash Severity Prediction: A Selective Deferral Framework to Support Human Review

공공 교통사고 데이터베이스는 자동화된 안전 분석을 점점 더 지원하지만, 모델이 주로 일반 분류기로만 평가될 때 교통사고 중증도 예측을 공공 부문 의사결정 워크플로에 반영하기는 여전히 어렵다. 본 연구는 �치매 관련 교통사고 중증도 모델링을 의사결정 인식 트리아지 문제로 재구성한다. 시스템은 사고를 부상 없음·재산 피해만(O), 경미 또는 중등도 부상(BC), 치명 또는 중증 부상(KA)으로 분류해야 하며, 동시에 결과 누출(outcome leakage)을 통제하고, 심각한 과소 트리아지(under-triage)를 보고하며, 신뢰도를 보정(calibration)하고, 감사를 위해 모든 원시 예측을 보존해야 한다. 구조화 필드와 경찰 서술을 포함한 텍사스 교통사고 기록 4,781건을 사용하여, 계층화 70/15/15 분할 하에서 구조화, 서술, 융합, 보정 융합, BERT 계열, 로컬 대규모 언어 모델(LLM) baseline을 평가한다. 보고된 분할에서 누출 통제 Gemma가 가장 높은 관측 macro-F1(0.545; 95% 부트스트랩 CI [0.507, 0.583])을 기록한다. 최상의 보정 융합 모델은 macro-F1 0.522와 기대 보정 오차(expected calibration error) 0.033을 얻는다. 선택적 위임(selective deferral)은 자동 분류에 남겨진 사례에서 성능을 개선한다. 70% 커버리지에서 macro-F1은 0.573으로 상승하고 중증도 비용(severity cost)은 0.577로 감소하며, 위임된 사례는 제안된 인간 검토 절차 후보로 취급되고 본 실험에서는 추가로 평가되지 않는다. 본 연구는 교통사고 AI 시스템을 위한 재현 가능하고 누출 통제되며 불확실성 인식 평가 프레임워크를 제시하며, 정확도만이 아니라 감사 가능성과 선택적 위임을 강조한다.

arXiv:2609.22664v1cs.CR

자율 침투 테스트 하네스에서 역량에서 보증으로: 프레임워크와 참조 구현

From Capability to Assurance in Autonomous Penetration-Testing Harnesses: A Framework and Reference Implementation

침투 테스트를 위한 대규모 언어 모델 에이전트 연구는 거의 전적으로 역량(capability)으로 평가된다. 즉, 에이전트가 플래그를 획득하는지 또는 개념 증명(proof of concept)을 재현하는지 여부이다. 그 지표는 벤치마크에는 적합하지만, 승인된 수행(authorized engagement)에서 자율 에이전트를 사용할 수 있는지를 가르는 성질—보고된 발견이 사실인지, 에이전트가 승인된 범위 안에 머물렀는지, 운영자가 그 행위를 감사(audit)할 수 있는지—에는 말을 하지 않는다. 우리는 이러한 것을 보증(assurance) 속성이라 부르며, 이는 모델을 감싸는 런타임인 하네스(harness)에 속하며 코드로 강제할 수 있다고 주장한다. 본 논문은 세 가지 기여를 한다. 첫째, 다섯 가지 보증 속성(증거 그라운딩(evidence grounding), 비파괴적 주장 축소(non destructive claim reduction), 계산된 심각도(computed severity), 강제된 승인(enforced authorization), 변조 방지 책임(tamper evident accountability))으로 구성된 프레임워크를 정의한다. 각 속성에는 형식 모델과 명시적 수용 테스트(acceptance test)가 있으며, 역량 기반 보안(capability based security), 변조 방지 로깅(tamper evident logging), 소프트웨어 출처(provenance)의 선행 연구와 연결된다. 둘째, 대표 시스템(PentestGPT, Cochise 참조 하네스, MAPTA, 궤적 판정기 PentestJudge)을 공개된 코딩 기준에 따라 프레임워크 안에 배치하고, 일관된 보증 격차(assurance gap)를 식별한다. 셋째, NeuroSploit이라는 하나의 오픈소스 구현을 정확한 커밋에 고정(pin)하여 아키텍처, 복잡도 비용, 공개 의도적 취약 대상에 대한 실행으로부터 얻은 콘텐츠 주소(content addressed) 아티팩트 번들을 보고한다. 우리는 결정적(deterministic) 승인 및 감사 수용 테스트를 직접 실행하여 실제 강제 격차(enforcement gap)를 발견·보고하며, 두 속성 모두 부분(partial) 점수로 반영한다. 따라서 우리는 비교 성능 결과가 아니라, 이 속성들이 함께 실현 가능하다는 초기 존재 논증(existence argument)을 주장하고, 프레임워크 의무를 측정으로 전환하는 데 필요한 다중 대상(multi target), ablation, 적대적(adversarial) 평가 프로토콜을 명시한다.

arXiv:2609.22620v1cs.AI

더 적은 비용으로 문서 분할하기: LLM 기반 페이지 스트림 분할을 위한 다중 분할 경계 결정

Splitting Documents at Lower Cost: Multi-Split Boundary Decisions for LLM-Based Page Stream Segmentation

스캔된 우편물, 업로드된 PDF, 취합된 첨부 파일은 다운스트림 분류(classification), 추출 또는 라우팅 이전에 개별 문서로 분할되어야 하는 페이지 스트림 형태로 도착하는 경우가 많습니다. 제로샷(zero-shot) 대규모 언어 모델(LLM)은 태스크 특화 학습(training) 없이도 문서 경계를 감지할 수 있지만, 표준 페이지 분류(PC) 및 경계 결정(BD) 방식은 모델 호출당 하나의 경계만 처리합니다. 본 논문에서는 단일 호출 내에서 페이지 윈도우 내부의 여러 경계를 예측하여 추론(inference) 요청 횟수를 줄이는 다중 분할 경계 결정(MSBD)을 제안합니다. 다양한 언어 모델, 문서 컬렉션, 입력 모달리티 및 윈도우 크기에 걸쳐 MSBD를 평가합니다. 실험 결과, MSBD가 높은 분할 정확도를 유지하면서도 추론 효율성을 대폭 개선하는 모델 및 말뭉치 의존적인 동작 범위를 보였으며, 이후 더 큰 윈도우에서는 성능이 급격히 저하되는 것으로 나타났습니다. MSBD는 전반적으로 가장 강력한 정확도-효율성 트레이드오프를 제공한 반면, 큰 윈도우에서는 모델에 따라 뚜렷한 과다 분할 및 과소 분할 동작이 드러났습니다. 이러한 결과는 대상 말뭉치에 적합한 윈도우 크기를 선택할 때 다중 경계 예측이 제로샷 페이지 스트림 분할의 효율성을 높일 수 있음을 보여줍니다.

arXiv:2609.22609v1cs.RO

문서화된 강도에서 힘 한계치까지: 건설 조립을 위한 재료 정보 기반 로봇 삽입

From Documented Strengths to Force Limits: Material-Informed Robotic Insertion for Construction Assembly

삽입(Insertion)은 로봇 기반 건설 조립에서 필수적인 작업이지만, 재료 물성과 조립 조건의 편차로 인해 조립체의 허용 용량(capacity)을 초과하지 않으면서 작업을 완료할 수 있는 접촉력을 선정하기가 어렵습니다. 건설 문서에는 재료 및 시공 조건에 관한 공학적 지식이 담겨 있지만, 이러한 지식을 특정 조립체에 대한 하중 한계로 변환하는 작업은 여전히 어렵습니다. 본 논문에서는 문서화된 재료 근거를 로봇 삽입을 위한 허용 용량 추정치로 변환하는 시스템인 SAGE(Source-grounded Assembly Gating and Execution)를 제시합니다. SAGE는 대규모 언어 모델(LLM)의 역할을 검색된 구문 및 표에서 인장 및 압축 강도를 추출하고 그 출처를 기록하는 것으로 제한합니다. 그런 다음 반응 모델(response model)이 오프라인 유한 요소(FE) 해석 결과를 보간하여 이러한 강도 및 조립 조건을 축방향 하중 허용 용량으로 변환합니다. 양(+)의 틈새(clearance)를 가지는 끼워맞춤의 경우 추정된 허용 용량이 정책의 축력 한계치를 설정하며, 억지끼워맞춤(interference fit)의 경우에는 측정된 지지 요구치와 비교하여 진입 여부를 결정합니다. 주요 벤치마크(benchmark)에서 SAGE는 동일한 근거를 바탕으로 한 직접적인 LLM 추정치의 평균 허용 용량 오차인 80.65%를 10.74%로 줄입니다. 재적합(refitting) 없이도 16개의 추가적인 형상에서 평균 오차는 8.00%를 유지합니다. 지정된 지지 해제 모델 하에서 SAGE는 점수가 매겨진 62회의 시뮬레이션 실행 중 59회를 정확하게 분류하며, 보수적인 오차만을 보입니다. 기록된 xArm6 시연에서 SAGE는 재료 문서를 입력으로 받아 13회 시험 중 9회에서 물리적 삽입을 성공적으로 완료합니다. 이러한 결과는 문서 해석은 LLM에 맡기고 힘 계산은 명시적 역학 모델에 할당함으로써 정확한 허용 용량 추정과 추적 가능한 삽입 결정을 도출할 수 있음을 보여줍니다.

arXiv:2609.22599v1cs.AI

MAWILE: LLM 평가자 검사를 위한 다축 워크벤치

MAWILE: Multi-Axis Workbench for Inspecting LLM Evaluators

대규모 언어 모델(LLM) 심사자(judge)는 모델 및 에이전트 출력을 평가하는 유연하고 확장 가능한 방법을 제공하지만, 그 판정은 평가 대상 응답, 심사자 지시, 채점 루브릭(rubric)의 사소한 변화에 민감할 수 있다. 기존 시스템은 이러한 실패 모드의 중요한 부분집합을 검토하지만, 설정된 심사자를 감사(auditing)하려면 심사 도구와 그것이 평가하는 항목을 모두 시험해야 한다. 우리는 네 가지 표면—심사자 프롬프트, 심사자 루브릭, 대상 시스템 입력, 대상 시스템 출력—에 걸친 심사자 민감도를 감사하기 위한 개발자 대상 워크벤치인 MAWILE을 제안한다. 사용자가 제공한 심사자와 대표적인 평가 항목이 주어지면, MAWILE은 통제된 교란(perturbation)을 구성·검증하고, 심사자를 재실행하며, 그로 인한 민감도를 국소화(localize)한다. 각 교란은 판정이 불변(invariant)으로 유지되어야 하는지, 아니면 지정된 방향으로 변해야 하는지를 선언하여, 동일한 시스템으로 무관한 변화에 대한 견고성(robustness)과 의미 있는 변화에 대한 민감도를 모두 측정할 수 있게 한다. MAWILE은 골드 레이블(gold label) 없이 이진(binary), 서열(ordinal), 쌍별(pairwise) 심사자를 감사한다. 이 도구의 코드는 github.com/megagonlabs/mawile-judge에서 이용할 수 있다.

arXiv:2609.22538v1cs.RO

FRAMES: 휴머노이드 로코-매니퓰레이션을 위한 체화된 스킬의 실패 복구 및 모니터링

FRAMES: Failure Recovery And Monitoring of Embodied Skills for Humanoid Loco-Manipulation

대규모 언어 모델(LLM) 플래너는 자연어 지시를 분해하고 재사용 가능한 로봇 스킬을 선택할 수 있지만, 올바른 스킬을 선택하는 것만으로는 물리적 실행의 성공을 보장하지 못합니다. 이러한 격차는 접근, 파지, 운반 또는 배치 중 발생하는 오류가 긴 시계(long-horizon) 계획의 나머지 부분을 무효화할 수 있는 휴머노이드 로코-매니퓰레이션(loco-manipulation)에서 특히 중요합니다. 본 논문에서는 CEER 전신 제어기(whole-body controller) 위에서 작동하는 Unitree G1 휴머노이드를 위한 실패 인식 감독 프레임워크인 FRAMES를 제시합니다. 플래너 에이전트(Planner Agent)는 매개변수화된 중간 수준 스킬을 통해 하위 작업을 선택하며, 비전-언어 모델(VLM) 기반의 모니터 에이전트(Monitor Agent)는 시계열 다중 뷰 관측과 구조화된 로봇 및 접촉 증거를 사용하여 각 스킬을 평가합니다. 감지된 실패는 활성화된 스킬을 중단시키고 복구 에이전트(Recovery Agent)에 그라운딩된 피드백을 제공합니다. 본 프레임워크는 이전 스킬 경험을 재사용하기 위한 메모리 모듈과 깊이 및 분할(segmentation)을 통한 기하학적 그라운딩을 추가로 포함합니다. 저자들은 5가지 작업에 걸쳐 50회의 실패와 50회의 성공적인 실행으로 구성된 100회의 시행을 사용하여 MuJoCo 환경에서 프레임워크의 모니터링 모듈을 독립적으로 평가합니다. 모니터는 50회 중 48회의 실패를 감지하고, 50회 중 46회의 성공적인 실행을 올바르게 수용하여 94.0%의 전체 정확도를 달성합니다. 이러한 결과는 모니터링 구성요소에 대한 초기 증거를 제공하며, 완전한 복구 루프의 엔드투엔드 평가는 현재 진행 중입니다.

arXiv:2609.22512v1cs.AI

일치가 증거를 과장한다: LLM 판사 합의에서의 오류 의존성

Agreement Overstates Evidence: Error Dependence in LLM Judge Consensus

대규모 언어 모델(LLM) 판사 간의 합의는 종종 결정이 올바르다는 강력한 증거로 받아들여집니다. 이는 판사들이 독립적으로 오류를 범한다고 가정합니다. 실제로 LLM 판사들은 종종 유사한 방식으로 학습(training)되고 평가(evaluation)되므로 동일한 실수를 저지를 수 있습니다. 본 연구에서는 이러한 의존성이 합의의 신뢰성에 어떤 영향을 미치는지 살펴봅니다. 연구 결과, 오픈 가중치(open-weight) 판사와 프론티어(frontier) LLM 판사 모두에서 상당한 오류 상관관계가 있음을 발견했습니다. 10명의 판사로 구성된 주요 그룹에서 판사 오류 간의 평균 쌍별 상관관계는 0.21이었습니다. 그 결과, 10명의 판사는 약 3.5명의 독립적인 판사에 해당하는 통계적 정보만을 제공합니다. 이러한 의존성은 서로 다른 제공업체의 판사를 포함하여 본 연구에서 평가한 높은 정확도의 프론티어 판사들 사이에서 훨씬 더 강하게 나타납니다. 비교의 최대 28%에서 공유된 오류를 무시하면 한 시스템이 유의미하게 더 낫다는 결론에 이르는 반면, 이를 고려하면 그렇지 않았습니다. 또한 오류의 패턴이 중요하다는 점도 확인했습니다. 대부분의 판사가 공유하는 오류와 더 작은 집단에 집중된 오류는 합의에 서로 다른 영향을 미치며 서로 다른 투표 방식을 선호하게 만듭니다. 따라서 전반적인 상관관계의 양만 측정하는 것으로는 불충분합니다. 본 연구 결과는 간단한 접근법을 제안합니다. 신뢰할 수 있는 소규모 예제 집합을 사용하여 판사의 정확도를 추정하고 공유된 실수를 식별하는 것입니다. 그런 다음 결과를 분석할 때 이러한 공유된 오류를 고려해야 하며, 투표 방식은 새로운 데이터에 적용하기 전에 신뢰할 수 있는 예제를 사용하여 선택되어야 합니다.