PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00041v1cs.MA

위임 위험 대역: 중급 성능의 서브 에이전트가 상속된 오래된 상태를 과도하게 신뢰하는 이유

The Delegation Danger Band: Why Mid-Capability Sub-Agents Over-Trust Inherited Stale State

에이전트(agent) 프레임워크는 서브 에이전트를 포크(fork)하여 작업을 위임하는 방식을 점점 더 많이 채택하고 있으며, 흔히 자식 에이전트가 부모의 전체 작업 컨텍스트를 상속하도록 기본 설정되어 있습니다. 본 논문에서는 상속된 상태의 영향이 모델 성능에 따라 어떻게 달라지는지 측정하며, 여기서 $C_m$은 깨끗한 상태로 새로 포크되었을 때의 정확도(clean fork-fresh accuracy)를 나타냅니다. 고정된 폐쇄형 세트 및 행동 평가 벤치마크(benchmark)에서 동일 계열 모델 래더(ladder)(Qwen3 0.6/1.7/4/8B)를 대상으로 세 가지 상속 정책을 비교합니다: 리셋(Reset, 새로 포크: 기본 증거만 포함), 선택적(Selective, 선별된 전달: 유용한 이전 결론 추가), 전체(Full, 암시적 포크: 유용한 결론 및 대체된 결론의 $d$개 사본 추가). 모든 작업은 기본 증거만으로 해결 가능하므로, 성능 손실(loss)은 오래된 상태(stale state)에 대한 의존 때문인 것으로 볼 수 있습니다. (1) 2가지 합성 기본 작업과 MuSiQue 및 HotpotQA 전반에서 대체된 상태에 대한 복종은 측정된 성능 $C_m$에 따라 급격히 감소합니다(기울기의 신뢰 구간 CI는 모든 계열에서 0을 제외함). (2) Qwen3 합성 래더에서 순 상속 피해(net inheritance harm)는 비단조적 패턴을 따릅니다. 중급 성능 모델(Qwen3-1.7B)은 순 피해의 통계적으로 유의미한 국소 최솟값을 보이며, 새로 포크된 기준선(baseline)($Δ(32)=-0.19$ [-0.25, -0.12]) 및 양쪽 인접 모델보다 낮은 성능을 기록하는 반면, 가장 약한 모델은 중립에 가깝게 유지되고 가장 강한 모델(model)들은 견고함을 유지합니다. 저자들은 이처럼 유해한 성능 범위를 '위험 대역(danger band)'이라고 부릅니다. 모델 내 계산 난이도 스윕을 통해 동일한 $C_m$에서도 이 효과가 모델 클래스에 따라 달라짐을 확인했으며, 실제 부모-자식 간 포크 실험에서도 중간 모델의 성능 저하가 재현됩니다. (3) 선별된 선택적 전달은 3개 데이터셋(dataset) 모두에서 전체 상속 대비 평균 정확도를 향상시키며 위험 대역 내 모델에서 그 효과가 가장 컸던 반면, 고정 임계값 기반의 성능 라우터는 다른 데이터셋에서 실패했습니다. 전이 가능한 라우터는 재사용 이점과 오래된 컨텍스트 페널티 사이의 균형을 예측할 수 있어야 합니다. 해당 벤치마크는 동결되었으며 버전 해시가 적용되었습니다.

arXiv:2610.00008v1cs.RO

유계 충실도 데모 단계 시뮬레이션: 거버넌스 벤치마크를 위한 모캡 핸드오프

Bounded-Fidelity Sim-as-Demo-Stage: Mocap Handoff for Governance Benchmarks

Sim-to-real 연구는 물리학적 충실도(physics fidelity)를 주요 목표로 삼으며, 시뮬레이터는 실제 환경의 접촉 역학(contact dynamics)을 얼마나 정밀하게 재현하는가에 따라 평가됩니다. 시뮬레이터가 승인/정책/계약/감사 파이프라인의 올바른 동작을 입증해야 하는 대규모 언어 모델(LLM) 구동 로봇의 거버넌스 벤치마킹에서는 물체 핸드오프(잡기, 운반, 배치) 과정의 접촉 충실도가 오히려 걸림돌이 됩니다. 접촉력(contact-force) 적분 노이즈가 테스트 대상인 거버넌스 특성과는 구조적으로 무관한 감사 체인 발산(audit-chain divergence)을 유발하기 때문입니다. 본 논문에서는 명시적으로 지정된 핸드오프 구간 내에서는 접촉 물리학을 억제하고 그 외 영역에서는 완전한 역학을 보존하는 디자인 패턴인 '유계 충실도 데모 단계 시뮬레이션(bounded-fidelity sim-as-demo-stage)'을 제안합니다. 이 구조는 MuJoCo의 모캡 바디(mocap-body) 프리미티브를 사용하며, 거버넌스 브리지가 구조화된 의도를 통해 호출하는 220줄 분량의 Python 어댑터로 구동됩니다. 본 연구에서는 재생(replay) 전반에 걸친 해시화된 이벤트 로그의 바이트 일치성으로 감사 체인 안정성을 공식화하고, 이를 보장하는 두 가지 구조적 엔벨로프 특성을 규명합니다. 자세(posture)당 N=1000회의 재생 실험에서 모캡 변형은 단 1개의 고유한 감사 체인 해시를 생성한 반면(1000/1000 바이트 일치, Wilson 95% CI [0.997, 1.000]), 접촉력 기준선(baseline)은 584개의 고유 해시를 생성했습니다(993/1000 발산, CI [0.987, 0.998]). 타임스텝 스윕(1, 2, 5, 10 ms) 결과 이러한 발산은 튜닝 인위물(artefact)이 아닌 구조적 문제임이 확인되었으며, 모든 타임스텝에서 0.985 수준을 유지했습니다. 엔벨로프 경계 타이밍 지터(+/-10 시뮬레이션 스텝, 1,400회 재생)에서도 발산이 0건 발생했으며, 순차적으로 핸드오프되는 K in {1, 2, 3}개 물체에 대한 실험(1,500회 재생)에서도 픽앤플레이스(pick-and-place)당 서브리니어 오버헤드를 보이며 감사 체인이 바이트 단위로 동일하게 유지되었습니다. 이 패턴은 벤치마크 설계자에게 거의 제로에 가까운 엔지니어링 비용으로 감사 체인 재현성을 제공합니다. 또한 잘못 적용되지 않도록 부적합한 영역(sim-to-real 검증, 정책 학습, 접촉이 많은 작업)도 명확히 제시합니다.

arXiv:2609.40111v2cs.AI

에이전트 오류 데이터셋: 실패 분석 및 오류 인식 사후 학습을 위한 50,000개 오류-진단 쌍 확장

Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training

실패한 대규모 언어 모델(LLM) 에이전트 롤아웃(rollout)은 최종 보상(reward) 이상의 정보, 즉 에이전트가 이용할 수 있었던 관찰값, 에이전트가 선택한 행동, 그리고 환경(environment)의 반응을 담고 있습니다. 이러한 경험을 학습(training)에 재사용하려면 수정해야 할 결정을 식별하고 구체적인 대안을 검증해야 합니다. 본 연구에서는 텍스트 기반 에이전트 시스템의 33개 환경, 19개 하네스 제품군, 23개 정책 모델에 걸친 9,961개 소스 작업에서 수집된 50,228개의 오류-진단 쌍으로 구성된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다. 우리는 원래 롤아웃을 반복하지 않고도 다양한 설정 간 실패 분석 및 재진단을 지원할 수 있도록 소스 추적 기록과 실행 메타데이터를 보존합니다. 본 논문의 5단계 에이전틱 오류-학습(Agentic Error-to-Training, AET) 파이프라인은 자연스럽게 발생한 실패를 수집하고, 진단 및 제안된 수정 사항을 생성하며, 기록된 증거를 바탕으로 이를 검증합니다. 리플레이(replay)가 지원되는 환경에서는 일치하는 실행 설정 하에 동일한 체크포인트(checkpoint)로부터 원래 행동을 재시도한 결과와 수정 사항을 비교합니다. 그런 다음 진단 및 액터 복구를 위한 별도의 학습 뷰를 구성합니다. 3,062개의 매칭된 리플레이 쌍 전반에서 첫 번째로 제안된 수정 사항은 검증기 통과율을 18.4%에서 51.1%로 높여 32.7%p의 향상을 달성했습니다. 별도로 동결된 진단 릴리스를 사용하여 1,656개 소스 작업에 대해 전체 진단 미세조정(fine-tuning)을 수행한 결과, 943개 케이스의 홀드아웃(holdout)에서 3개 시드 평균으로 Qwen3-8B의 내부 교사 라벨과의 정확한 단계 일치율이 47.2%에서 63.6%로 향상되었습니다. 이 비교에서 가장 강력한 프롬프트 기반 참조 모델은 54.7%를 기록했으며, 4단계로 증가하는 학습 세트 크기마다 평균 일치율이 향상되었습니다. 액터 학습 레시피에 대한 단일 시드 비교에서, 행동 전용 복구 학습은 WebShop-lite에서 성공 전용 학습보다 6.67%p 더 높은 점수를 기록했습니다.

arXiv:2609.39788v2cs.AI

다중 에이전트 시스템에서 잠재 공간 통신의 안전성

Safety of Latent Communication in Multi-Agent Systems

잠재 공간 통신(Latent communication)은 다중 에이전트 시스템이 내부 표상 공간에서 직접 정보를 교환할 수 있게 하여, 텍스트 기반 통신에 수반되는 토큰, 연산 및 지연 오버헤드를 줄여줍니다. 이를 위해 발신자의 표상을 수신자의 입력 공간으로 매핑하는 경량의 학습 가능한 링크가 도입됩니다. 본 연구에서는 기반이 되는 안전성 정렬(safety alignment) 에이전트들이 변경되지 않더라도, 정상적인 링크 학습만으로도 텍스트 기반 통신 대비 유해한 요청에 대한 순응(harmful compliance)이 증가할 수 있음을 보입니다. 공격자는 유해한 질의-응답 쌍으로 링크를 최적화하거나 정상적인 학습 데이터를 오염시킴으로써 이러한 효과를 증폭시킬 수 있습니다. 나아가 유해한 타깃 응답을 요구하지 않으면서도 정상적인 작업 성능과 유해 요청 순응을 함께 보상하는 강화학습(RL) 공격을 개발합니다. 세 가지 통신 토폴로지와 네 가지 안전성 벤치마크에 걸쳐, 이 공격은 정상적으로 학습된 링크에서의 평균 유해 순응 점수를 27.9에서 76.9로 높입니다. 직접적인 지도 최적화와 비교했을 때, 두 가지 정상 유용성 벤치마크에서도 더 높은 평균 정확도를 달성합니다. 보상을 보다 안전한 동작을 지향하도록 조정하면 침해된 링크를 복구할 수도 있어, 에이전트를 업데이트하지 않고도 평가된 모든 공격 전반에서 유해 순응을 크게 줄일 수 있습니다. 전반적으로 본 연구 결과는 안전성 정렬 시 다중 에이전트 시스템 전체를 통합적으로 고려해야 함을 보여줍니다. 코드: https://github.com/Muhammad-Huzaifaa/latent-safety

arXiv:2609.38353v2cs.IR

TAGGRAPH: 에이전트 지속 이력의 그래프 검색을 위한 태그 증강 그래프

TAGGRAPH: Tag-Augmented Graphs for Graph Retrieval of Agent Persistent Histories

장기 기억은 대규모 언어 모델(LLM) 에이전트(agent)가 과거의 상호작용을 기억하고 세션 전반에서 일관성을 유지할 수 있게 해 주지만, 메모리 시스템은 표현, 인덱싱, 검색, 평가 방식이 서로 달라 비교하기가 어렵습니다. 본 논문에서는 공유된 5W(육하원칙) 스타일의 대화형 메모리를 기반으로 하는 통제된 평가 프레임워크를 제시합니다. 국소적 그래프 구성은 공통의 기본 그래프를 순회하며, AdaptiveGraph는 시간순 엣지와 개인화된 페이지랭크(Personalized PageRank) 확산을 추가합니다. 또한 동일하게 추출된 노트에 대한 BM25와 원시 입력을 사용하는 외부 기준선인 OpenClaw를 평가합니다. 검색 순위는 메모리 설정에 따라 달라집니다. LongMemEval-S에서 AdaptiveGraph는 MRR 0.844로 가장 우수한 그래프 구성을 보였으나, BM25는 0.867, OpenClaw는 0.880에 달했습니다. ATANT Core에서는 국소적 그래프 순회가 확산 및 BM25보다 우수한 성능을 보인 반면, 스트레스 라운드에서는 BM25가 앞섰습니다. 테스트된 범위 내에서 LongMemEval-S의 크기를 줄여도 ATANT 확산 패널티가 재현되지 않았으나, 테스트된 가장 작은 저장소도 ATANT Core보다 여전히 컸기 때문에 저장소 크기 영향을 배제할 수 없습니다. 이 패널티는 관대한 콘텐츠 일치 기준 하에서도 지속되었습니다. 어휘 정규화(normalization)와 추출 품질은 그래프 검색에 실질적인 영향을 미치며, 상위 5위권 실패 사례에서는 추출 태그 누락이 흔하게 나타났습니다. 따라서 검색 전략은 메모리 설정과 함께, 그리고 강력한 어휘 기반 기준선과 대조하여 공동으로 평가되어야 합니다.

arXiv:2609.33289v2cs.AI

판매 학습: 다중 제품 시장에서 전략적 대규모 언어 모델 에이전트를 위한 강화학습

Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets

다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.

arXiv:2609.13725v2cs.AI

IBBench-Light: 외부 지시문에 대한 작업 조건부 응답의 쌍 평가

IBBench-Light: A Paired Evaluation of Task-Conditioned Responses to External Directives

외부 레코드는 사용자의 요청에 따라 적용할 절차를 포함할 수도 있고 읽어야 할 텍스트를 포함할 수도 있습니다. IBBench-Light는 동일한 레코드에 대해 이 두 가지 용도를 모두 테스트합니다. 12개의 의미 기반(semantic base)을 통해 모델당 144개의 대응 쌍을 얻으며, 4개의 양자화(quantization)된 인스트럭션 모델이 아카이브된 1,152개의 그리디(greedy) 응답을 생성했습니다. 쌍별 정확 계약 정확도(PECA)는 쌍의 두 구성 요소 모두가 출력 계약을 충족해야 합니다. Qwen은 132개의 실행(execute) 프롬프트와 109개의 처리(process) 프롬프트에서 성공했으나 완전한 쌍은 97개에 불과하여 한계 평균(marginal average)이 생략하는 부분을 보여줍니다. 본 연구에서는 문자 그대로의 대상(literal-target) 노출 및 대소문자 정규화(normalization)를 감사(audit)한 후, 지시문 부재 대조군, 12개의 추가적인 의미 기반, 기반 내 표현 변경, 생성 중단을 테스트하기 위해 1,722개의 기록된 CPU 생성을 추가합니다. 고정된 Phi 재실행에서는 문장 끝(EOS) 세트를 변경함으로써 정확한 쌍 성공률이 0/144에서 62/144로 변화합니다. 유계(bounded) IHEval 비교에서는 동일한 SmolLM2 체크포인트와 출력 예산을 사용하면서 공개된 인스트럭션 역할 및 채점기를 유지합니다. 이 벤치마크는 조건부 작업 및 출력 계약 성공을 측정합니다. 본 벤치마크의 작업 한계치와 쌍 수는 중단 정책과 함께 함께 해석되어야 합니다.

arXiv:2609.12822v2cs.AI

의료 AI 평가를 위한 임상적 판단의 확장

Scaling Clinical Judgment to Evaluate Medical AI

블라인드 의사 평가는 대규모 언어 모델(LLM)의 임상적 추론을 평가하는 데 있어 많은 이들에게 표준(gold standard)으로 여겨져 왔습니다. 그러나 이는 확장하기 어려워, 이전 연구들은 주로 단일 기관이나 전문 분야 출신의 소규모 의사 패널에 의존하는 경우가 많았습니다. 이는 연구 가능한 과학적 질문을 제한할 뿐만 아니라, 다른 평가자 집단에서도 동일한 결과가 재현될 수 있을지를 불분명하게 만듭니다. AI 모델의 임상적 추론을 보다 엄밀하고 확장 가능하게 연구하기 위해, 본 연구에서는 개방형 응답에 대한 의사 수준의 평가를 위해 미세조정된 LLM인 PrecepTron을 소개합니다. PrecepTron은 소수의 의사 예시를 바탕으로 320억 개 매개변수 모델에 LoRA(Low-Rank Adaptation)를 적용하여 학습되었습니다. 또한 7개 연구에 걸쳐 160명의 임상의가 평가한 9,217개의 점수화된 응답으로 구성된 새로운 대규모 의사 주석 벤치마크인 GRAND-ROUNDS를 공개합니다. 일반적인 "LLM-as-a-judge" 접근법의 프론티어 LLM은 종종 의사 및 상호 간에 의견이 불일치하지만, 소수의 사례로 PrecepTron을 미세조정함으로써 작업 전반에 걸쳐 의사 수준의 일관된 점수 부여가 가능함을 보여줍니다. 저자들은 새로운 인간 채점 없이도 JAMA, Science, Nature Medicine에 발표된 임상 치료용 LLM 평가 주요 연구 5건의 핵심 결과를 재현하는 데 PrecepTron을 활용했습니다. 나아가 인간 채점만으로는 불가능했을 질문들, 즉 임상 사례가 점진적으로 심지어 토큰 단위로 제공될 때 프론티어 LLM의 진단 정확도를 측정하는 등 의료 분야에서 LLM이 어떻게 추론하는지에 대한 새로운 질문들을 PrecepTron을 통해 제기합니다. 종합하면, PrecepTron과 GRAND-ROUNDS는 의료 분야에서 LLM의 추론 방식을 재현 가능하고 대규모로 연구할 수 있는 기반을 제공합니다. 모든 코드, 데이터 및 라벨은 연구자들에게 무료로 공개됩니다.

arXiv:2609.08228v2cs.AI

SE-GoS: 대규모 스킬 라이브러리를 위한 자기진화형 스킬 그래프

SE-GoS: Self-Evolving Graph-of-Skills for Skill Library at Scale

대규모 언어 모델(LLM) 에이전트는 재사용 가능한 방대한 스킬 라이브러리를 활용합니다. 하지만 스킬 항목이 수천 개에 이르면 검색이 병목이 됩니다. Graph-of-Skills(GoS)는 유형화된 스킬 그래프에서 의존성을 고려한 번들을 검색하며, SkillDAG는 이러한 그래프가 실행 기반 구조를 온라인으로 축적할 수 있음을 보여줍니다. 그러나 두 연구 모두 실행 궤적(execution traces)을 새로운 작업으로 일반화되는 더 우수한 검색 그래프로 증류할 수 있는지는 다루지 않았습니다. 본 연구에서는 검색 파이프라인, 스킬 라이브러리, 모델을 고정한 채 실행 궤적으로부터 그래프를 유지관리하여 검색 그래프를 학습된 표현이 아닌 인덱스로 취급하는 \textbf{자기진화형 스킬 그래프(Self-Evolving Graph-of-Skills, SE-GoS)}를 제안합니다. SE-GoS는 세 가지 업데이트를 적용합니다. (1) 실행 증거로부터 관계를 유도하고 반복적인 성공적 동시 사용 후에만 회피(avoid) 엣지를 철회하는 \textbf{위상(topology)} 업데이트, (2) 지지되지 않는 의미적 엣지를 완만하게 감쇠하고 사용된 스킬로 들어오는 엣지를 강화하는 \textbf{엣지 가중치(edge-weight)} 업데이트, (3) 순위가 너무 낮게 매겨진 그래프 노드에 저장된 검색용 설명을 갱신하는 \textbf{노드 설명(node-description)} 업데이트입니다. SkillsBench에서 1회의 진화 라운드를 통해 평균 보상이 52.4\%에서 59.4\%로 향상되어 라이브러리 전체 로딩, 벡터 검색, 정적 GoS, SkillDAG보다 높은 성능을 보였으며, 이러한 순위 관계는 세 가지 백본 모델 모두에서 일관되게 나타났습니다. 진화된 그래프를 통한 검색은 라이브러리 전체를 로딩할 때 드는 입력 토큰의 약 3분의 2만 사용합니다. 진화 라운드를 반복하는 것은 추가적인 도움이 되지 않았습니다. 동일한 그래프는 이전에 본 적 없는 홀드아웃(held-out) 분할에서도 성능을 52.9\%에서 58.3\%로 개선하여, 축적된 정보가 궤적을 단순 암기하는 것이 아니라 전이됨을 확인했습니다. 따라서 모델 학습, 검색 알고리즘 변경, 스킬 내용 수정, 또는 어떤 스킬이 관련되어 있는지 모델이 직접 판단하는 과정 없이도 실행 경험만으로 스킬 그래프를 개선할 수 있습니다.

arXiv:2608.06161v3cs.AI

iARCS: 제어 가능한 3D 장면 생성을 위한 반복적 에이전트 기반 강화학습

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

합성 3D 장면 생성은 컴퓨터 비전(CV) 및 체화된 AI(Embodied AI)를 위한 데이터 원천으로 점점 더 널리 사용되고 있으나, 기존 생성 모델들은 작업에 중요한 기능적 제약 조건을 안정적으로 만족하지 못한 채 시각적 사실성만을 최적화하는 경우가 많습니다. 이러한 불일치는 접근성, 이동 가능성(traversability), 공간 규칙 준수가 필수적인 다운스트림 학습에서 합성 데이터의 유용성을 제한합니다. 본 논문에서는 사전학습된 장면 생성 모델을 자연어 작업 요구사항에 적응시키는 반복적 에이전트 기반 강화학습(RL) 프레임워크인 iARCS를 제시합니다. iARCS는 2단계 전략을 사용합니다. 물리적 타당성과 레이아웃 품질을 향상하기 위한 범용 보상 사전학습을 거친 후, 학습 피드백을 통해 반복적으로 정제되는 대규모 언어 모델(LLM) 생성 보상 프로그램을 활용하여 작업별 파인튜닝을 수행합니다. 실험 결과, 보행성(walkability), 도달 가능성(reachability), 여유 공간(clearance) 중심 작업에서 제약 충실도가 향상되었으며, 효과적인 작업별 제약 최적화 및 경쟁력 있는 장면 다양성을 입증했습니다. 나아가 iARCS로 생성된 데이터가 기본 생성 모델을 개선함을 보여줌으로써, 단순한 제어형 장면 편집 방법을 넘어 실용적인 합성 데이터 생성 도구로서의 가치를 뒷받침합니다.

arXiv:2608.01772v2cs.AI

ESCROW: 정책 기반 엔터프라이즈 워크플로 내 에이전트를 위한 보호 및 이중 목표 지속적 유지보수

ESCROW: Guarded and Dual-Objective Continual Maintenance for Agents in Policy-Governed Enterprise Workflows

대규모 언어 모델(LLM) 에이전트는 규칙을 일관되게 적용하고 감사 가능성을 유지해야 하는 정책 기반 엔터프라이즈 워크플로를 점점 더 많이 수행하고 있습니다. 이러한 에이전트를 배포하는 것은 장기 유지보수 주기의 시작에 불과합니다. 에이전트는 지속적인 운영 신호 스트림에 적응해야 하지만, 희소하고 라벨이 지정되지 않은 이러한 신호를 재사용 가능한 스킬 수정안으로 안정적으로 전환하는 것은 어렵습니다. 또한 부주의한 업데이트는 전체적인 이득을 위해 특정 작업 범주의 정확도를 희생시키거나, 이미 해결된 오류를 다시 발생시키거나, 배포 불가능한 비용 수준에 도달할 위험이 있습니다. 본 논문에서는 엄격한 업데이트 경계(Strict Update Boundary) 하에서 에이전트의 외부 검토 가능 스킬을 업데이트하는 사후 배포 유지보수 프레임워크인 ESCROW를 제안합니다. 여기서는 LLM이 후보 수정안을 제안하지만, 실증적으로 평가된 버전만 배포됩니다. ESCROW는 합의 기반 분산 진단, 범주별 비퇴행 가드(non-regression guard), 주기 간 퇴행 방지, 정확도-비용 파레토(Pareto) 탐색을 결합하여 변경 사항마다 버전이 지정되고 감사가 가능한 diff를 출력합니다. 자체 내부 금융 문서 감사 시스템의 실제 운영 환경에서 ESCROW는 공개 $\tau$-bench에 대한 전이 프로브와 함께 베이스라인 중 가장 우수한 평가 정확도-비용 절충(trade-off)을 달성했습니다.

arXiv:2607.22629v3cs.AI

마스크 자기 증류: 언어 모델 내 사고의 연쇄 내재화

Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models

대규모 추론 모델은 추론(inference) 시점에 최종 답변을 생성하기 전에 중간 단계들의 길고 명시적인 연쇄를 생성합니다. 최종 답변의 정확성이 중간 추적(trace)의 정확성과 인과적으로 연결되어 있지 않고 추적 길이가 문제의 복잡성을 나타내는 신뢰할 만한 지표가 아님에도 불구하고, 이러한 중간 추적은 지연 시간, 메모리 사용량 및 서빙 비용의 대부분을 차지합니다. 이는 자연스럽게 다음과 같은 질문을 제기합니다. 이러한 중간 토큰에 표현된 계산을 언어 모델의 파라미터 내부로 내재화하여 훨씬 더 짧은 중간 추적만으로 답변을 생성하도록 만들 수 있을까요? 본 논문에서는 동일한 모델의 복제본을 교사 모델과 학생 모델(student model)로 인스턴스화하고, 학생 모델이 중간 추적의 전체 또는 일부를 내재화하도록 학습(training)시켜 추론 효율성을 높이는 지식 증류(knowledge distillation) 기반 사후 학습(post-training) 프레임워크인 마스크 자기 증류(masked self-distillation)를 제안합니다. 우리는 학생 모델이 내재화하도록 학습되는 중간 추적의 비율을 변화시키며, 완전한 내재화와 무내재화 사이를 보간합니다. 수학 및 그래프 색칠하기라는 두 가지 추론 영역에서 통제된 실험을 수행하였으며, 마스크 자기 증류 프레임워크를 사용하여 Qwen3-4B 및 8B 모델을 사후 학습시켰습니다. 실험 결과는 이 방법이 다양한 도메인과 모델 크기 전반에서 추론 효율성을 높이는 동시에 작업 성능을 향상시키는 데 사용될 수 있음을 보여줍니다. 또한 사후 학습된 모델에서 향상된 효율성 이득이 OOD(분포 외) 문제로 일반화되는지 체계적으로 분석합니다. 그 결과 마스크 자기 증류 모델은 도메인 내 OOD 문제에 대해 잘 일반화되며, 마스크 자기 증류 학습이 도메인 외 문제에서 학생 모델의 치명적 망각(catastrophic forgetting)을 유발하지 않음을 확인했습니다. 나아가 절제 연구(ablation study)를 통해 지도 미세조정(supervised fine-tuning) 역시 모델이 더 짧은 추적을 생성하도록 학습시킬 수 있지만 일반화 성능이 저하됨을 보임으로써, 마스크 자기 증류에서 온-정책(on-policy) 학습의 중요성을 강조합니다.

arXiv:2607.17384v3cs.AI

사고 다양성의 정량화: 가중 LLM 앙상블 향상 효과에 대한 예측 법칙

Quantifying Diversity of Thought: A Predictive Law of Weighted LLM Ensemble Lift

본 논문에서는 대규모 언어 모델(LLM) 앙상블에서 사고의 다양성(diversity of thought)이 제공하는 성능 향상(uplift)을 계산하기 위한 실험적으로 검증된 형식 법칙을 제시합니다. 우리는 제1원리(first principles)로부터 LLM 앙상블 성능 향상 효과(lift)를 구제 질량(rescue mass)과 손상 질량(damage mass)으로 정확히 분해하고, 이를 바탕으로 성능 향상을 계산하는 간결한 휴리스틱을 도출합니다. 이를 통해 앙상블 성능을 예측하는 지표들을 추출하는데, 이는 정확도 조정 정답 상관관계인 $φ_{\mathrm{adj}}$와 함께 모델 쌍의 정확도 격차 및 집단적 정확도(collective accuracy)입니다. 우리는 두 개의 대학원 수준 과학 벤치마크와 네트워크가 격리된 샌드박스에서 다중 턴(multi-turn) 도구 사용을 통해 디지털 포렌식 조사를 수행하는 새로운 에이전트 기반 사이버 보안 벤치마크(기권을 포함한 23,520회의 채점 시험)에서 10개의 공개 가중치 모델로 생성한 767,520회의 추론을 바탕으로 이 법칙을 테스트하였으며, 모든 투표 데이터는 공개되어 있습니다. 40:60 투표 분할 비율로 SuperGPQA에서 한 번 캘리브레이션된 휴리스틱은 캘리브레이션 세트에서 스피어만 $ρ=0.84$로 성능 향상을 예측하며, 계수를 고정한 상태에서도 캘리브레이션에 사용되지 않은 두 데이터셋으로 전이(transfer)됩니다(GPQA Diamond에서 $ρ=0.51$, 포렌식 태스크에서 $0.84$). 반면 측정된 스왑 질량(swap mass)은 전체에 걸쳐 $R^2\ge 0.96$으로 실제 실현된 성능 향상을 추적합니다. 원시(raw) $φ$는 예측력이 거의 없는 반면(전체에 걸쳐 $R^2\le 0.09$), 정확도 조정 $φ_{\mathrm{adj}}$는 현저히 우수하며(SuperGPQA에서 $R^2=0.67$), 이러한 지표들을 결합한 휴리스틱은 세 데이터셋 전반에서 가장 안정적인 풀링(pooling) 이전 예측 인자입니다.

arXiv:2607.06125v2cs.SE

Dart AOT 바이너리의 신경망 디컴파일 평가: 미세조정, 지표 유효성, 명세 누출 및 신뢰성

Evaluating Neural Decompilation of Dart AOT Binaries: Fine-Tuning, Metric Validity, Specification Leakage, and Reliability

본 논문에서는 Dart AOT(ahead-of-time) 바이너리에 대한 신경망 디컴파일(neural decompilation)의 실행 기반 평가와 해당 평가 점수가 실제로 측정하는 바에 대한 감사를 제시합니다. 보관된 6개의 어댑터-기준선 비교 전반에서, 18개 엔드포인트에 대해 Holm 보정을 적용하여 k = 1, 5, 10에서 pass@k의 대응 표본 검정을 수행한 결과, 모든 k에서 두 Qwen3-8B 어댑터 모두 기능적 회귀(functional regression)가 확인되었습니다. 나머지 4개의 비교는 결론을 내리기 어렵습니다. 참조 검증을 거치고 계약상 유효한 141개 태스크에서 독립적으로 학습된 3개의 그래프 접두 문맥 시스템이 동일한 후보들을 평가합니다. Best CodeBLEU는 pass@10과 완만한 상관관계(ρ = .218-.246)를 보이고, compile@10은 약한 상관관계(ρ = .072-.082)를 보이며, 컴파일되는 후보 중 단 21.0-23.3%만이 테스트를 통과합니다. 타입, 인자 수(arity), 명령어 내용은 유지하면서 의미적 이름과 관련 단서를 제거한 대응 단일 시드 개입 실험에서는 태스크 커버리지가 42/154에서 7/154로 감소합니다. 일치된 그래프 섭동은 의미적 계약 하에서 감지 가능한 성능 저하를 보이지 않았으며(6개 검정 Holm p >= .750), 명령어 사용 기여도는 미해결 상태로 남아 있습니다. MF-174에서 5개의 디코딩 시드에 걸쳐 기준선은 평균 4.8개, 최소 한 번 이상은 15개, 그리고 모든 시드에서는 1개의 태스크를 해결합니다. 이에 따라 참조 검증, 공유 후보군 기반의 지표 정렬, 바이너리 입력과 메타데이터의 분리, 반복 샘플링, 그리고 출처 보존을 권장합니다. 공개된 캡슐은 무결성 검증 및 보관된 결과의 재현을 지원합니다.

arXiv:2606.23595v2cs.AI

SPIRAL: 탐색과 취합의 학습

SPIRAL: Learning to Search and Aggregate

언어 모델(language model)의 추론 능력은 단일 경로(trace) 내의 순차적 추론, 독립적으로 샘플링된 병렬 경로, 그리고 여러 추론 경로를 하나의 최종 응답으로 취합(aggregation)하는 것과 같은 다양한 기본 요소(primitive)에 걸쳐 추론 연산량을 확장하는 스캐폴드를 통해 테스트 시점에 크게 향상될 수 있습니다. 그러나 사후 학습(post-training) 과정에서 언어 모델은 일반적으로 단일 경로 내의 순차적 추론에 대해서만 최적화됩니다. 본 논문에서는 통일된 추론 연산 파이프라인의 일환으로 언어 모델이 이 세 가지 기본 요소를 모두 활용하도록 학습시키는 프레임워크인 SPIRAL(Sequential-Parallel-Aggregative Reinforcement Learning)을 제안합니다. 구체적으로, 언어 모델은 먼저 순차적 사고의 연쇄(Chain-of-Thought) 추론을 통해 생성된 독립적인 경로 집합을 병렬로 샘플링한 다음, 해당 경로들을 조건으로 하여 최종 취합 경로를 생성합니다. 이때 모든 구성요소는 최종 취합된 응답의 보상(reward)을 기준으로 엔드투엔드로 최적화됩니다. 이러한 시스템을 학습시키기 위해, SPIRAL은 집합 강화학습(set reinforcement learning)을 사용하여 모델이 취합기(aggregator)에 집합적으로 유용한 경로 집합을 생성하도록 유도하고, 표준 강화학습을 통해 해당 집합을 더 개선된 최종 응답으로 취합하도록 학습시킵니다. 추론 태스크에 대한 실험 결과에 따르면 SPIRAL은 추론 연산량에 따라 효과적으로 확장되며, 세 가지 연산 기본 요소를 모두 확장했을 때 GRPO 대비 최대 11배의 스케일링 효율성과 15% 더 높은 성능을 달성함을 보여줍니다.

arXiv:2606.22676v2cs.AI

Skin-Deep: 대규모 언어 모델 표현의 정렬 취약성을 위한 기하학적 진단 기법

Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

안전성(safety) 벤치마크에서의 거절 반응은 모델 업데이트 후에도 해당 동작이 얼마나 안정적으로 유지될지 보여주지 못합니다. 무해한 다운스트림 미세조정(fine-tuning)도 거절 능력을 약화시킬 수 있지만, 행동 기반 평가는 일반적으로 개입이 발생한 후에야 이러한 취약성을 드러냅니다. 본 연구에서는 수정되지 않은 모델의 잔차 스트림(residual-stream) 활성화를 조사하는 기하학적 진단 기법인 SKIN-DEEP을 소개합니다. 이 기법은 정렬(alignment)된 체크포인트와 기본 체크포인트를 비교하여 안전성을 구분하는 방향을 식별하고, 절제(ablation)를 통해 이들의 행동적 관련성을 검증하며, 층별(layer-wise) 패턴을 기하학적 취약성 점수(Geometric Fragility Score, GFS)로 요약합니다. 21개의 인스트럭션 튜닝(instruction tuning) 모델 전반에서 유해한 요청과 무해한 지시문은 반복적인 저랭크(low-rank) 분리 패턴을 나타냅니다. 선택된 방향에 대한 절제는 거절 능력을 약화시키며, 효과적인 방향은 모델에 따라 다양합니다. 무해한 저랭크 미세조정 실험에서, 미세조정 전 가장 낮은 점수를 기록한 초기의 안전한 모델은 테스트된 가장 큰 규모의 무해한 예제 세트로 학습되었을 때 가장 낮은 유해 순응률을 보입니다. 이러한 발견은 표현 기하학을 향후 행동 취약성과 연결하며, 거절 테스트의 보완책으로서 활성화 기반 진단의 유용성을 뒷받침합니다. 코드는 https://github.com/js-lee-AI/skin-deep 에서 이용할 수 있습니다.

arXiv:2606.20470v4cs.CR

에이전틱 AI 시스템에 대한 모델 유도 자동화 공격에 맞선 방어적 오도 분석

Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems

에이전틱 AI(Agentic AI) 시스템은 지시문 해석, 외부 데이터 처리, 도구 호출, 다른 에이전트와의 조율을 위해 언어 모델 컴포넌트에 점점 더 많이 의존하고 있습니다. 이러한 기능은 특히 공격자가 탐침(probing), 프롬프트 정제, 응답 평가를 확장하기 위해 모델 유도 자동화를 도입함에 따라 프롬프트 주입 및 탈옥(jailbreak) 공격의 파급력을 더욱 키웁니다. 본 연구는 대상 시스템, 방어 메커니즘, 공격자의 자동화된 판정자(judge)에 대한 확률 모델을 통해 공격-방어 환경을 분석합니다. 분석에 따르면, 예측 가능한 거절 반응이 자동화된 탐색에 유용한 피드백을 제공하기 때문에 기존의 '탐지 및 차단(detect-and-block)' 방어는 질의 예산(query budget)이 증가함에 따라 공격자 성공률(ASR)이 1에 수렴하도록 허용할 수 있습니다. 이에 본 연구에서는 악의적인 상호작용이 감지되었을 때 공격자의 판정자가 위양성(false-positive) 오류를 일으키도록 설계된 통제된 비작동 응답을 제공하는 '탐지 및 오도(detect-and-misdirect)' 전략을 살펴봅니다. 이 전략은 공격자가 선택한 후보의 양성 예측도(PPV)를 낮추고 유계된(bounded) 점근적 ASR을 유도합니다. 본 연구는 자동화된 탈옥 환경에서 예측 가능한 거절 텍스트를 안전하지만 전략적으로 오도하는 응답으로 대체하도록 설계된 경량 대화형 오도 기법인 CMPE(Contextual Misdirection via Progressive Engagement)를 통해 이 전략의 개념 증명 구현을 평가합니다. 탈옥 벤치마크에서 CMPE는 추정된 ASR 상한을 최대 2자릿수(orders of magnitude)까지 낮추었으며, PAIR, GPTFuzz, AutoDAN-Turbo를 사용한 엔드투엔드 실험에서 검증된 공격 성공을 거의 제거했습니다.

arXiv:2605.20072v2cs.AI

체화된 LLM 탐색: 관찰 충실도가 높아질 때 문제 해결을 저해하는 경우

Probing an Embodied LLM: When Higher Observation Fidelity Hurts Problem Solving

대규모 언어 모델(LLM)은 로봇 시스템의 인지 구성 요소로 점점 더 많이 제안되고 있지만, 불투명한 의사결정 과정으로 인해 폐루프 체화(embodied) 작업에서의 성공이나 실패를 설명하기 어렵습니다. 실증적 AI 방법론에 따라, 우리는 이용 가능한 정보를 변화시키고 그에 따른 행동 변화를 측정하여 체화된 LLM 에이전트(agent)를 행동학적으로 연구합니다. 숨겨진 상호의존성을 지닌 순차적 기계 퍼즐인 Lockbox를 사용하여, 물리적 로봇 환경에서 RGB, RGB-D 및 실측값(ground-truth) 기호 관찰 전반에 걸쳐 LLM을 평가하고 시뮬레이션을 사용하여 그에 따른 행동을 탐색합니다. 직관과 달리 에이전트는 원시 RGB 입력에서 가장 우수한 성능을 보이고, 완벽한 실측값 관찰에서 최악의 성능을 보입니다. 시뮬레이션에서 우리는 인식된 행동 결과를 무작위로 뒤집어 이러한 효과를 탐색했으며, 적당한 노이즈가 성능을 향상시켜 노이즈가 없는 기준선(baseline) 대비 성공률이 2.85배 증가하면서 40% 뒤집기 확률에서 정점에 도달함을 발견했습니다. 추가 분석을 통해 이러한 이득이 반복적인 행동 루프의 감소와 관련이 있음을 확인했습니다. 이러한 결과는 측정된 성능이 강건한 문제 해결보다는 지각 오류와 추론 실패 간의 상호작용을 반영할 수 있으므로, 성공률만으로는 LLM을 평가하기에 불충분함을 시사합니다.

arXiv:2605.08386v2cs.AI

SkillLens: 비용 효율적인 LLM 에이전트를 위한 적응형 다중 단위 스킬 재사용

SkillLens: Adaptive Multi-Granularity Skill Reuse for Cost-Efficient LLM Agents

스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 여러 작업에 걸쳐 절차적 경험을 재사용할 수 있는 실용적인 방법이 되었습니다. 그러나 기존 시스템은 일반적으로 스킬을 평면적이고 단일 해상도의 프롬프트 블록으로 취급합니다. 이는 관련성과 비용 간의 긴장을 유발합니다. 즉, 조잡한(coarse) 스킬을 주입하면 관련이 없거나 오해의 소지가 있는 컨텍스트가 유입될 수 있는 반면, 스킬 전체를 다시 작성하는 것은 비용이 많이 들고 불필요한 경우가 많습니다. 본 논문에서는 스킬을 정책, 전략, 절차 및 기본 단위(primitives)로 구성된 4개 층의 그래프로 구성하고 이를 혼합 단위로 검색하는 계층적 스킬 진화 프레임워크인 SkillLens를 제안합니다. 작업이 주어지면 SkillLens는 먼저 의미론적으로 관련된 스킬 시드를 검색하고, 스킬 그래프에 대한 차수 교정 무작위 보행(degree-corrected random walk)을 통해 이를 확장한 다음, 검증기(verifier)를 사용하여 방문한 각 단위를 수락, 분해, 재작성 또는 건너뛸지 여부를 결정합니다. 이를 통해 에이전트는 호환 가능한 하위 스킬을 직접 재사용하면서 국소적으로 불일치하는 구성 요소만 적응시킬 수 있습니다. 시스템을 지속적으로 개선하기 위해 SkillLens는 라우팅 결정을 향상시키고자 다중 단위 스킬과 검증기를 추가로 개선합니다. 본 연구는 혼합 단위 적응이 희소 불일치 가정 하에서 준선형 비용을 발생시키며, 진화적 업데이트 규칙이 국소 최적점에 도달할 때까지 검증 목표를 단조적으로 향상시킴을 보여주는 이론적 분석을 제공합니다. MuLocbench 및 ALFWorld 전반에서 SkillLens는 강력한 스킬 기반 베이스라인 대비 일관된 개선을 보였으며, 버그 위치 특정(bug localization)에서 최대 6.31%p의 Acc@1 향상을 달성하고 에이전트 성공률을 45.00%에서 51.31%로 높였습니다.

arXiv:2604.20779v2cs.AI

SWE-chat: 실제 환경에서 실제 사용자의 코딩 에이전트 상호작용

SWE-chat: Coding Agent Interactions From Real Users in the Wild

AI 코딩 에이전트(agent)가 대규모로 도입되고 있으나, 사람들이 실제로 이를 어떻게 활용하고 실무에서 그 결과물이 얼마나 유용한지에 대한 실증적 증거는 부족합니다. 본 논문에서는 오픈소스 개발자들로부터 실제 환경(in the wild)에서 수집한 최초의 대규모 실제 코딩 에이전트 세션 데이터셋(dataset)인 SWE-chat을 제시합니다. 이 데이터셋은 현재 약 18,000개의 세션을 포함하고 있으며, 이는 229,000개 이상의 사용자 프롬프트(prompt)와 200만 건의 에이전트 도구 호출로 구성됩니다. SWE-chat은 지속적으로 갱신되는(living) 데이터셋으로, 자체 수집 파이프라인이 공개 저장소로부터 세션을 자동적이고 지속적으로 탐색 및 처리합니다. SWE-chat을 활용하여 저자들은 실제 코딩 에이전트의 사용 방식과 실패 모드에 대한 초기 실증적 특성을 분석합니다. 연구 결과 코딩 패턴은 양봉형(bimodal)을 보였습니다. 41%의 세션에서는 에이전트가 커밋된 코드의 거의 전부를 작성한 반면("바이브 코딩(vibe coding)"), 25%에서는 사람이 모든 코드를 직접 작성했습니다. 역량이 급속도로 향상되고 있음에도 불구하고, 코딩 에이전트는 자연스러운 환경에서 여전히 비효율적입니다. 에이전트가 생성한 모든 코드 중 59%만이 사용자의 커밋에 최종 반영되며, 에이전트가 작성한 코드는 사람이 작성한 코드보다 더 많은 보안 취약점을 유발합니다. 나아가 사용자들은 전체 턴의 50%에서 수정, 실패 보고, 중단 등을 통해 에이전트의 출력에 반대하거나 개입(push back)합니다. 인간과 에이전트의 코드 작성자 속성을 포함한 완전한 상호작용 기록(trace)을 포착함으로써, SWE-chat은 정제된 벤치마크를 넘어 실제 개발자 작업 흐름에서 AI 에이전트가 어떻게 작동하는지 증거 기반으로 이해하기 위한 실증적 토대를 제공합니다.