PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27756v1cs.AI

압박 속 보고: LLM 통계 분석에서 사실적 아첨과 어조적 아첨의 분리

Reporting Under Pressure: Separating Factual and Tonal Sycophancy in LLM Statistical Analysis

대규모 언어 모델(LLM)은 점점 더 데이터를 분석하고 결과가 무엇을 의미하는지 보고하도록 요청받고 있으며, 이는 대부분의 아첨(sycophancy) 연구에서 다루는 신념·선호 정렬(alignment) 설정과는 별개의 과제이다. 우리는 프롬프트의 편집적 프레이밍이 중립적 요청부터 발견을 discredit하거나 뒷받침할 이유를 철저히 찾으라는 명시적 지시까지 이어질 때, 모델의 보고에서 어조뿐 아니라 내용(substance)까지 바꾸는지 검증한다. 네 가지 프레이밍 조건과 네 가지 ground-truth 데이터 패턴(진짜 효과, 효과를模방하나 견고성 검증(robustness check)에 실패하는 교란(confound), 검정력이 충분한 null, 검정력이 부족한 null)을 교차하는 4×4 요인 설계에서 480개 응답을 수집하고, 각각을 두 독립 차원으로 채점한다. 하나는 데이터에 대한 사실적 주장이 올바른 해석에서 벗어났는지이고, 다른 하나는 주장은 올바른 채 어조만 달라졌는지이다. 사실적 왜곡은 두 셀에 집중된다. 진짜 효과에 가혹하게 비판적인 프레이밍을 적용할 때 모델이 부당한 회의론을 스스로 설득하는 경우(응답의 97%), 검정력 부족 null에 유의성 추구(significance-seeking) 프레이밍을 적용할 때 데이터가 뒷받침할 수 없는 null 결론에 대한 확신을 과장하는 경우(응답의 100%)이다. 어조 변화는 사실적 내용보다 훨씬 넓게 나타난다. 비판적 프레이밍은 데이터가 무엇을 보여주든 모든 데이터 패턴에서 방어적이고 hedge가 많은 문체를 만들고, 유의성 추구 프레이밍은 데이터가 진정한 애매함을 남기는 경우에만 어조를 바꾼다. 데이터 자체에 존재하는 confound는 시험한 모든 프레이밍 조건에서 두 종류의 변화를 거의 전부 차단한다. 이 결과는 LLM 보조 데이터 분석에서 프레이밍 유발 왜곡의 위험이 프레이밍 간에도 데이터 패턴 간에도 균일하지 않으며, 모델이 올바른 결론은 그대로 유지한 채 그 주변에서 어조만 크게 바뀔 수 있음을 시사한다.

arXiv:2609.27606v1cs.AI

상태 기반 조건화(State-Grounded Conditioning): 방향이 실시간 상태에 따라 달라지는 사용자 대면 LLM 에이전트 래핑

State-Grounded Conditioning: Wrapping User-Facing LLM Agents Where Direction Depends on Live State

우리는 실시간 사용자 상태(게임 상태, 세션 기록, 실시간 인벤토리)에 조건화해야 하는 사용자 대면 LLM 에이전트를 위한 설계 원칙인 State-Grounded Conditioning(SGC)과, 방향 드리프트(direction drift)라 부르는 별도의 실패 유형—과제는 완료했으나 선택한 방향이 현재 상태와 어긋나는 응답—을 제안한다. SGC는 Perception, Grounding, Interaction 래퍼가 명시적 조건화 의존성을 갖도록 하여, 구조화된 입력과 세 가지 주요 상태 슬라이스(state slice)에 대한 규칙 커널(rule kernel)로 상태 의존 제어를 외부화한다. 연속 경기에서 플레이어를 안내하는 게임 내 대화형 코칭 에이전트로부터 수집한 200세션 익명화 벤치마크(약 1,000회의 어시스턴트 모델 턴)에서 SGC를 평가하며, 평균 첫 토큰 지연(latency)과 사실적 그라운딩 및 코치형 안내 진행을 함께 다루는 다섯 가지 사람 주석 대화 품질 지표를 보고한다. Perception 래퍼는 평균 첫 토큰 지연을 1.5초로 유지한다(프로덕션 tool-use 하네스 내부 PE-Agent는 6.1초). 세 래퍼를 모두 켜면 턴 수준 그라운딩 정확도가 61.1%/69.8%(Prompting/PE-Agent)에서 96.7%로, 세션 수준 그라운딩 정확도가 20.0%/26.5%에서 83.5%로 상승하며, 세션 수준 그라운딩 실패 사건은 가장 강한 기준선 대비 약 78% 감소한다. 누적 ablation은 래퍼를 추가할수록 상보적인 점진적 이득이 있음을 보여준다. 이 결과는 대략적인 상태 슬라이스 직교성(orthogonality)에 대한 시사점을 제공하나, 래퍼별 독립 효과는 확립하지 않는다.

arXiv:2609.27517v1cs.AI

의도하신 의미가 아니다: LLM은 지정된 부정 의미론을 따를 수 있는가?

Not What You Meant: Can LLMs Follow a Specified Negation Semantics?

부정(negation)은 도메in마다 균일한 해석을 갖지 않는다. 법률·규제·의료 추론에서는 의도된 해석이 적용되는 독해(reading)에 따라 달라진다 — 개방 세계(open-world) 대 폐쇄 세계(closed-world), 이값(two-valued) 대 삼값(three-valued), 그리고 credulous 대 skeptical 추론. 우리는 대규모 언어 모델(LLM)이 기본적으로 어떤 부정 독해를 채택하는지, 다른 독해가 명시적으로 지정될 때 그 선호를 바꿀 수 있는지 연구한다. 이를 위해 SLDNF, well-founded semantics(WFS), stable-model semantics 하의 credulous·skeptical 추론 등 네 가지 의미론적 관점을 아우르는 solver 인증(solver-certified) 인스턴스의 절차적 생성기 NAFBench를 제안한다. 생성기는 깊이·너비·순환 구조가 통제된 ground normal logic program을 출력한다. 각 프로그램은 SWI-Prolog, well-founded semantics solver, clingo로 네 관점 모두에서 풀어 최대 네 개의 서로 다른 레이블을 얻는다. 이후 프로그램은 답이 불변인 여러 프레이밍과 규칙 순서 하에서 자연어로 서술된다. 결과는 일관된 격차를 드러낸다. 오픈소스 모델 전반에서 명시된 부정 의미론을 따르는 문제는 여전히 미해결이다: 가장 강한 모델은 네 의미론적 관점에서 59–74%를 기록하고, 가장 약한 모델은 31–67%이다. 모든 모델은 논리적으로 동일한 규칙 재배열의 절반 이상에서 순서에 민감하며, 두 약한 모델은 well-founded "undefined"에서 자주 과잉 확정(overcommit)한다. 두 frontier 모델은 주요 고정 복잡도 평가 세트에서 100%에 도달하고, 세 번째인 o4-mini는 거의 완벽하나 well-founded "undefined"에서만 81%로 떨어진다. 추론을 solver에 위임하거나, 인증된 trace에 대한 미세조정, 또는 명시적 삼값 판정을 강제하는 것 각각이 격차를 부분적으로 줄인다.

arXiv:2609.27336v1cs.AI

CART: 대규모 언어 모델을 위한 폐루프 적응형 레드팀 테스팅

CART: Closed-Loop Adaptive Red Teaming for Large Language Models

자동화된 레드팀 테스팅은 종종 고정된 프롬프트 집합을 재생하며, 이는 알려진 위험을 측정할 수는 있지만 테스트 중 발견된 실패로부터 학습할 수는 없다. 우리는 각 결과를 다음에 무엇을 테스트할지 안내하는 데 활용하는 프레임워크인 CART(Closed-Loop Adaptive Red Teaming)를 제안한다. CART는 넓은 위험 커버리지로 시작하고, 나타나는 취약점을 추적하며, 새로운 프로브를 다양하게 유지하고, 모든 발견에 대한 증거와 출처를 기록한다. 테스트를 생성하는 Challenger, 텍스트 전용 모델 또는 제한된 도구 사용 에이전트일 수 있는 테스트 대상 Target, 결과를 평가하는 Judge를 분리하여 이러한 역할을 독립적으로 연구할 수 있게 한다. 세 가지 평가 계열(Frontier, JAH, Agentic)에 걸쳐 CART는 사용 가능한 기준선이 있는 모든 Target에 대해 정적 시드 재생보다 더 많은 실패와 더 높은 평균 위험을 발견한다. 이러한 이득은 도구 매개 에이전트 테스트까지 확장되며, 맥락적 적응이 직접적인 프롬프트 재생이 겪지 못하는 취약점을 드러낼 수 있음을 시사한다. 이 결과는 실제 배포에서 실패가 얼마나 자주 발생하는지가 아니라 테스트 정책이 무엇을 발견하는지를 기술한다. 또한 Challenger-Judge 선택이 드러난 증거에 영향을 미친다는 것을 확인했으며, 이는 역할 분리와 독립적 검토의 필요성을 강조한다. 전반적으로 CART는 레드팀 테스팅을 일회성 체크리스트에서 모델과 에이전트 취약점에 대한 지속적이고 적응적이며 감사 가능한 탐색으로 전환한다.

arXiv:2609.27333v1cs.AI

정렬 관성: 정책 오버라이드 저항을 통한 학습 데이터 영향의 지속성 감사

Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance

플랫폼 운영자는 모델 행동을 제어하기 위해 시스템 프롬프트와 미세조정(fine-tuning)에 점점 더 의존하고 있지만, 이러한 개입이 이전 학습(training)에서 물려받은 행동을 얼마나 안정적으로 오버라이드(override)하는지는 여전히 불분명합니다. 우리는 운영자의 개입이 이전 행동을 변경하는 데 성공하거나 실패하는 시점을 측정하기 위해 오버라이드 성공률(OSR)과 정렬 관성(alignment inertia)을 제안합니다. 의학적 허위 정보 및 혐오 발언 분야에서 Llama와 Mistral을 대상으로 제로샷(zero-shot) 프롬프팅과 LoRA 미세조정을 평가합니다. 정렬 관성은 두 모델 모두에서 지속되지만 모델, 도메인, 정책 방향에 따라 다릅니다. 특히 Mistral의 제한적인 혐오 발언 조건에서 LoRA는 관성을 46.5%포인트 증가시켜, 미세조정이 이전 행동을 오버라이드하기보다는 강화할 수 있음을 보여줍니다. 또한 우리는 관성이 더 약한 적응 신호와 연관되어 있는지 테스트하기 위해 TRAK을 사용합니다. TRAK은 8개 조건 중 7개에서 최소 0.85의 AUC를 달성하며, 관성의 예측 인자로서 모델 신뢰도, TF-IDF 유사도, 임베딩(embedding) 유사도보다 우수한 성능을 보입니다. 이러한 결과는 이전 학습이 다운스트림 모델 거버넌스를 제약하는 지점에 대해 운영자 관점의 감사를 제공합니다.

arXiv:2609.27332v1cs.AI

발산하는 과제 증거와 안정적 기하를 활용한 효율적 장기 에이전트 압축

Stable Geometry with Divergent Task Evidence for Efficient Long-Horizon Agent Compression

장기 에이전트는 상호작용 기록이 누적되면서 컨텍스트와 추론 비용이 커진다. 기하학적 중복만으로는 안전한 압축의 기준이 되기에 불충분함을 확인했다. 에이전트 기록은 강한 저차원 구조를 보이지만, 유사한 전역 기하가 매우 다른 양의 과제 증거(task evidence)를 보존할 수 있다. 동일한 보존 블록 수에서 증거 인식(evidence-aware) 선택은 다음 행동 Top 3 보존률을 0.31에서 0.69로 높이는 반면, centroid 유사도는 0.98로 유지된다. 통제된 대체 실험은 전역 기하 측정치가 거의 변하지 않은 채 행동 관련 정보가 상당히 바뀔 수 있음을 추가로 보여준다. 기하와 증거 사이의 이러한 간극에 착안하여, 과제 및 실행 증거를 먼저 보호한 뒤 기하 잔차로 커버리지를 완성하는 학습 불필요(training-free) 압축기 Geometry Guided Evidence Preserving Memory(GEM)를 제안한다. GEM은 과제당 평균 결합 토큰 사용량을 2.69M에서 2.11M으로 줄여 21.4% 감소시키면서, 유사한 수준의 과제 보상을 유지한다. 결과는 효율적인 에이전트 기록 압축이 기하 커버리지만이 아니라 보존된 과제 증거를 최적화해야 함을 보여준다.

arXiv:2609.27321v1cs.AI

검증 가능한 은닉 동역학 플레이: 풀린 메커니즘으로부터 에이전틱 RL 환경 생성

Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms

언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.

arXiv:2609.27286v1cs.AI

장기 호라izon 에이전트에서 행동 전에 형성되는 메모리 제어 신호

Memory Control Signals Emerge Before Action in Long Horizon Agents

장기 호라izon 언어 모델 에이전트는 상호작용 기록을 계속 축적하면서 계산 비용이 커지고, 관련 정보를 보존·재사용하기도 어려워진다. 기존 컨텍스트 관리 방법은 주로 기록을 압축하거나 검색하는 데 초점을 두지만, 메모리 연산이 일어나기 전에 모델 자체가 그 필요성을 이미 내부적으로 표현하는지는 대체로 밝히지 않았다. 우리는 각 에이전트 행동 직전의 은닉 상태를 분석한 결과, 압축과 회상(기억 인출) 필요성이 이미 모델의 내부 표현에 인코딩되어 있음을 보였다. 이러한 신호는 단순한 컨텍스트 길이나 상호작용 진행만으로는 설명되지 않으며, 모델 깊이에 따라 서로 다른 형성 패턴을 보인다. 또한 대부분의 메모리 결정 정보는 압축된 최근 컨텍스트에 남아 있고, 선택적으로 복원한 과거 근거가 최근 컨텍스트가 놓치는 장거리 의존성을 보완함을 보였다. 이에 따라 상태 기반 압축과 외부 근거 검색을 결합한 Preaction Memory with Evidence Retrieval(PaMER)을 제안한다. PaMER+는 현재 과제에 필요한 과거 정보만 되살리기 위한 단계(step) 수준 근거 선택을 추가한다. WorkBuddyBench에서 여러 컨텍스트 관리 베이스라인과 모델 백본에 대한 실험 결과, 본 프레임워크는 과제 성능을 경쟁력 있게 유지하면서 컨텍스트 소비를 크게 줄였다.

arXiv:2609.27284v1cs.AI

Hunyuan-A13B 기술 보고서

Hunyuan-A13B Technical Report

Hunyuan-A13B를 소개한다. 이는 전문가 혼합(MoE) 아키텍처 기반의 오픈소스 대규모 언어 모델(LLM)이다. 총 800억 개의 파라미터를 포함하지만 추론 시에는 130억 개만 활성화하여 모델 성능, 계산 효율, 배포 비용의 균형을 맞춘다. 이 모델은 엄격하게 필터링된 20T 토큰 코퍼스에 사전학습(pre-training)되었으며, STEM 데이터 큐레이션을 강화하여 사실적 신뢰성과 추론 능력을 개선했다. 고품질 지도 미세조정과 대규모 강화학습이 전반적인 성능을 더욱 향상시킨다. Hunyuan-A13B는 또한 작업 복잡도에 따라 추론 깊이를 조절하는 이중 모드 사고의 연쇄(Chain-of-Thought) 프레임워크를 도입한다: 일반적인 질의에는 빠른 사고(fast thinking), 복잡한 다단계 문제에는 느린 사고(slow thinking)를 사용한다. 평가 결과 수학, 과학, 프로그래밍, 일반 언어 이해, 에이전트 작업 전반에서 경쟁력 있는 성능을 보이며, 종종 훨씬 더 큰 모델에 근접한 수준이다. 높은 추론 처리량으로 지연 시간에 민감한 응용에 적합하다. 오픈 연구와 실용적인 LLM 배포를 지원하기 위해 Hunyuan-A13B를 공개한다.

arXiv:2609.27276v1cs.AI

DRSR: 효율적인 장기 지평 에이전트를 위한 집합 수준 삭제 위험 학습

DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents

장기 지평 언어 모델 에이전트는 추론 추적, 도구 교환, 관측을 축적하며, 이들의 관련성은 현재 의사결정에 따라 달라진다. 기존 압축 전략은 종종 과거 단위를 독립적으로 점수화하지만, 여러 단위를 삭제하는 것의 안전성은 일반적으로 각 단위의 개별 점수만으로 결정되지 않는다. 중복 증거, 누적된 미세 효과, 삭제 후 남는 정보가 모두 중요하다. 우리는 에이전트 이력 압축을 삭제 집합에 대한 위험 제약 선택 문제로 공식화하는 Direct Relational Set-Risk Pruning(DRSR)을 제안한다. 오프라인에서 DRSR은 프로토콜상 유효한 이력 Block을 공동으로 삭제하고, 동일하게 기록된 다음 출력에 대한 teacher-forced 가능도 변화를 측정하여 정확한 반사실(counterfactual) supervision을 구성한다. 경량 scorer는 후보 이력과 현재 행동 전(pre-action) 상태 사이의 온라인에서 관측 가능한 관계, 삭제-유지 및 pairwise 집합 구조와 함께 집합 수준 해로함을 예측한다. 배포 시 DRSR은 경량 scorer로 구조적으로 유효한 소수의 삭제 후보를 평가하고, 최근성, 프로토콜, 예산, 학습된 위험 제약 하에서 제거 가능한 최대 집합을 제거하며, 충분히 안전한 집합이 없으면 삭제를 보류(abstention)한다. WorkBuddyBench Full260에서 DRSR은 평균 보상을 0.699에서 0.802로 높이는 동시에 총 모델 토큰을 20.820% 줄인다. 고정된 Eval40 비교에서, 압축하지 않은 에이전트 대비 35.850% 적은 토큰을 사용하며 작업당 1.211M 토큰에서 0.794 보상을 달성한다. 기전 분석과 ablation은 또한 의사결정 조건부 관계, 유지된 컨텍스트 정보, 쌍 상호작용, 보류(abstention)가 각각 신뢰할 수 있는 가지치기에 기여함을 보여준다.

arXiv:2609.27087v1cs.AI

스킬로서의 정책(Policy-as-Skill): 증거, 결정론적 제어 및 감사를 갖춘 거버넌스 기반 LLM 의사결정 지원

Policy-as-Skill: Governed LLM Decision Support with Evidence, Deterministic Control, and Audit

조직에서는 정책, 컴플라이언스(규정 준수), 위험 및 운영 의사결정 지원에 대규모 언어 모델(LLM)을 점차 더 많이 활용하고 있으며, 이에 따라 증거 검증, 검토 라우팅, 버전 관리 및 감사 가능성이 요구됩니다. 본 논문에서는 이러한 기능들을 실행 가능하고 버전이 관리되는 정책 역량으로 패키징하는 모듈형 런타임인 Policy-as-Skill(PaS)을 제안합니다. 고정된 Gemma4 백엔드를 바탕으로 600개의 개발 태스크에서 13가지 방식을 평가했습니다. PaS+Audit은 53.8%의 정확한 정확도(exact accuracy), 매크로 F1 0.346, 검토 F1 0.854, 인용 정밀도 1.000, 정책 참조 재현율 0.984, 감사 완전성 1.000을 달성하여 대부분의 거버넌스 및 검토 지표에서 LLM+RAG를 능가합니다. 결정론적 제어는 종합 정확도를 61.2%까지 끌어올리지만 태스크 의존성이 매우 높아, 보편적인 규칙 기반 개입보다는 선택적 개입이 효과적임을 뒷받침합니다.

arXiv:2609.27051v1cs.AI

제안하되 판단하지 마라: 투자 팩터를 발굴하는 LLM 에이전트를 위한 언제든 유효(anytime-valid) 심판

Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors

언어 모델 에이전트는 이제 양적 팩터 연구 전 과정을 수행한다. 투자 팩터를 제안하고, 백테스트하며, 생존자를 선별하고 은퇴시킨다. 우리는 그 일 가운데 에이전트가 어떤 역할을 유지해야 하는지 묻는다. 우리의 답은 통제된 자기 진화(governed self-evolution)이다. 에이전트는 제안할 수 있고, 에이전트가 건드릴 수 없는 고정(frozen) 통계 심판이 판단해야 한다. 심판은 제출 이후에 공개된 시장 결과만을 베팅(betting)으로 각 후보를 채점하므로, 어떤 제안 정책에 대해서든 모든 정지 시점(stopping time)에서 허위 발견(false-discovery) 보장이 성립한다. 우리는 세 가지 제안자(스크립트, 밴딧, 언어 모델)와 이 심판 및 의도적으로 누수가 있는(leaky) 세 가지 심판을 교차한다. 실험은 심재 진실(planted truth)이 있는 합성 세계, 프로브 작성 환경, CSI 500에 대한 10년 워크포워드(walk-forward)에서 수행한다. 누가 판단하는지가 허위 채택(false admissions) 수를 정한다. 고정 심판은 스크립트 제안자 하에서 누수 심판보다 임계값 미만(sub-threshold) 팩터를 5–11배 적게 채택하며, 어떤 제안자도 그 격차를 메우지 못한다. 누가 제안하는지가 수확(yield)을 정한다. 언어 모델은 스크립트를 능가하고 밴딧과 맞먹으며, 밴딧에는 없는 유일한 능력인 자체 진단 프로브 작성을 더한다. 인증(certificate)의 대가는 시간이다. 채택된 진짜 팩터는 약 500 거래일을 기다리며, 따라서 인증 포트폴리오의 Sharpe 비율은 게이트 없는(ungated) 포트폴리오에 뒤진다. 판단은 절차(procedure)에 속하고, 제안과 도구(instrument) 제작은 에이전트에 속한다.

arXiv:2609.27038v1cs.AI

서술된 추론 단계는 인과적으로 부하를 지는가?

Are Stated Reasoning Steps Causally Load-Bearing?

사고의 연쇄(CoT) 모니터링은 모델이 적어 낸 추론이 답을 직접 생성하는 계산을 반영한다고 가정한다. 이전 충실성(faithfulness) 지표는 대부분 행동적(behavioral)이었는데, 추론 텍스트를 편집한 뒤 그에 따른 답만 관찰하는 방식이었다. 본 연구의 방법론은 자기 생성(self-generated) 추론에 대해 활성(activation) 수준에서 충실성을 인과적으로 측정하는 것을 목표로 한다. 성능 저하(degradation)를 측정하는 기존 인과 감사(causal audit)와 달리, 여기서의 개입(intervention)은 알려진 예측 타깃을 갖는다. 따라서 각 패치(patch)는 구성상(construction) 도출 가능한 특정 반사실(counterfactual) 개체로 답이 바뀌어야 한다. 구체적으로 합성 다중 홉(multi-hop) 조회(lookup) 과제(2–6홉)를 사용한다. 모델이 각 중간 단계를 서술하는 토큰 구간에서, 반사실 실행의 해당 활성으로 잔차 스트림(residual stream)을 패치한다. Qwen3-4B의 경우, 가장 반응이 큰 네트워크 중간 층에서 서술된 단계의 76.9%±2.8%가 인과적 부하 부담(causally load-bearing, CLB)이다(무작위 위치 null: 11.3%; 기본 프롬프트 사실 패치: 83%, 따라서 서술된 단계는 달성 가능한 효과의 약 96%를 담는다). 더욱이 동일 항목에 대한 표준 행동적 검사는 88.2%를 내어 인과적 충실성을 11.4퍼센트포인트 과대평가한다(항목 일치; 불일치 쌍 111:14, p < 1e-15), 가장 쉬운 항목에서는 최대 20퍼센트포인트까지 과대평가한다. 이 격차에는 뚜렷한 역량(capability) 차원도 있다. Qwen3-1.7B는 전반적으로 인과적 충실성이 훨씬 낮다(54.8%), 추론 깊이가 깊어질수록 충실성이 무너진다(2홉 68%에서 6홉 30%), 반면 Qwen3-4B는 상대적으로 평탄하다. 서술된 추론이 인과적으로 의미 있을 수 있지만, 표준 행동적 검사는 특히 모델 추론이 가장 유창해 보이는 쉬운 예에서 그 인과적 충실성을 과대평가하는 경향이 있다.

arXiv:2609.27035v1cs.AI

분해된 하위 과제를 활용한 강화학습

Reinforcement Learning with Decomposed Subtasks

언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.

arXiv:2609.26952v1cs.AI

Python 의존성 지옥에서 벗어나기: Python 의존성 해결을 위한 하이브리드 리플레이-수리 파이프라인

Escaping Python Dependency Hell: A Hybrid Replay-and-Repair Pipeline for Python Dependency Resolution

Python 생태계의 의존성 충돌은 호환되지 않는 버전 제약, 누락된 패키지, 문서화되지 않은 호환성 관계에서 비롯되어, 많은 실세계 코드 스니펫이 실행 시 실패하게 만든다. 본 논문은 의존성 실패 스니펫 2,891개로 구성된 HG2.9K 벤치마크에서 평가된 하이브리드 의존성 수리 파이프라인인 PLLM+를 제시한다. PLLM+는 LLM 기반 수리를 호출하기 전에 비용이 적은 결정론적 단계를 우선한다: 정적 AST 기반 인터프리터 추론, 대회에서 제공된 solutions database의 과거에 성공한 의존성 구성의 리플레이(replay), 후보 패키지 버전에 대한 실시간 PyPI 검증. 이 단계들로 사례가 해결되지 않으면, 유형화된 오류 분류와 Proposer/Critic 에이전트를 갖춘 구조화된 LLM 기반 수리 루프로 폴백한다. HG2.9K에서 PLLM+는 2,891개 스니펫 중 1,500개를 해결했으며, PLLM 기준선이 해결한 1,169개와 비교된다. 또한 스니펫당 평균 실행 시간을 368.7초에서 71.8초로 줄였다. 대부분의 성공적 수정은 알려진 구성의 리플레이에서 나온다: 1,500건의 성공 수정 중 1,495건은 solutions database가 생성했고, LLM 폴백은 추가로 5건을 담당했다. 이 결과는 이 벤치마크 설정에서, 이전에 검증된 의존성 구성의 결정론적 재사용이 단순하고 효과적인 전략이며, LLM 기반 수리는 기존 해법이 다루지 못하는 사례에 대한 2차 폴백 역할을 한다는 것을 시사한다.

arXiv:2609.26927v1cs.AI

상호작용형 다중 에이전트 시뮬레이션을 위한 사회·정서적 인공지능 구축

Building Socio-Affective Artificial Intelligence for Interactive Multi-Agent Simulations

본 논문의 목적은 시뮬레이션된 동적 환경에서 인간과 다중 에이전트(agent) 간의 상호작용을 가능하게 하는 설계 원칙과 소프트웨어 아키텍처를 제공하는 것이다. 이는 트랜스포머(transformer) 기반 대화형 에이전트의 확산 및 향상된 컴퓨팅 연산 능력과 더불어 범용 인공지능(AI/AGI)의 현시대를 연결한다. 현재 및 과거의 다중 에이전트 마음 이론(사회적 및 정서적으로 인지하는 에이전트)에 대한 개요를 바탕으로, 에이전트 상호 간 및 인간과의 통합적 상호작용 설계의 존재는 미래 인간-에이전트 추론 시스템에서 지속 가능성과 거버넌스를 구축하는 방법을 이해하는 데 결정적이어야 한다. 본 연구에서는 다음 항목들을 통합하는 소프트웨어 "AGIMUD"를 제시한다: A. 에이전트 행동 및 상호작용에 있어 사회적 인지 추론과 감정, B. 인간 사용자, 인공 에이전트, 시뮬레이션된 환경을 위한 인간 다중 모달(multimodal) 체계 설계, C. 다수의 자율 에이전트를 지원하기 위해 네트워크를 통한 AI 연산 처리 분산. 이러한 통합을 통해 에이전트와 인간 모두가 실시간으로 동시에 상호작용할 수 있는 머드(MUDs, multi-user dungeons) 형태의 동적 환경 재현이 가능해진다. 코드는 https://github.com/dberga/AGIMUD 에서 온라인으로 확인할 수 있다.

arXiv:2609.25039v1stat.ML

사고의 연쇄(Chain-of-Thought) 엔트로피는 무엇을 측정하는가? 스캐폴딩, 라우팅, 콘텐츠에 대한 채널 감사

What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content

사고의 연쇄 토큰에 대한 엔트로피는 어떤 토큰이 정책 그래디언트를 받는지, 어떤 토큰이 가지치기되는지, 한 실행(run)이 붕괴했는지를 결정하지만, 이러한 각 통계량은 세 가지 선택—연결 스캐폴딩(connective scaffolding)을 낼지 여부, 어떤 연결어를 쓸지, 실질적(substantive) 후속이 무엇이어야 하는지—를 섞은 다음 토큰(next-token) 분포를 읽는다. 스캐폴드 어휘 부분집합을 지정하면 엔트로피, Kullback–Leibler(KL) 발산, 소프트맥스 정책의 1차 엔트로피 속도(velocity)에 대해 이 세 가지를 정확히 분리한다. 우리는 raw 규약과 content 규약이 명시적 개 영역(open region)에서 어느 위치가 더 큰 분기(fork)인지에 대해 불일치함을 증명하고, 답 다양성(answer diversity)을 콘텐츠 채널(content channel)과 측정된 witness가 보증하는 leakage 항(leakage term)으로 상한(bound)한다. 23가지 구성(configuration) 전반에서 스캐폴드 측은 raw 고엔트로피 집합의 최대 41%를 차지한다. matched-tokenizer ladder에서는 coupling이 math-corpus 단계에서만 바뀌는 반면, 스캐폴드의 엔트로피 점유율은 지식 증류(distillation)를 거치며 계속 커진다. 한 채널 상관(correlation)으로부터의 닫힌 형(closed-form) 예측은 피팅 없이(unfitted) 54포인트 구간의 선택 유지(selection retention)를 5포인트까지 추적한다. 압축(compression)에서는 content 규약이 모든 셀(cell)에서 raw surprisal을 능가한다. 답 leakage 감사(audit)는 우리 자신의 헤드라인 대조(headline control)를 바로잡는다. 재투입(re-fed)된 사고의 연쇄는 재진술된 답(restated answers)으로 정확도의 4분의 1에서 절반을 얻으며, 이를 제거하면 어떤 토큰 스코어러(token scorer)도 무작위 연속 블록(random contiguous block)을 이기지 못한다.

arXiv:2609.25325v1cs.NE

대규모 언어 모델을 활용한 온라인 자동 알고리즘 설계

Online Automated Algorithm Design with Large Language Models

대규모 언어 모델(LLM)은 추론과 코드 합성을 통해 자동 알고리즘 설계(AAD)를 가능하게 한다. 그러나 기존의 LLM 기반 AAD 방법 대부분은 알고리즘 설계와 대상 최적화를 분리하여, 최적화 상태가 변화하는 동안에도 고정된 설계를 그대로 배포한다. 기존의 적응형 옵티마이저는 이러한 변화에 대응할 수 있지만, 그 조정은 사전에 정의된 파라미터, 연산자 또는 전략의 범위에 국한된다. 이러한 한계를 해결하기 위해, 본 논문은 알고리즘 자체를 상태 의존적 결정 변수로 취급하는 새로운 최적화 패러다임인 온라인 LLM 기반 AAD를 제안한다. 각 단계에서 LLM 에이전트는 현재의 최적화 상태로부터 새로운 동작 로직을 갖춘 알고리즘을 합성한다. 생성된 알고리즘을 실행하면 탐색이 진행되고 이후 설계를 위한 피드백이 제공되므로, 별도의 오프라인 알고리즘 사전학습 단계 없이도 알고리즘 설계와 대상 최적화가 결합된다. 이 패러다임을 구현하기 위해 본 논문은 상충하는 설계 관점을 조율하여 실행 가능한 알고리즘을 합성하고, 실행 피드백을 활용해 이후 설계를 위해 런타임 증거를 해석하는 방식을 개선하는 멀티 에이전트 프레임워크인 OnDesign을 제안한다. 우리는 두 가지 주류 블랙박스 최적화 패러다임에 걸친 세 가지 시나리오, 즉 베이지안 최적화, 진화적 연속 최적화, 진화적 혼합 변수 최적화에서 OnDesign을 평가한다. 여섯 개의 벤치마크 스위트와 하나의 공학 문제에 대해 다양한 문제 차원에서 수행한 광범위한 실험을 통해, 기존 옵티마이저와 오프라인 LLM 기반 AAD 방법보다 우수한 전반적 성능을 보임을 입증한다.

arXiv:2609.26781v1cs.CL

Agensh: 1,024 에이전트 규모로 조직 지능 스케일링

Agensh: Scaling Organizational Intelligence to 1,024 Agents

멀티 에이전트 시스템은 작업을 동시에 실행함으로써 복잡한 과제의 지연(latency)을 줄일 수 있다. 여러 선구적인 하네스(harness) 프레임워크가 멀티 에이전트 시스템을 지원한다. 그러나 현재 멀티 에이전트 하네스의 확장성은 작업을 할당하고 워커를 조율하는 중앙 오케스트레이터의 처리 능력에 의해 종종 제약된다. 이 한계를 해결하기 위해 중앙 오케스트레이터 없이 확장 가능한 자기 조직화(self-organized) 멀티 에이전트 하네스인 Agensh를 제안한다. 동시에 동작하는 워커들이 멀티 에이전트 협력 루프를 실행하며, 맥락을 지속적으로 수집하고, 하위 과제를 클레임(claim)하여 스스로 할당하며, 행동을 취하고 결과를 공유하고, 결과를 검증하며, 진행 상황을 비동기적으로 병합한다. 이 루프는 세 가지 구성 요소로 이루어진 에이전틱 조직(agentic organization) 인프라가 뒷받침한다. 공유 워크스페이스는 제안·진행·완료된 작업을 보관하고, 메시지 인터페이스는 워커 간 통신을 가능하게 하며, 공유 컨텍스트는 재사용 가능한 발견과 작업 의도를 유지한다. Agensh의 확장성을 검증하기 위해 GPT-5.6-sol (high)로 ProgramBench에서 가장 어려운 다섯 과제를 평가했다. 에이전트 수를 1에서 128로 늘리면 평균 최종 테스트 통과율이 19.31%에서 28.78%로 상승하여 약 49%의 상대적 향상을 보인다. 더 큰 조직은 더 이른 시점에 비슷한 테스트 통과율에 도달한다. pandoc 과제에서는 에이전트를 1에서 1,024로 늘리면 최종 테스트 통과율이 33.89%에서 55.06%로 상승한다. 워커 궤적은 또한 조직이 커질수록 다양한 형태의 자기 조직화 협력이 점진적으로 출현(emerge)하고 표준화됨을 보여 준다. 이러한 결과는 에이전트 수를 멀티 에이전트 조직이 일반 지능(general intelligence)의 프론티어를 넓히기 위한 새로운 스케일링 차원으로 삼을 수 있음을 보여 주며, 엄격한 지연 제약이나 시간 예산 하의 복잡한 과제에 대한 실용적 해결책을 제공한다.

arXiv:2609.26704v1cs.CL

반복 샘플링을 넘어서: LLM 추론을 위한 탐색 정책 학습

Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning

대규모 언어 모델(LLM)은 테스트 시간 연산(test-time compute)을 더 많이 투입하여 고난도 추론 문제를 점진적으로 해결하고 있지만, 여전히 지배적인 전략은 단순 반복 샘플링(naive repeated sampling)에 머물러 있습니다. 즉, 다수의 독립적인 해결책을 생성하고 그중 하나가 정답이기를 기대하는 방식입니다. 이러한 샘플링은 국소적 디코딩 노이즈(local decoding noise)만을 통해 탐험(exploration)을 수행하므로, 진정으로 차별화된 아이디어보다는 거의 중복에 가까운 시도를 다수 생성하는 경향이 있습니다. 본 연구에서는 문제별 개념, 힌트 또는 전략을 먼저 샘플링한 다음 이에 기반하여 답변 생성을 조건화함으로써 시맨틱 수준에서 탐험을 유도할 수 있는지 질문을 던집니다. 이를 단일 궤적(single trajectory) 내에서 다양하고 많은 개념을 도출하는 단순하면서도 더욱 탐험적인 절차로 구체화하고, 반복 샘플링이 어려움을 겪는 고난도 문제에서 이를 평가합니다. 나아가 개념 생성을 학습 가능하도록 발전시킵니다. 즉, 강화학습(reinforcement learning)을 통해 소형 개념 생성 모델을 최적화하여, 이 모델이 생성한 개념이 동결된(frozen) 더 큰 답변 생성 모델의 다운스트림 성공을 극대화하도록 합니다. 고난도 수학 추론 문제에서, 학습된 개념 생성 모델은 동일한 답변 생성 연산량 할당 하에서 단순 반복 샘플링 대비 답변 생성 모델의 pass@k를 실질적으로 향상시키고, 튜닝되지 않은 훨씬 더 큰 모델에서 추출한 개념의 성능을 능가하며, 학습 과정에서 접하지 않은 다른 계열의 모델을 포함한 답변 생성 모델로도 전이됩니다. 따라서 소형 모델을 훨씬 더 큰 모델을 위한 효과적이고 재사용 가능한 탐색 정책(search policy)으로 학습시킬 수 있습니다.