PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13485v1cs.CL

능동적 에이전트 오케스트레이션

Proactive Agentic Orchestration

에이전트 오케스트레이션(agentic orchestration)은 독립된 컨텍스트를 가진 서브 에이전트(sub-agent)들에게 작업을 위임함으로써 대규모 언어 모델(LLM) 에이전트의 유효 실행 범위를 확장하는 핵심적인 방안을 제공합니다. 그러나 기존 오케스트레이션 방식은 두 가지 한계에 직면해 있습니다. 실행 측면에서는 서브 에이전트 생성 시점에 목표와 하네스(harness)가 고정되어 동적인 실제 환경에 대한 적응력이 제한되며, 최적화(optimization) 측면에서는 희소하고 지연된 피드백으로 인해 오케스트레이션 정책의 효과적인 학습이 저해됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 온더플라이(on-the-fly) 능동적 에이전트 오케스트레이션 프레임워크인 POrchestra를 제안합니다. POrchestra는 서브 에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터와 능동적으로 소통하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브 에이전트가 동적 환경에 매끄럽게 적응할 수 있도록 지원할 뿐만 아니라, 사후 피드백(hindsight feedback) 기반의 온-정책 오케스트레이션 증류(OPOD)를 자연스럽게 이끌어냅니다. OPOD는 서브 에이전트의 능동적 수정 요청을 이전 오케스트레이션 결정에 귀인하여 타겟 개선 신호를 도출하고, 최종 보상과 함께 이러한 신호를 프로세스 지도(process supervision)로 활용하여 오케스트레이션 정책을 최적화합니다. 심층 연구, 동적 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 과제(long-horizon) 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 기준선 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 기준선 대비 소형 오케스트레이터의 성공률을 평균 10.0% 향상시켰습니다. 또한 POrchestra는 더 유리한 비용 대비 성능 트레이드오프를 달성합니다. 코드베이스는 https://github.com/XueyangFeng/POrchestra 에서 공개되어 있습니다.

arXiv:2609.26399v1cs.CL

해석 가능한 장면 안전성 이해를 위한 계층적 인지 과정과 과정 감독의 결합

Combining Hierarchical Cognitive Process with Process Supervision for Interpretable Scene Safety Understanding

장면 안전성 이해(scene safety understanding)는 다양한 핵심 분야의 상황 인식에서 생사를 가르는 역할을 한다. 장면과 안전 수준 사이의 직접적인 매핑을 학습하는 기존 방법은 해석 가능성이 부족한 경우가 많아, 핵심 응용 분야에서의 신뢰성이 제한된다. 이러한 문제를 극복하는 효과적인 접근법은 인간의 인지 과정을 해석하고 기계 모델에 이와 유사한 인지 능력을 갖추게 하는 데 있다. 본 연구는 장면 안전성 인지 과정 모델링과 과정 감독(process supervision)을 통합하는 효과적인 방법을 탐구한다. 구체적으로, 먼저 계층적 인지 안전 구조를 구축하고, 이를 바탕으로 과정 레이블이 포함된 다단계 추론에 기반한 새로운 고품질 장면 안전성 이해 데이터셋을 개발한다. 이 데이터셋은 벤치마크이자 대규모 언어 모델(LLM)의 안전성 추론 능력을 향상시키는 자원으로 활용되며, 동시에 정보 흐름(information flow)과 살리언시(saliency) 기반 기법을 통해 중간 추론 단계에 대한 세분화된 분석도 가능하게 한다. 이러한 토대 위에서, 인간 인지의 계층적 특성을 반영하는 모듈식이고 유연한 과정 감독 프레임워크를 제안한다. 이 프레임워크는 LLM을 핵심 아키텍처로 활용하고 저랭크 적응(Low-Rank Adaptation, LoRA)과 전문가 혼합(Mixture-of-Experts, MoE) 전략을 도입하여, 전체 추론 사슬의 특정 하위 과정을 각각 담당하는 전문가 모듈 간의 특화와 협업을 가능하게 한다. 체계적인 실험 평가와 분석을 통해, 본 프레임워크가 기존 접근법에 비해 우수한 해석 가능성과 성능 특성을 보임을 확인하였다.

arXiv:2609.22746v1cs.AI

ProcessLight: 대규모 언어 모델 기반 교통 신호 제어를 위한 프로세스 지도

ProcessLight: Process Supervision for Large Language Model Based Traffic Signal Control

최근 대규모 언어 모델(LLM)은 사람이 읽을 수 있는 추론 생성 능력에 힘입어 의사결정 에이전트로서 교통 신호 제어(TSC)에 도입되고 있습니다. 그러나 기존의 LLM 기반 TSC 기법들은 최종 결과만을 기반으로 최적화하며 타당한 추론 단계와 결함이 있는 추론 단계를 구분하지 못합니다. 이로 인해 유용한 단계와 오해의 소지가 있는 단계가 함께 업데이트되어 모델이 효과적인 추론을 학습하는 데 지장을 줍니다. 이러한 한계를 극복하기 위해, 본 논문에서는 신호 의사결정을 검증 가능한 의미론적 단계로 분해하는 LLM 기반 프레임워크인 ProcessLight를 제안합니다. 나아가 ProcessLight를 바탕으로 단계 수준의 신용 할당(credit assignment)을 통해 구조화된 추론 과정을 최적화하는 새로운 강화학습 프레임워크인 STeP-PO(Step-wise Traffic Process Policy Optimization)를 개발합니다. 구체적으로 STeP-PO는 단계 품질 점수(step quality score)를 사용하여 국소적 추론 품질을 평가하고, 단계 중요도(step importance)를 통해 각 단계가 최종 행동에 미치는 영향을 측정한 뒤 의미론적 단계 트리 구조상에서 단계 수준의 이점(advantage)을 할당합니다. 이렇게 도출된 단계 수준의 이점은 추론 토큰으로 전파되어 결과 기반 보상만을 넘어서는 미세한 정책 최적화를 가능하게 합니다. 여러 실제 데이터셋을 활용한 광범위한 실험을 통해 제안 방법의 우수성을 입증합니다. 코드는 https://github.com/wenzhaoabc/processlight 에서 확인할 수 있습니다.

arXiv:2607.13501v1cs.AI

LAPO: 다중 턴 검색 추론에서 자기 생성 과정 보상을 위한 한 턴 제외 귀속

LAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning

다중 턴 검색 추론을 위한 강화학습은 일반적으로 유용한 중간 상호작용, 중복된 중간 상호작용, 해로운 중간 상호작용을 구분할 수 없는 종료 결과 보상에 의존한다. 우리는 역방향 한 턴 제외 귀속에 기반한 자기 생성 과정 감독 방법인 LAPO를 제안한다. 각 검색 턴에 대해 LAPO는 해당 턴과 그 검색 관측을 고정된 [DELETE] 플레이스홀더로 대체하고, 정답(gold answer)에 대한 현재 정책의 평균 로그 가능도 변화를 측정한다. 이 Answer-Likelihood Gain은 모든 하류 상호작용을 보존하면서 해당 턴의 기여도를 추정하여, 초기 증거가 완전한 추론 맥락에서 평가될 수 있게 한다. LAPO는 추가로 부호 일관성 게이팅(sign-consistency gating)을 적용하여, 방향이 원시 귀속 점수와 일치하는 정규화된 과정 advantage만을 유지한다. 이 방법은 추가적인 보상 모델, teacher, verifier, LLM-as-a-judge가 필요하지 않다. 로컬 검색을 사용하는 7개의 지식 집약형 질의응답 데이터셋에서 LAPO는 평균 exact-match 점수 0.326을 달성하여, 가장 강력한 단계 보상 기준선인 IGPO보다 0.053 높다. 소거 실험(ablation)은 역방향 귀속과 부호 일관성 게이팅의 상보적 이점을 보여 주며, 정책 기반 회고적 귀속이 다중 턴 검색 에이전트에 대해 효과적인 과정 감독을 제공할 수 있음을 입증한다.

arXiv:2607.10144v2cs.AI

IdeaTrail: 과학적 아이디어 도출을 위한 전 과정 에이전트 궤적

IdeaTrail: Full-Process Agent Trajectories for Scientific Ideation

과학적 아이디어 도출은 문헌 검색, 논문 읽기, 도구 사용, 주장 검증, 논문 간 종합, 브레인스토밍, 약한 방향의 거부, 반복적 작성 등 여러 단계에 걸쳐 전개된다. 그러나 기존 대부분의 리소스는 이들을 연결하는 과정보다는 고립된 구성 요소나 최종 산출물만 포착한다. 우리는 과학적 아이디어 도출과 제안서 생성을 위한 1,170개의 다중 턴 궤적 데이터셋인 IdeaTrail을 제안한다. 각 궤적은 증거 수집부터 아이디어 선택 또는 제안서 구성까지의 연구 과정을 따르며, 도구 사용, 획득한 증거, 중간 산출물, 추론을 함께 기록한다. IdeaTrail은 Generator--Advisor 루프를 통해 사람이 선정한 연구 논문과 제안서 산출물로부터 합성된다. Generator는 행동, 관측, 산출물 편집의 가시적 시퀀스를 생성하고, Advisor는 전체 생성 컨텍스트를 사용하여 그라운딩, 인과 순서, 자연스러움, 숨겨진 목표로부터의 누출을 검사한다. 이 역방향-정방향 설계는 실제 과학적 산출물과 궤적을 정렬시키면서, 연구 실무의 특성인 불확실성, 증거 활용, 단계적 수렴을 유지한다. IdeaTrail은 재사용 가능한 과정 감독과 과학 연구 에이전트 데이터를 구축하기 위한 일반적인 방법을 모두 제공한다.

arXiv:2603.15600v2cs.RO

수동적 관찰자에서 능동적 비평가로: 강화학습이 로봇 조작을 위한 과정 추론을 이끌어내다

From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation

정확한 과정 감독(process supervision)은 장기 로봇 조작(long-horizon robotic manipulation)에서 여전히 핵심적인 과제로 남아 있다. 주요 병목은 현재의 비디오 다중모달 대규모 언어 모델(MLLM)이 주로 지도 미세조정(SFT) 패러다임으로 학습되어, 최종 작업 목표 대비 현재 상태를 평가하는 것이 아니라 진행 중인 이벤트를 인식하는 수동적 '관찰자'로 기능한다는 점이다. 본 논문에서는 비디오 MLLM을 능동적 '비평가'로 변환하는 7B 규모의 프레임워크인 PRIMO R1(Process Reasoning Induced Monitoring)을 소개한다. 우리는 결과 기반 강화학습을 활용하여 진행도 추정(progress estimation)을 위한 명시적 사고의 연쇄(Chain-of-Thought) 생성을 유도한다. 또한, 우리의 아키텍처는 초기 상태와 현재 상태 이미지 사이에 비디오 시퀀스를 명시적으로 고정(anchoring)함으로써 구조화된 시간적 입력을 구성한다. 제안된 PRIMO 데이터셋 및 벤치마크를 바탕으로, 다양한 도메인 내 환경과 도메인 외 실세계 휴머노이드 시나리오에 걸친 광범위한 실험을 통해 PRIMO R1이 최첨단 성능을 달성함을 입증한다. 정량적으로, 7B 모델은 특화된 추론 기준선(reasoning baselines) 대비 평균 절대 오차를 50% 감소시키며, 72B 규모의 범용 MLLM 대비 유의미한 상대적 정확도 향상을 보인다. 나아가, PRIMO R1은 어려운 실패 감지(failure detection) 작업에서 강력한 제로샷(zero-shot) 일반화 능력을 발휘한다. 우리는 RoboFail 벤치마크에서 67.0%의 정확도로 최첨단 성능을 수립하며, OpenAI o1과 같은 클로즈드소스 모델을 6.0% 상회한다.

arXiv:2606.29522v1cs.LG

모델은 자신이 쓴 것을 읽는가? 스크래치패드 추론에서의 인과적 레지스터

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

스크래치패드(scratchpad)에 기록된 중간 상태가 모델의 실제 계산에 인과적으로 연결되어 있는지 검증하기 위해, 알려진 전이 규칙을 가진 유한 상태 추적 태스크에서 스크래치패드 텍스트는 고정한 채 내부 표현만 편집하는 활성화 패칭(activation patching) 실험을 수행했다. 중간 상태를 기록하도록 파인튜닝된 Qwen2.5-Coder-7B 모델은 편집된 상태로부터 올바른 다음 상태를 80~91%의 정확도로 예측하여, 기록된 상태가 단순한 텍스트가 아닌 실제 계산 레지스터(register)로 기능함을 보였다.

arXiv:2606.27154v1cs.AI

OpenRCA 2.0: 결과 레이블에서 인과 과정 감독으로

OpenRCA 2.0: From Outcome Labels to Causal Process Supervision

기존 RCA 데이터셋이 근본 원인만 레이블하고 증상까지의 인과 전파 경로는 누락해 평가가 단순 패턴 매칭으로 축소되는 문제를, 장애 주입 기록에서 전방 검증으로 경로를 재구성하는 PAVE 프로토콜과 이를 적용한 OpenRCA 2.0(500건) 벤치마크로 보완한다. 11개 프론티어 LLM 실험에서 정확한 근본 원인 복원은 평균 20.7%에 그치며, 올바른 서비스를 찾아도 검증된 인과 경로로 그라운딩하는 비율은 61.5%로, 결과만 평가하면 드러나지 않는 비그라운딩 진단 실패가 큼을 보인다.

arXiv:2606.20075v1cs.LG

잠재적 사고의 연쇄(Latent Chain-of-Thought)에서 효과적인 감독의 요소: 정보 이론적 분석

What Makes Effective Supervision in Latent Chain-of-Thought: An Information-Theoretic Analysis

잠재적 사고의 연쇄(Latent Chain-of-Thought, CoT)는 추론을 연속적인 은닉 상태 내에 내면화하여, 장황한 이산적 추론 흔적에 대한 유망한 대안을 제공합니다. 그러나 결과 감독(outcome supervision)은 약한 학습 신호를 제공할 뿐만 아니라 잠재적 궤적을 의미적 드리프트(semantic drift)에 빠지게 하므로, 견고한 잠재적 추론을 달성하기는 여전히 어렵습니다. 본 연구에서는 정보 이론적 관점에서 잠재적 CoT를 분석하고, 이러한 실패를 최적화 경로를 따른 그래디언트 감쇠와 잠재 공간 내 표현 드리프트(representational drift)라는 이중 붕괴(dual collapse)로 규명합니다. 또한 과정 감독(process supervision)을 조밀한 단계별 추론 신호를 주입하는 궤적 감독(Trajectory Supervision)과 잠재 다양체(latent manifold)의 의미적 구조를 보존하는 공간 감독(Space Supervision)이라는 두 가지 상호 보완적인 차원으로 세분화합니다. 분석 결과, 경직된 기하학적 압축은 추론 공간을 붕괴시킬 수 있는 반면, 생성적 재구성은 정보 용량을 더 잘 보존하는 더 유연한 의미적 앵커(semantic anchor)를 제공함을 보여줍니다. 이러한 효과를 측정하기 위해, 잠재적 궤적과 명시적 추론 단계 사이의 상호 정보량(mutual information)을 정량화하는 통합 잠재 프로브(Unified Latent Probe, ULP)를 도입합니다. 실험 결과 명확한 정보-성능 결합(Information-Performance Binding)이 드러났습니다. 즉, 추론 정확도는 잠재 체인에 보존된 정보 충실도에 의존합니다. 이러한 발견은 잠재적 추론 감독을 위한 원칙에 기반한 프레임워크를 제공하며, 기하학적 모방(geometric imitation)에서 상호 정보량 최대화로의 전환을 시사합니다. 본 연구의 코드는 이 저장소에서 확인할 수 있습니다.

arXiv:2511.01650v3cs.CL

EngTrace: 공학적 추론의 검증 가능한 과정 감독을 위한 기호 벤치마크

EngTrace: A Symbolic Benchmark for Verifiable Process Supervision of Engineering Reasoning

대규모 언어 모델(LLM)은 엄격한 정량적 표준과 불변의 물리 법칙이 적용되는 전문화되고 안전 중요한 공학 워크플로우에 점점 더 많이 도입되고 있어, 이들의 추론 능력에 대한 엄격한 평가가 필수적입니다. 그러나 MMLU, MATH, HumanEval과 같은 기존 벤치마크는 고립된 인지 기술만을 평가할 뿐, 과학적 원리, 정량적 모델링, 실제적 제약 조건이 결합되어야 하는 공학의 핵심인 물리적 근거 추론을 포착하지 못합니다. 공학 분야에서 검증 가능한 과정 감독을 가능하게 하기 위해, 우리는 EngTrace라는 기호 벤치마크를 소개합니다. EngTrace는 90개의 매개변수화된 템플릿을 기반으로 구축되었으며, 각 템플릿은 고유하고 오염 방지가 가능한 문제 인스턴스를 생성합니다. 이 벤치마크는 3개의 주요 공학 분야, 9개의 핵심 도메인, 20개의 세부 영역을 아우르며, 다양한 물리적 시나리오에 대한 일반화 능력을 강도 높게 테스트하는 1,350개의 테스트 케이스를 제공합니다. 단순한 결과 매칭을 넘어, 우리는 자동화된 절차적 검사와 이질적인 AI 심사단을 통해 최종 답안과 함께 중간 추론 트레이스를 검증하는 계층형 프로토콜을 활용하는 검증 가능한 2단계 평가 프레임워크를 도입합니다. 27개의 선도적인 LLM에 대한 평가 결과, 수치적 정밀도와 트레이스 충실도 사이에 뚜렷한 상충 관계가 있음을 확인했습니다. 또한, 추상적인 수학적 사전학습이 고도화된 공학 작업에 필요한 통합적 추론으로 이어지지 못하는 '복잡성 절벽' 현상을 식별했습니다.