PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17454v3cs.AI

에이전트 궤적을 통한 모델 행동 분석

Dissecting model behavior through agent trajectories

AI 에이전트 성능은 단순한 모델링 문제에 그치지 않고 본질적으로 시스템적인 문제입니다. 모델의 고급 역량은 에이전트 하네스(harness)를 통해 구현됩니다. 따라서 모델의 가정과 하네스의 동작 사이의 간극은 모델의 온전한 역량이 에이전트 성능으로 이어지는 것을 쉽게 방해할 수 있습니다. 본 연구에서는 이를 모델이 의도하는 바와 하네스가 실행하는 것 사이(그리고 그 반대)의 불일치를 뜻하는 '의도-실행(intent-execution)' 간극으로 공식화합니다. 우리는 이러한 의도-실행 간극을 최소화하는 것이 도구 및 실행 루프와 같은 하네스 설계의 다른 측면만큼이나 중요하다고 주장합니다. 이러한 하네스-모델 정렬(alignment)의 영향을 보여주기 위해, 우리는 'Simple Strands Agent'(SSA)라는 단순하고 사용자 맞춤 설정이 가능한 하네스를 개발합니다. SSA는 소수의 모델별 선호도뿐만 아니라 다양한 모델 계열(Claude, Gemini, GPT, Grok, Qwen 등) 전반에 걸쳐 일반화되는 공통 패턴의 대부분을 찾는 것을 목표로 합니다. 본 논문의 기여는 두 가지입니다. (i) 널리 사용되는 에이전트 벤치마크(SWE-Pro, SWE-Verified, Terminal-Bench-2, Deep-SWE)에서 다양한 모델 제공사 계열이 보고한 pass@1 성능을 재현하거나 개선합니다. (ii) SSA가 생성한 154k개의 궤적 분석을 바탕으로, 프론티어 모델 전반에서 비교적 균등하게 나타나는 경향이 있는 pass@1 수치 그 너머를 살펴봅니다. 에이전트 궤적을 코드 상태 공간으로 표현함으로써, 해법 거리(solution distance)와 역추적(backtracking)을 계산하여 문제 해결 행동에서 모델 수준의 차이를 관찰합니다. 수정 빈도, 테스트 활동, 상태 전이와 같은 더 세분화된 지표는 개별 모델이 문제 해결의 여러 단계에 걸쳐 노력을 어떻게 배분하는지를 보여줍니다.

arXiv:2608.15242v4cs.AI

LongRCA Bench: 긴 지평의 에이전트 궤적에서의 근본 원인 위치 파악

LongRCA Bench: Root-Cause Localization in Long-Horizon Agent Trajectories

에이전트(agent)의 긴 실행 과정에서 초기의 오류는 이후의 행동과 검증을 거치는 동안 지속될 수 있는 반면, 그 원인을 추적하는 데 필요한 증거는 전체 이력에 걸쳐 분산됩니다. 짧은 이력은 상당한 후속 실행 전반에 걸쳐 오류 원인을 찾아내는 능력을 평가(evaluation)하기에는 한계가 있습니다. 본 연구에서는 5개 소스에서 수집한 1,140개의 완전한 실패 궤적으로 구성된 LongRCA Bench를 소개하며, 모든 궤적은 책임 있는 역할과 가장 이른 결정적 근본 원인 단계에 대해 사람이 직접 주석을 달았습니다. 기준이 되는 근본 원인은 완료 시점보다 중앙값 기준 48개의 기록된 단계 앞서 발생하며, 궤적의 28.4%는 100개 이상의 후속 단계를 포함합니다. 전체 벤치마크(benchmark)에서 DeepSeek-V4-Flash를 사용했을 때, 평가된 5개의 베이스라인 중 가장 강력한 모델도 13.2%의 정확한 근본 원인 단계 정확도를 달성하는 데 그쳤습니다. 이에 본 연구에서는 원본 후보 기록과 명시적인 핸드오프 인스트럭션을 정리하여 기여도를 분석하는 학습(training) 불필요 방식인 Root-Cause Trajectory Attribution(RCTA)을 제안합니다. 세그먼트 요약과 궤적 개요는 후보 검색을 안내하며, 사용 가능한 핸드오프 기록은 최종 인스트럭션-실행 비교를 위한 상류 인스트럭션 컨텍스트를 제공합니다. 동일한 백본과 채점 프로토콜에서 RCTA는 24.1%의 정확한 근본 원인 단계 정확도와 51.1%의 책임 역할 정확도에 도달합니다. LongRCA-Mini는 더 적은 비용의 비교 스크리닝을 위해 200개의 고정된 궤적을 제공합니다. RCTA를 적용하더라도 기준 근본 원인이 정확히 복구되는 비율은 4분의 1 미만에 불과합니다.

arXiv:2607.10144v2cs.AI

IdeaTrail: 과학적 아이디어 도출을 위한 전 과정 에이전트 궤적

IdeaTrail: Full-Process Agent Trajectories for Scientific Ideation

과학적 아이디어 도출은 문헌 검색, 논문 읽기, 도구 사용, 주장 검증, 논문 간 종합, 브레인스토밍, 약한 방향의 거부, 반복적 작성 등 여러 단계에 걸쳐 전개된다. 그러나 기존 대부분의 리소스는 이들을 연결하는 과정보다는 고립된 구성 요소나 최종 산출물만 포착한다. 우리는 과학적 아이디어 도출과 제안서 생성을 위한 1,170개의 다중 턴 궤적 데이터셋인 IdeaTrail을 제안한다. 각 궤적은 증거 수집부터 아이디어 선택 또는 제안서 구성까지의 연구 과정을 따르며, 도구 사용, 획득한 증거, 중간 산출물, 추론을 함께 기록한다. IdeaTrail은 Generator--Advisor 루프를 통해 사람이 선정한 연구 논문과 제안서 산출물로부터 합성된다. Generator는 행동, 관측, 산출물 편집의 가시적 시퀀스를 생성하고, Advisor는 전체 생성 컨텍스트를 사용하여 그라운딩, 인과 순서, 자연스러움, 숨겨진 목표로부터의 누출을 검사한다. 이 역방향-정방향 설계는 실제 과학적 산출물과 궤적을 정렬시키면서, 연구 실무의 특성인 불확실성, 증거 활용, 단계적 수렴을 유지한다. IdeaTrail은 재사용 가능한 과정 감독과 과학 연구 에이전트 데이터를 구축하기 위한 일반적인 방법을 모두 제공한다.