PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03315v1cs.AI

프로덕션 AI 에이전트를 위한 경량 루브릭 기반 궤적 평가

Lightweight, Rubric-Guided Trajectory Evaluation for Production AI Agents

궤적 평가(trajectory evaluation)는 대규모 언어 모델(LLM) 기반 에이전트(agent)의 신뢰성을 향상시키는 데 필수적이지만, 프로덕션 환경에서 반복적으로 실행하기에는 비용이 많이 듭니다. 현대적인 에이전트는 도구 호출, 관측 결과, 재시도 및 외부 출력을 포함하는 긴 실행 추적(trace)을 생성하지만, 모든 원시 토큰(token)이 진단에 똑같이 유용한 것은 아닙니다. 본 논문에서는 예산이 제한된 궤적 평가를 위한 경량 아키텍처인 LiteTrajEval을 제시합니다. LiteTrajEval은 오프라인에서 도메인 특화 규칙 프로파일을 간결하게 도출한 후, 온라인에서 각 궤적을 전처리하고 휴리스틱 실패 신호를 표시하며, 고정된 글로벌 예산 내에서 이를 직렬화하고 단일 루브릭 기반 LLM 판정자(judge)를 호출하여 구조화된 진단 보고서를 생성합니다. 공개된 Magentic-One 스타일 및 $\tau$-bench 스타일 궤적 데이터셋(dataset)에서 평가한 결과, LiteTrajEval은 AgentRx와 비교하여 Magentic-One에서 약 20--35%p, $\tau$-retail에서 최대 23%p까지 인간 주석과의 실패 위치 식별(failure-localization) 일치도를 향상시키는 동시에 비용을 약 6배, 평가 시간을 8배 이상 절감했습니다. 이 솔루션은 당사의 엔터프라이즈 에이전트 플랫폼에도 배포되었습니다.

arXiv:2607.06624v2cs.AI

AgentLens: 코딩 에이전트 평가를 위한 프로덕션 평가 기반 궤적 리뷰

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

대화형 코드 에이전트를 위한 프로덕션 평가 기반 벤치마크인 AgentLens를 제시한다. 대부분의 코드 에이전트 벤치마크는 한 번의 실행을 단일 비트로 축소한다—과제가 통과했는가?—하지만 실제로 이러한 에이전트를 사용하는 사람들은 전체 궤적을 경험한다: 에이전트가 지시를 따르는 방식, 도구를 사용하는 방식, 자신의 작업을 검증하는 방식, 실수로부터 회복하는 방식, 그리고 그 과정에서 사용자와 소통하는 방식. AgentLens는 그 전체 궤적을 평가한다. 객관적 검사가 존재하는 형식 검증을 대규모 언어 모델(LLM)이 작성한 궤적 리뷰 및 나란히 비교와 결합하여, 각 실행마다 점수가 그렇게 된 이유에 대한 읽기 쉬운 설명을 제공한다. 이로 인해 AgentLens는 모델 순위 매기기 이상의 용도로 유용하다: 모델 행동을 진단하고, 자체 에이전트의 연속 버전을 비교하며, 야간 평가 파이프라인에서 제품 회귀를 포착하는 데 사용한다. 벤치마크는 https://github.com/agent-lens/agent-lens-bench 에서 오픈 소스로 공개한다.

arXiv:2606.17541v1cs.LG

오프라인 선호도 기반 궤적 평가

Offline Preference-Based Trajectory Evaluation

에이전트 시스템의 오프라인 평가는 종종 궤적을 최종 성공으로 단순화하여, 부분적인 진행에 대한 정보를 버리고 광범위한 동점을 유발합니다. 이는 유효 표본 크기를 줄이고 시스템을 구별하는 능력을 약화시켜 상당한 통계적 비효율성을 초래합니다. 우리는 진행 및 복귀 시간 프로필에 대한 시간적 선호도를 통해 궤적을 직접 비교하는 선호도 기반 궤적 평가를 제안합니다. 우리는 다양한 에이전트 및 대화형 벤치마크에서 표준 성공 기반 메트릭이 약 75%의 인스턴스에서 동점 비교를 생성하는 반면, 궤적 인식 선호도는 동점을 약 35%로 줄여 식별력, 순위 안정성 및 데이터 효율성을 향상시킨다는 것을 발견했습니다. 우리의 결과는 종종 불량한 데이터 수집이나 문제 난이도 때문으로 여겨지는 벤치마크 포화 현상이 평가 지표의 선택으로도 설명될 수 있음을 시사합니다.