PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10961v1cs.SE

코딩 에이전트를 위한 런타임 계약으로서의 교차 제공자 검토: 통제된 파일럿 및 결함 주입 연구

Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study

코딩 에이전트(coding agent)들은 서로 다른 제공자와 구독 한도를 활용하면서 단일 워크스테이션을 공유하는 경우가 점점 늘고 있습니다. 제2의 에이전트가 완성된 답변을 점검할 수 있지만, 이러한 호출은 또 다른 리소스 풀을 소모하며 실질적인 발견점을 제시하지 못할 수도 있습니다. 본 연구에서는 별도의 리소스 풀, 제한된 실행, 제한된 검토자 권한, 완전한 입력 전달, 사용 가능한 의미적 출력, 명시적인 실패 상태, 시도별 영구적 증거를 갖춘 자문용 교차 제공자(cross-provider) 검토 계약을 설명합니다. 20회의 쌍을 이룬 개발 턴으로 구성된 통제된 에이전트 작성 파일럿에서, 8회에서 실질적인 검토자 발견점이 나타났습니다(95% 정확 구간 19.1-63.9%). 두 검토자 백엔드에 걸친 경계 조건 스캔은 부분 입력에 대해 이전에 발견되었던 허위 성공을 재현했습니다. 4가지 절단(truncation) 수준이 과거에는 통과했으나 수정 후에는 실패했습니다. 또한 이 스캔을 통해 프로세스 회수(process reaping) 중 취소 문제를 발견하고 수정했습니다. 실제 CLI 프로브에서 Claude는 쓰기 도구가 없었던 반면, Codex는 5회의 읽기 전용 시험 중 5회 모두 쓰기를 시도했으나 각 쓰기 도구 호출은 실패했고 일회용 저장소는 변경되지 않았습니다. 이러한 테스트는 지정된 경로와 버전을 다루며 현장 신뢰성을 보장하지는 않습니다. 메타데이터 전용 검토 할당에 대한 사전 등록된 섀도우 연구는 정확한 런타임 회귀 테스트에서 세 번째 결함(0이 아닌 종료 코드로 종료된 검토자가 잘 구성된 판정 결과를 냈을 때 완료된 것으로 집계되는 문제)이 발견되기 전까지 25개의 공식 관측치를 축적했습니다. 시도별로 종료 상태가 기록되지 않아 노출 여부를 소급하여 해결할 수 없었습니다. 25개의 공식 기록과 2개의 보류 기록은 감사 코호트로 유지되며, 측정 유효 코호트는 0에서 다시 시작하여 수집이 진행 중입니다. 게이트 결과는 보고되지 않습니다.

arXiv:2606.28116v2cs.CL

LLM 학습 불안정성 선제적 탐지를 위한 메커니즘 기반 모니터

Mechanism-Driven Monitors for Preemptive Detection of LLM Training Instability

대규모 언어 모델 학습에서 수치 결함이나 하이퍼파라미터 오류가 발생해도 손실과 그래디언트 노름은 수천 스텝 동안 정상처럼 보일 수 있다는 문제를 다루며, 저정밀도 flash attention의 QK 쌍선형 분해 스펙트럼 엔트로피와 전문가 혼합(MoE) 라우터 가중치 유사도를 모듈 기능 역할에서 도출한 내부 모니터로 활용한다. 결함 주입 실험 결과, 이 메커니즘 기반 지표들은 손실 발산보다 수천 스텝 앞서 서로 다른 결함 유형에 대한 구별 가능한 신호를 제공함을 보인다.

arXiv:2607.11098v3cs.SE

AgentCheck: MCP 기반 LLM 에이전트를 위한 재현-개입-완화 워크벤치

AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCP

도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 대부분 모든 도구가 정상 동작한다는 가정 하에 평가된다. 도구가 타임아웃되거나, 일주일 지난 값을 반환하거나, 배포 환경에서 설명이 오염되는 경우, 개발자는 장애를 재현하고 수정 사항을 테스트하며 배포 전에 수정이 실제로 동작하는지 확인할 수 있는 통제된 방법이 필요하다. 우리는 MCP 서버를 개입 인터페이스로 전환하는 오픈소스 웹 워크벤치인 AgentCheck를 제안한다. AgentCheck는 에이전트를 실제 도구와 함께 실행하여 모든 도구 응답을 기록한 뒤, 장애(12가지 유형) 주입기로 응답을 변조하여 에이전트를 재실행한다. 일치하는 도구 호출은 캐시에서 재생되고, 에이전트가 분기된 이후의 도구 호출은 실제로 실행된다. 이를 통해 재현-개입-확인 루프가 형성된다. 개발자는 완화 조치를 토글하고 동일한 장애에 대해 재실행하여 장애가 해소되는지 확인할 수 있다. 평가는 두 부분으로 구성된다. 결정론적 통과/실패 규칙과, 사람 어노테이션으로 검증된 해석적 레이블을 위한 LLM 심사자이다. 다섯 가지 에이전트에 걸쳐 최고 성능 에이전트는 120개 시나리오 중 105개를 통과하고 최저 성능 에이전트는 77개만 통과한다. 대부분의 실패는 충돌이 아니라 잘못된 도구 출력을 조용하고 확신 있게 사용하는 형태로 나타난다. 최저 성능 에이전트에서, 재시도 완화 조치는 타임아웃 오류 장애에 대한 성공률을 최저 30%에서 100%로 끌어올리는 반면, 오래된 데이터 장애는 완화 조치와 관계없이 10건 중 3~4건 수준에 머문다. AgentCheck는 이러한 장애 모드를 배포 전에 재현 가능하고, 비교 가능하며, 검증 가능하게 만든다.