PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00972v1cs.AI

VeriHarness: 장기적 과업을 위한 에이전트 검증 스케일링

VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks

대규모 언어 모델(LLM) 에이전트가 점점 더 복잡하고 장기적인 과업(long-horizon tasks)을 수행함에 따라, 그 결과를 검증하는 일은 점점 더 어려워지고 있습니다. 본 연구에서는 테스트 시점에 정답 참조나 채점 루브릭(grading rubrics)에 접근하지 않고도, 고정된 베이스 모델을 활용하여 검증 역량을 강화할 수 있는 방법을 연구합니다. 반복 샘플링을 통해 상호보완적인 정답 주장을 포함할 수 있는 복수의 롤아웃(rollout)을 얻을 수 있지만, 어떤 주장을 신뢰해야 할지 결정하기 위한 신뢰할 수 있는 검증 메커니즘이 필요합니다. 우리는 먼저 불일치가 올바른 대안을 드러내는 경우가 많은 반면, 합의는 오류를 은폐할 수 있음을 발견했습니다. 이러한 관찰 결과를 바탕으로, 생성기가 사용하는 기저 LLM에 워크스페이스, 증거 도구, 재사용 가능한 검증 기술(verification skills)을 제공하여 에이전트 검증기(agentic verifier)로 전환하는 VeriHarness를 제안합니다. 불일치 해결기(disagreement resolver)는 환경 증거를 바탕으로 상충하는 주장들을 대조 검증하고, 합의 도전기(consensus challenger)는 공유된 주장을 테스트하며 누락된 요구사항을 탐색합니다. 이들의 분석 결과는 최종 결과물의 선택과 수정을 안내합니다. 5개의 장기적 워크스페이스 벤치마크와 2개의 프론티어 모델에 걸쳐, VeriHarness는 평가된 베이스라인 중 가장 높은 선택 점수를 달성했습니다. 증거 기반 수정은 평균 성능을 더욱 향상시켜, 단일 롤아웃 대비 Gemini 3.5 Flash에서 6.2점, Claude Opus 4.8에서 6.4점의 성능 향상을 가져왔습니다. 나아가 검증 기술이 실패 피드백을 통해 스스로 개선될 수 있음을 보여줌으로써, VeriHarness가 장기적 에이전트 검증을 스케일링하기 위한 새롭고 핵심적인 접근 방식임을 입증합니다. 향후 에이전트 검증 연구를 지원하기 위해 10만 달러 이상의 비용을 들여 생성한 5개 벤치마크 및 두 모델 전체에 걸친 약 26,000개의 전체 롤아웃 풀을 공개합니다.

arXiv:2606.24112v1cs.AI

ReMMD: Realistic Multilingual Multi-Image Agentic Verification for Multimodal Misinformation Detection

Multimodal misinformation detection is increasingly important because viral posts now combine long multilingual narratives, several images, mixed provenance, and subtle text--image framing errors. Existing benchmarks and methods remain poorly matched to this setting: they usually isolate short captions, single images, binary labels, or one manipulation source, while agentic verification remains costly under realistic evidence search. We present ReMMD, a realistic multilingual multi-image agentic verification framework for multimodal misinformation detection. ReMMD includes ReMMDBench, a real-world multimodal misinformation detection benchmark with 500 samples, 2,756 images, five monolingual languages, two cross-lingual settings, three text-length tiers, multi-image posts, five-way veracity labels, eight distortion labels, evidence provenance, and rationales. It also includes ReMMD-Agent, a persistent-memory verifier that decomposes posts into atomic points, builds a reusable evidence set, and predicts structured L1/L2/L3 outputs. Across proprietary systems, open LVLMs, MMD-Agent, and T2-Agent, ReMMD-Agent obtains the best five-way veracity performance, with 41.80% accuracy and 39.12% macro-F1 using GPT-5.2, while reducing cost by 17.5% relative to MMD-Agent and 79.9% relative to T2-Agent. The project is available at https://dang-ai.github.io/ReMMD.