이의 제기 경험의 기억 통합을 통한 자기 진화형 멀티미디어 검증
Self-Evolving Multimedia Verification through Memory Consolidation of Contestation Experiences
한국어 초록
멀티미디어 검증은 정확한 판단뿐 아니라 추적 가능한 증거, 신뢰할 수 있는 인간의 수정, 그리고 선행 경험의 안전한 재사용을 요구한다. 기존 시스템은 종종 중간 추론을 수정하거나 유해한 지식 전이를 방지하는 명시적 메커니즘을 갖추지 못한다. 본 논문은 SEMV(Self-Evolving Multimedia Verification)를 제안한다. 이는 자기 진화형 다중 에이전트 프레임워크로, 출처 정보를 담은 논증(argument)을 증거, 추론, 인간의 이의 제기(contestation), 기억(memory) 사이의 인터페이스로 다룬다. SEMV는 아레나 기반 정량적 이분 논증(A-QBAF), 인과적·범위 제한(scoped) 수정, 검증 게이트가 있는 기억 통합 및 명시적 갈등 보존을 결합한다. COSMOS 벤치마크에서 SEMV는 91.88% 정확도를 달성하며, 이는 비교 가능한 최강 기준선의 89.10%를 상회한다. 검증된 기억은 부정적 전이를 5.7%에서 0.2%로 줄인다. 리뷰어 이의 제기로 구성된 CTR 벤치마크에서 범위 제한 인과 수정은 초기 오류의 96.7%를 교정하면서 연산량 52.8%를 절감한다. MV2026 Grand Challenge 데이터셋은 증거 기반의 시간적으로 일관된 보고를 추가로 뒷받침한다. 이러한 결과는 SEMV가 검증된 경험을 통해 진화할 수 있으면서, 축적된 지식과 이후 결정을 추적 가능하고, 수정 가능하며, 이의를 제기할 수 있게 유지할 수 있음을 보여준다.
원문 초록
Multimedia verification requires not only accurate decisions but also traceable evidence, reliable human correction, and safe reuse of prior experience. Existing systems often lack explicit mechanisms for revising intermediate reasoning or preventing harmful knowledge transfer. We present SEMV (Self-Evolving Multimedia Verification), a self-evolving multi-agent framework that treats provenance-bearing arguments as the interface between evidence, reasoning, human contestation, and memory. SEMV combines arena-based quantitative bipolar argumentation (A-QBAF), causal and scoped revision, and verification-gated memory consolidation with explicit conflict retention. On COSMOS benchmark, SEMV achieves 91.88% accuracy versus 89.10% for the strongest comparable baseline. Verified memory reduces negative transfer from 5.7% to 0.2%. On CTR benchmark, constructed from reviewer contestations, scoped causal revision corrects 96.7% of initial errors while saving 52.8% compute. MV2026 Grand Challenge dataset further supports evidence-grounded, temporally consistent reporting. These results show that SEMV can evolve through verified experience while keeping accumulated knowledge and subsequent decisions traceable, revisable, and contestable.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27175v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
추론 모델은 식별 가능성 판단에서 정확하지만 건전하지 못하다
Reasoning Models Are Accurate but Unsound on Identification
관측 데이터로부터 인과 효과(causal effect)를 복원할 수 있는지 질문을 받았을 때, 추론 모델은 두 가지 방식으로 실패할 수 있습니다. 즉, 식별 가능한(identifiable) 쿼리를 거부하거나 식별 불가능한 쿼리에 답변하는 것입니다. 어떤 관측 데이터로도 주장된 공식을 검증할 수 없기 때문에 후자가 더 중대한 결과를 초래합니다. 이러한 실패를 측정하려면 기존 평가에는 부재했던 증명 가능하게 식별 불가능한 쿼리가 필요하며, 문자열 매칭으로는 불가능한 임의의 동등한 형태의 올바른 공식을 수용하는 채점 방식이 필요합니다. 우리는 두 가지 한계를 모두 해결하는 정형 식별 파이프라인인 CERTID를 구축합니다. CERTID는 건전하고 완전한 인과 식별 알고리즘인 ID를 사용하여 주어진 그래프와 쿼리로부터 효과가 식별 가능한지 인증하고, 개입 분포(interventional distribution)가 정확히 알려진 구조적 인과 모델(SCM)을 대상으로 반환된 공식을 검증합니다. 나아가 CERTID는 구조적 누출(structural leakage)을 완화하고, 식별 불가능한 쿼리를 보정하며, 채점 보장을 확립하기 위한 이론적 결과를 개발합니다. 우리는 4개에서 50개의 정점에 이르는 1,200개의 인증된 인스턴스에서 세 가지 프론티어 추론 모델(Gemini Flash, Gemini Pro, GPT5.5)을 평가합니다. 정확도(accuracy)는 건전성(soundness)을 대변하기에 미흡한 지표임이 입증되었습니다. 동일한 인스턴스에서 식별 불가능한 쿼리에 대한 허위 주장 비율(false-claim rate)은 모델에 따라 17배 차이가 납니다. 또한 우리는 모델들이 가장 성능이 뛰어난 모델의 학습 스냅샷 이후에 생성된 그래프에서도 97-100%의 정확도로 식별 가능성을 판단한다는 점을 발견했습니다. 인스턴스, 인증 절차, 검증기 및 인스턴스별 기록은 https://anonymous.4open.science/r/certid-D718 에서 확인할 수 있습니다.
하네스가 신호를 잃을 때: LLM 에이전트의 복구에 대한 인과적 평가
When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents
대규모 언어 모델(LLM) 에이전트는 모델과 환경 간에 정보를 전달하고 실행 오류로부터 복구하기 위해 외부 하네스(harness)에 의존합니다. 그러나 복구는 대개 평균 작업 성공률로만 평가됩니다. 이는 중요한 상충 관계(tension)를 가립니다. 동일한 작업이 실패하는 궤적을 구제할 수도 있지만, 그렇지 않았으면 성공했을 궤적을 방해할 수도 있습니다. 본 연구에서는 복구를 인과적 의사결정 문제로 정형화합니다. 동일한 실행 상태에서 출발하여 복구가 있을 때와 없을 때 일어나는 결과를 비교하고, 구제와 피해를 분리하며, 복구의 가치가 시간에 따라 어떻게 변하는지 연구합니다. 그런 다음 복구 이전에 가용한 정보를 활용하여 개입이 가치 있는 시점을 결정하는 경량 정책인 인과적 개입 라우터(CIR, Causal Intervention Router)를 소개합니다. Qwen3-14B를 사용한 긴 호라이즌(long-horizon) ALFWorld 작업에서 CIR은 성공률을 70.33%에서 73.33%로 3.00%p 향상시킵니다. 또한 올바른 관측을 가진 평가된 모든 궤적은 변경하지 않고 그대로 유지합니다. 추가적인 대조 실험은 복구의 이점이 단순히 환경이 반환한 새로운 관측만으로는 설명될 수 없음을 보여줍니다. 이러한 결과는 복구를 평가하고 이를 선택적으로 적용하기 위한 실용적인 방법을 제공합니다.
ReLiveGym: 수 주간 재현된 현실 스트림 상에서 장기 생존 에이전트 평가
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
대규모 언어 모델(LLM) 에이전트가 널리 채택됨에 따라, 지속적인 모니터링이나 반복적인 행동이 필요한 작업(예: 시장 분석)에 점점 더 많이 배포되고 있습니다. 이러한 에이전트는 며칠 또는 몇 주 동안 사람의 개입 없이 운영되고, 적절한 타이밍에 행동하며, 시간에 따른 동적 환경에 적응할 것으로 기대됩니다. 그러나 기존의 장기(long-horizon) 에이전트 연구는 시간에 따라 변화하지 않는 정적인 환경을 고려하는 경우가 많아 이러한 문제를 완전히 포착하지 못합니다. 본 논문에서는 에이전트가 시간 순서대로 재현된 실제 뉴스, 시장 및 소셜 미디어 스트림의 시뮬레이션된 수 주에 걸쳐 드물게 행동하는 장기 생존(long-lived) 작업 진단 평가 환경인 ReLiveGym을 소개합니다. 이 작업들은 다양한 수준의 시간 민감도, 추론 강도 및 반복성을 아우릅니다. 본 연구에서는 8개의 베이스 언어 모델에 걸쳐 모델 선택과 하네스(harness) 설계가 이러한 장기 생존 작업에서 에이전트 성능에 어떤 영향을 미치는지 조사합니다. 실험 결과, 에이전트가 언제 행동할지 결정하는 방식이 장기 생존 작업을 위한 중요한 하네스 설계 축으로 나타났으며, 최적의 설계는 작업에 따라, 때로는 모델 선택에 따라서도 달라진다는 점을 보여줍니다. 또한 사후 피드백(hindsight feedback)을 통한 지속적 학습이 성능에 미치는 영향과 이러한 장기 생존 작업에서 관찰되는 실패 모드를 어떻게 해결하는지 평가합니다. 이러한 발견은 모델 선택, 행동 타이밍 메커니즘, 피드백 활용이 장기 생존 에이전트 설계에서 중요한 고려 사항임을 시사합니다. 코드: https://github.com/SaharaLabsAI/ReLiveGym
시계열 월드 모델에서 정확도와 메커니즘 일관성의 괴리에 대하여
On the Divergence of Accuracy and Mechanism Consistency in Time Series World Models
시계열 월드 모델(TSWM)은 제어 대상 시스템의 관측된 과거 이력과 계획된 행동 및 외생적 입력을 바탕으로 시스템의 상태를 예측한다. 기존 접근법들은 행동을 공변량으로 취급하는 예측 모델을 구축하며, 실행된 계획 하에서의 예측 오차를 기준으로 학습되고 평가된다. 그러나 월드 모델은 실행되지 않은 계획들을 비교해야 함에도 불구하고, 변경된 계획에 대한 모델의 반응은 아직 검증되지 않은 상태로 남아 있다. 본 연구에서는 어떠한 설계 선택이 중요하며, 정확한 예측 모델이 실제 시스템처럼 변경된 계획에 반응하는지 묻는다. 우리는 정형화(formalization)와 벤치마크를 통해 두 질문을 모두 다룬다. 정형화 과정에서는 상태, 행동, 외생적 입력을 분리하고, 연속형·모드형·이벤트형 행동을 구분하며, 혈관수축제가 혈압을 상승시키는 것과 같이 방향성이 알려진 선언된 행동-상태 관계를 기반으로 구축된 지표인 메커니즘 일관성(mechanism consistency)을 도입한다. 이는 행동을 변화시켰을 때 예측 결과가 선언된 방향으로 움직이는지를 점검한다. 벤치마크는 공학 인프라 및 임상 치료 분야의 실제 행동을 포함하는 8개의 공개 데이터셋을 통합하고, 7개의 백본과 5개의 시드에 걸쳐 예측 공간, 계획 융합(plan fusion), 계획 인코딩을 다양하게 변화시킨다. 첫째, 동결된 잠재 예측 공간은 관측 공간 대비 평균 절대 오차(MAE)를 평균 9.9% 낮추고, 게이트 출력 융합은 입력 연결 대비 MAE를 평균 12.7% 낮추며, 두 방식 모두 8개 데이터셋 전체에서 성능을 개선한다. 반면 시간적 계획 인코딩에 따른 평균 MAE 변화는 최대 2.2%에 불과하다. 둘째, 예측 오차와 메커니즘 일관성은 서로 괴리를 보인다. 오차가 가장 낮은 구성조차 선언된 메커니즘이 있는 5개 데이터셋 중 4개에서 일관성이 무작위 수준(chance) 이하에 머물렀으며, 어떠한 설계 선택으로도 이를 피할 수 없었다. 마지막으로, 변화된 행동에 대한 반응 중 잘못된 부호(wrong-signed)를 갖는 부분에 페널티를 부여하는 손실 함수인 방향성 지도(directional supervision)는 MAE의 변화 없이 페널티가 적용된 메커니즘의 일관성을 크게 향상시킨다. 종합하면, 본 연구는 정확도를 위한 동결된 잠재 공간 및 출력단 융합, 그리고 메커니즘 일관성을 위한 학습 목표라는 TSWM을 위한 레시피를 제공한다.
Building a Scalable and Interpretable Bayesian Deep Learning Framework for Quality Control of Free Form Surfaces
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.