arXiv:2609.25052v1 cs.CL

스스로 정화되고 그래도 포착됨: 에이전트가 스스로 쓰는 저장소의 오류를 위한 단일 측정 원시량, 그리고 하락하는 점수가 실제로 측정하는 것

Self-Cleaning and Captured Anyway: One Measured Primitive for Error in a Store an Agent Writes to Itself, and What a Falling Score Actually Measures

Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

제출 2026-09-23

한국어 초록

결론을 스스로 기록해 두었다가 나중에 조회하는 저장소에 쓰는 에이전트는, 보통 일방적 오�(contamination)으로 보고되는 루프를 닫는다. append-only 저장소에 대해 무한 임기(infinite-tenure) 한계로 이 루프를 보면 그림이 달라진다. 기록은 절대 삭제되지 않으므로 도달 가능한 상태 공간에는 (n-1)/n에서의 단단한 상한이 있어, 결과는 감쇠가 아니라 두 가지 경계 사이의 선택이 된다. f_0 = 0.9에서 두 모드 사이 구간은 220회 실행 중 3.6%를 차지하는데, 균일 분포라면 20.6%가 될 것이며, 처음 15회에서는 엄밀히 비어 있다. pooled mean은 요약하는 실행의 8.2%를, 중앙값은 68.2%를 설명한다. 모델이 기여하는 모든 것은 적합 매개변수 없이 하나의 측정 원시량, 복사 함수 \gamma(\phi)가 담는다. Wikidata 사실 36개에서 sign(\hat{\gamma} - \gamma_{crit})(\gamma_{crit} = 1/k, r = 0, w = 1)는 실제 사실 실행 360개 중 353개(동일 배치의 합성 40개 중 39개)에서 drift 방향을 예측한다. 규모는 저장소를 구원하지 못한다. pooled frontier capture는 0.850이며, claude-sonnet-4.5는 등록된 예측 <0.5에 대해 20개 seed 중 20개에서 포착(captured)된다. 구간이 검증하는 것은 개수가 아니라 구별 가능성(distinguishability)이다. 실제 사실에서 다값(multi-valued) 실행은 나머지 대비 그 점유율이 6.4배이다. f_0 ∈ {0.1, 0.3, 0.5}에서도 유지되며, capture는 f_0 = 0.5에서 정점을 이루고, 기준을 먼저 고정한 네 가지 개입 가운데에서는 동일 예산에서 timing이 fraction을 지배하고 consistency gate는 모든 모델을 0.993으로 끌어올린다. 리샘플링 단위는 seed이며, pooled 수준에서 design effect는 3.75이다. 44-seed 대조에서 주장 4를 뒷받침하는 순서는 seed 3개일 때 Spearman +0.98에서 44개일 때 +0.31–0.80으로 붕괴하는 반면, 주장 2의 순서는 그곳에서 정확하다(+1.00, p = 0.017). 채점된 87개 행은 모두 부록 W에 있으며, 그중 37개는 withdrawn, failed, self-correcting, undecidable 또는 acknowledged limit로 채점되었고 50개는 그렇지 않다.

원문 초록

"An agent that writes its conclusions into a store it later retrieves from closes a loop usually reported as one-way contamination. Taking the loop to the infinite-tenure limit against an append-only store gives a different picture: because writing never deletes, the reachable state space has a hard upper edge at (n-1)/n, so the outcome is a choice between two edges rather than a decay. At f_0 = 0.9 the interval between the two modes holds 3.6% of 220 runs where a uniform spread would put 20.6%, and is strictly empty on the first 15; the pooled mean describes 8.2% of the runs it summarises, the median 68.2%. Everything the model contributes is carried by one measured primitive with no fitted parameter, the copy function \gamma(\phi): on 36 Wikidata facts, sign(\hat{\gamma} - \gamma_{crit}), with \gamma_{crit} = 1/k at r = 0, w = 1, predicts the direction of drift on 353 of 360 real-fact runs (39 of 40 synthetic in the same batch). Scale does not rescue the store: pooled frontier capture is 0.850, with claude-sonnet-4.5 captured on 20 of 20 seeds against our registered prediction of <0.5. What the interval tests is distinguishability rather than count: on the real facts, multi-valued runs have 6.4x its occupancy of the rest. It survives at f_0 in {0.1, 0.3, 0.5}, capture peaks at f_0 = 0.5, and of four interventions with criteria frozen first, timing dominates fraction at matched budget while a consistency gate drives every model to 0.993. The resampling unit is the seed, at a design effect of 3.75 on a pooled level: under a 44-seed control the ordering supporting claim 4 collapses from Spearman +0.98 at three seeds to +0.31-0.80 at forty-four, while claim 2's ordering is exact there (+1.00, p = 0.017). All 87 graded rows are in Appendix W, 37 of them graded withdrawn, failed, self-correcting, undecidable or an acknowledged limit, against 50 that are not."

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25052v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15742v1cs.CV공통 태그 Retrieval, Hallucination

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2610.13465v1cs.CV공통 태그 Benchmarking, Hallucination

멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습

When MLLMs miss what humans read: diagnosing and learning to read squint text

멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.

arXiv:2610.13626v1cs.SE공통 태그 Benchmarking, Hallucination

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2610.13695v1cs.CL공통 태그 Knowledge Graphs, Hallucination

구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색

Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph

의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.