arXiv:2609.10739v2 cs.LG

진실은 사라진 적이 없다: 순응적 문맥 진실 프로브에서의 완전한 앨리어싱

The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes

Dylan Jayabahu

제출 2026-09-09

저자 비고

arXiv Comments

40 pages, 17 figures. v2: substantially revised and corrected. Code and aggregate results: https://github.com/dylanjayabahu/perfect-aliasing

한국어 초록

언어 모델(language model)의 활성화(activation)로부터 진실을 디코딩하는 선형 프로브(linear probe)는 기만 탐지 모니터로 제안되어 왔으며, 기만하도록 학습(training)된 모델에서 진실 프로브의 점수가 무작위 확률(chance) 이하로 나오는 것은 모델이 진실을 숨겼거나 표현하는 것을 멈췄다는 증거로 자연스럽게 해석됩니다. 우리는 적합 레이블(fitting-label)의 모호성이 동일한 판독 결과를 만들어낼 수 있음을 보여줍니다. 통제된 게임에서 모델은 아군에게는 비밀 비트를 보고하고, 라이벌에게는 그 보수(complement)를 보고해야 합니다. 순응적(아군) 문맥에서는 실제 비트와 과제가 규정한 답변이 동일한 레이블이 되므로, 그곳에 적합된 프로브는 둘 중 어느 것을 측정하는지 구별할 수 없습니다. 우리는 이러한 완전한 일치를 완전한 앨리어싱(perfect aliasing)이라고 부릅니다. 이 레이블들은 라이벌 문맥에서는 서로 보수 관계이므로, 각각에 대해 평가된 하나의 아군 적합 프로브는 합이 1이 되는 라이벌 AUROC를 갖습니다. 아군 및 라이벌 문맥을 함께 사용하는 혼합 적합(mixed fitting)은 두 레이블을 다르게 만듭니다. 또한 무작위화된 출력 코드북은 규정된 답변을 출력 글자로부터 분리합니다. 평가된 모든 라이벌 시행에서 거짓으로 답하는 보상(reward) 학습된 Gemma-2-9B 정책의 경우, 아군 적합 프로브는 마지막 층(layer)에서 $0.006 \pm 0.005$ AUROC(3개의 강화학습 시드에 대한 평균 $\pm$ 표본 표준편차)를 기록하는 반면, 혼합 적합 프로브는 동일한 홀드아웃(held-out) 활성화에서 1.000을 기록합니다. 혼합 적합은 또한 더 많은 예제와 레이블이 지정된 라이벌 데이터를 사용하므로, 이는 실제 비트가 선형적으로 복구 가능한 상태로 남아 있음을 보여줄 뿐, 레이블을 분리한 것만으로 성능 향상이 완전히 설명된다는 것을 의미하지는 않습니다. 지시(instructed) 모델인 Llama-3.1-8B에서는 한 프롬프트(prompt) 변형에서 재적합된 프로브와 참조 변형에서 고정된 프로브 모두 홀드아웃 아군 정확도가 1.000이지만, 동일한 시행에 대해 라이벌 진실 AUROC는 각각 0.080과 0.986을 보입니다. 우리의 주요 실험은 프롬프트에 비트를 명시하는 단일 토큰(token) 게임을 사용하므로, 복구된 방향은 유지된 비트의 복사본을 읽는 것일 수 있습니다. 모델이 비트를 추론해야 하는 경우, 테스트된 어떤 조건에서도 안정적으로 기만하지 못했습니다. 우리는 모델이 해당 정보를 사용하는지가 아니라, 프로브가 무엇을 측정하는지를 연구합니다.

원문 초록

Linear probes that decode the truth from a language model's activations have been proposed as deception monitors, and a truth probe scoring below chance on a model trained to deceive is naturally read as evidence that the model hid or stopped representing the truth. We show that a fitting-label ambiguity can produce the same readout. In a controlled game, a model should report a secret bit to an ally and its complement to a rival. On compliant (ally) contexts the true bit and the answer the task prescribes are identical labels, so a probe fitted there cannot tell which of the two it measures. We call this complete agreement perfect aliasing. The labels are complements on rival contexts, so one ally-fitted probe scored against each has rival AUROCs that sum to one. Mixed fitting, on ally and rival contexts together, makes the two labels differ; randomized output codebooks also decouple the prescribed answer from the output letter. For a reward-trained Gemma-2-9B policy that answers falsely on every evaluated rival trial, the ally-fitted probe scores $0.006 \pm 0.005$ AUROC at the final layer (mean $\pm$ sample SD over three RL training seeds), while mixed-fit probes score 1.000 on the same held-out activations. Mixed fitting also uses more examples and labelled rival data, so this shows the true bit remains linearly recoverable, not that separating the labels alone explains the gain. In instructed Llama-3.1-8B, a probe refitted on one prompt variant and one frozen from a reference variant both have held-out ally accuracy 1.000 but rival truth AUROCs of 0.080 and 0.986 on the same trials. Our main experiments use one single-token game that states the bit in the prompt, so the recovered direction may read a retained copy of it; where the model must infer the bit, no tested arm deceives reliably. We study what a probe measures, not whether the model uses that information.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.10739v2
  2. arXiv:2609.10739v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15810v1cs.CV공통 태그 Reinforcement Learning, Large Language Model

적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기

Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning

긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.

arXiv:2610.13521v1cs.AI공통 태그 Reinforcement Learning, Large Language Model

도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.

arXiv:2610.13594v1cs.AI공통 태그 Reinforcement Learning, Large Language Model

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2610.10641v1cs.LG공통 태그 Reinforcement Learning, Large Language Model

진단 예측을 위한 의료 토큰 기반 커버리지 인식 추론

Coverage-Aware Reasoning with Medical Tokens for Diagnosis Prediction

대규모 언어 모델(LLM)은 종단적 임상 근거를 통합하고 이를 자연어로 추론하는 능력을 바탕으로 다음 방문 진단 예측에서 유망한 잠재력을 보여줍니다. 그러나 LLM 추론을 위한 강화학습(RL)은 일반적으로 최종 답변의 정확성에 따라 각 궤적(trajectory)에 보상을 부여합니다. 다음 방문 진단 예측에서는 여러 진단이 동시에 유효할 수 있지만, 궤적당 하나의 진단에 독립적으로 보상을 부여하는 방식은 반복된 적중과 서로 다른 진단의 포괄(coverage)을 구별하지 못합니다. 따라서 정책(policy)이 소수의 정답 진단에만 집중하고 다른 진단들은 다루지 못하는 문제가 발생할 수 있습니다. 한편, LLM 토크나이저는 ICD 코드를 임상적 의미가 제한된 여러 일반 토큰으로 분할할 수 있어, 각 진단을 예측하기 위해 여러 디코딩 단계가 필요하고 방대한 질병 어휘에 대한 추론을 저해합니다. 이러한 두 가지 문제를 해결하기 위해, 우리는 진단을 조합형 의미론적 ID(Semantic ID, SID)로 표현하고 다중 레이블 커버리지를 위해 추론 궤적을 최적화하는 프레임워크인 CARing을 제안합니다. 구체적으로, 먼저 잔차 양자화(residual quantization)를 통해 온톨로지가 풍부한 질병 의미론을 컴팩트한 SID로 인코딩하며, 다중 태스크 정렬 및 추론 강화 학습을 통해 생성된 SID 토큰을 자연어 및 종단적 EHR 컨텍스트에 그라운딩(grounding)하여 전이 가능한 LLM 추론을 가능하게 합니다. 나아가 CARing은 강화학습을 위한 커버리지 보상과 다중 양성(multi-positive) 감독을 통해 순서가 없는 다중 레이블 예측을 개선합니다. 추론(inference) 시점에 이 모델은 효율적인 직접 제약 디코딩과 순위 융합을 결합한 다중 체인 추론을 모두 지원합니다. MIMIC-III 및 MIMIC-IV에서 CARing은 가중치 적용 F1에서 모든 EHR 학습 기반 베이스라인을 능가하며, 추론 모드에서 46.04% 및 46.52%의 R@30을 포함해 보고된 모든 컷오프에서 가장 높은 top-k 재현율(recall)을 달성합니다. 코드와 로그는 https://github.com/zmlxzyh/CARing-Codes-Logs 에서 확인할 수 있습니다.

arXiv:2610.02594v1cs.LG공통 태그 Representation Learning, Large Language Model

인과성이 의미론적 간극을 메우는 방법

How Causality Bridges the Semantic Gap

수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.

arXiv:2610.02542v1cs.AI공통 태그 Reinforcement Learning, Large Language Model

월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)

How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.