arXiv:2609.22228v1 cs.CL

잠재 추론 모델의 적대적 견고성 평가

Assessing Adversarial Robustness of Latent Reasoning Models

Shaolong Chen, Ang Li, Mingjie Li, Yisen Wang

제출 2026-09-22

한국어 초록

대규모 언어 모델(LLM)은 복잡한 추론을 위해 긴 사고의 연쇄(Chain-of-Thought, CoT) 궤적에 점점 더 의존하지만, 자기회귀(autoregressive) 생성은 상당한 메모리와 추론(inference) 비용을 유발한다. 잠재 추론 모델(LRM)은 중간 추론을 소수의 연속 잠재 벡터로 압축함으로써 더 효율적인 대안을 제공한다. 그러나 효율성에도 불구하고 LRM의 적대적 견고성(adversarial robustness)은 여전히 거의 탐구되지 않았다. 본 연구에서는 텍스트 및 멀티모달 설정 전반에 걸쳐 잠재 추론의 견고성을 체계적으로 평가하며, 8개 모델과 6개 벤치마크(benchmark)를 다룬다. 평가한 설정 전반에서 LRM은 적대적 교란(adversarial perturbation) 하에서 명시적 CoT 기준선(baseline)보다 일반적으로 덜 견고하며, 특히 화이트박스(white-box) 공격에서는 성능 저하가 현저하다. 추가 분석은 모달리티별로 뚜렷한 실패 양상을 보여준다. 텍스트 잠재 상태는 취약한 동역학과 특정 입력 패턴에 대한 높은 민감도를 보이는 반면, 멀티모달 모델의 잠재 상태는 입력 교란에 대해 대체로 불변(invariant)을 유지할 수 있으며 최종 예측에 미치는 영향이 제한적이다. 이러한 결과는 현재 잠재 추론 접근법의 견고성 한계를 드러내며, 암시적(implicit) 추론 시스템을 설계할 때 효율성과 견고성을 함께 고려해야 할 필요성을 강조한다. 연구 재현을 돕기 위해 코드를 오픈소스로 공개하였다. https://github.com/PKU-ML/latent-reasoning-model-assessment

원문 초록

Large language models increasingly rely on long chain-of-thought (CoT) trajectories for complex reasoning, but autoregressive generation brings substantial memory and inference costs. Latent reasoning models (LRMs) offer a more efficient alternative by compressing intermediate reasoning into a small number of continuous latent vectors. Despite their efficiency, however, the adversarial robustness of LRMs remains largely underexplored. In this work, we systematically evaluate the robustness of latent reasoning across textual and multimodal settings, covering eight models and six benchmarks. We find that, across our evaluated settings, LRMs are generally less robust than explicit CoT baselines under adversarial perturbations, with particularly severe degradation under white-box attacks. Further analysis reveals distinct failure modes across modalities: textual latent states exhibit brittle dynamics and high sensitivity to specific input patterns, while latent states in multimodal models can remain largely invariant to input perturbations and have limited influence on final predictions. These findings expose robustness limitations of current latent reasoning approaches and highlight the need to jointly consider efficiency and robustness when designing implicit reasoning systems. We have open-sourced our code to facilitate reproduction of our research https://github.com/PKU-ML/latent-reasoning-model-assessment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22228v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.