추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.
사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시킬 수 있지만, 길고 제대로 제어되지 않는 추론 과정으로 인해 높은 추론 비용을 수반하는 경우가 많습니다. 이러한 오버헤드는 지연 시간과 출력 신뢰성이 모두 중요한 소프트웨어 공학 작업(예: 코드 생성)에서 특히 문제가 됩니다. 이러한 트레이드오프를 더 잘 이해하기 위해 널리 사용되는 코드 생성 벤치마크에서 실증적 연구를 수행한 결과, 많은 최신 추론 모델이 과도하게 장황한 CoT(종종 수천 개의 토큰)를 생성하여 잦은 텍스트 잘림(truncation)과 불안정한 생성으로 이어진다는 점을 관찰했습니다. 엄격한 n-gram 반복 탐지기를 사용하여 분석한 결과, 관찰된 대부분의 잘림 현상이 퇴행적인 루프 동작과 연관되어 있음을 발견했습니다. 또한 HumanEval/129 사례 연구에 따르면 실패한 생성이 성공한 생성보다 더 길어질 수 있음을 보여주며, 이는 지나치게 긴 추론에서 얻을 수 있는 이득이 제한적임을 시사합니다. 이러한 발견에 착안하여, 본 논문에서는 적응형 CoT 압축을 위한 자기 강화형 프레임워크인 SEER(Self-Enhancing Efficient Reasoning)를 제안합니다. SEER는 외부 압축 도구에 의존하지 않고도 출력 품질을 유지하면서 추론의 간결성을 향상시킵니다. SEER는 Best-of-N 샘플링을 통해 자체 생성된 CoT 데이터를 정제하여 루프 및 중복 과정을 억제한 다음, 경량의 데이터 기반 필터를 적용하여 간결하면서도 정확한 추론을 유도합니다. 그 후 필터링된 데이터로 모델을 파인튜닝하여 간결한 추론 동작을 내재화합니다. 평가 대상인 DeepSeek-R1-Distill-Qwen-7B 백본 기반의 4개 소프트웨어 공학 벤치마크 전반에서, SEER는 텍스트 잘림과 추론 루프를 줄이면서도 작업 성능을 향상시키는 동시에 CoT 길이를 평균 34.6% 단축했습니다.
관측 데이터로부터 인과 효과(causal effect)를 복원할 수 있는지 질문을 받았을 때, 추론 모델은 두 가지 방식으로 실패할 수 있습니다. 즉, 식별 가능한(identifiable) 쿼리를 거부하거나 식별 불가능한 쿼리에 답변하는 것입니다. 어떤 관측 데이터로도 주장된 공식을 검증할 수 없기 때문에 후자가 더 중대한 결과를 초래합니다. 이러한 실패를 측정하려면 기존 평가에는 부재했던 증명 가능하게 식별 불가능한 쿼리가 필요하며, 문자열 매칭으로는 불가능한 임의의 동등한 형태의 올바른 공식을 수용하는 채점 방식이 필요합니다. 우리는 두 가지 한계를 모두 해결하는 정형 식별 파이프라인인 CERTID를 구축합니다. CERTID는 건전하고 완전한 인과 식별 알고리즘인 ID를 사용하여 주어진 그래프와 쿼리로부터 효과가 식별 가능한지 인증하고, 개입 분포(interventional distribution)가 정확히 알려진 구조적 인과 모델(SCM)을 대상으로 반환된 공식을 검증합니다. 나아가 CERTID는 구조적 누출(structural leakage)을 완화하고, 식별 불가능한 쿼리를 보정하며, 채점 보장을 확립하기 위한 이론적 결과를 개발합니다. 우리는 4개에서 50개의 정점에 이르는 1,200개의 인증된 인스턴스에서 세 가지 프론티어 추론 모델(Gemini Flash, Gemini Pro, GPT5.5)을 평가합니다. 정확도(accuracy)는 건전성(soundness)을 대변하기에 미흡한 지표임이 입증되었습니다. 동일한 인스턴스에서 식별 불가능한 쿼리에 대한 허위 주장 비율(false-claim rate)은 모델에 따라 17배 차이가 납니다. 또한 우리는 모델들이 가장 성능이 뛰어난 모델의 학습 스냅샷 이후에 생성된 그래프에서도 97-100%의 정확도로 식별 가능성을 판단한다는 점을 발견했습니다. 인스턴스, 인증 절차, 검증기 및 인스턴스별 기록은 https://anonymous.4open.science/r/certid-D718 에서 확인할 수 있습니다.
생성형 AI(Gen AI) 시스템이 경제적·사회적으로 중대한 상호작용에서 점차 자율적인 역할을 수행함에 따라, 이들의 협력 성향과 이러한 성향을 형성하는 신호를 이해하는 것은 필수적이 되었습니다. 본 연구에서는 반복 죄수의 딜레마(iterated prisoner's dilemma)를 사용하여 최첨단 생성형 AI 모델들의 협력 행동을 조사하며, 상대방의 평판(긍정적, 알 수 없음, 부정적), 전략(착취 대 관용), 그리고 비언어적 감정 신호(경쟁적 또는 협력적 평가를 전달하는 표정)를 조작했습니다. 비추론 모델(Claude 3.5, Gemini 2.0 Flash, GPT-4o)을 대상으로 한 첫 번째 연구에서, 협력은 세 가지 요인 모두에 의해 체계적으로 형성되었으며 이는 인간 행동 연구에서 오랜 기간 기록된 패턴과 유사했으나, 각 요인에 부여하는 가중치는 모델마다 상당한 차이를 보였습니다. 추론 모델(Claude 4.6, Gemini 3, GPT-5.2)을 대상으로 한 두 번째 연구에서는 전략과 평판에 대한 의존도가 더욱 집중되었고, 비추론 모델에서 관찰되었던 포템킨 효과(진단용 조화 게임에서의 거의 일관된 협력으로 입증됨)가 거의 사라졌으며, 단순한 사회적 민감성 상실이 아닌 위계적 단서 가중치 전략과 일치하는 보다 조건적인 감정의 역할이 드러났습니다. 또한 추론 모델들은 지속적인 협력부터 체계적인 마지막 라운드 배신 효과에 이르기까지 이질적인 엔드게임 행동을 보여주었으며, 협상 및 기타 다회차 상호작용 배포에 직접적인 실무적 연관성을 지닌 모델별 착취 가능성 프로파일을 확인했습니다. 이러한 결과들을 종합하면, 생성형 AI 모델들이 점점 더 정교하지만 이질적인 사회적 행위자임을 보여주며, 사회적으로 중대한 상호작용 환경에서 생성형 AI의 책임 있는 배포를 안내하기 위한 표준화된 협력 벤치마크 개발의 실무적 가치를 강조합니다.
대규모 추론 모델은 추론(inference) 시점에 최종 답변을 생성하기 전에 중간 단계들의 길고 명시적인 연쇄를 생성합니다. 최종 답변의 정확성이 중간 추적(trace)의 정확성과 인과적으로 연결되어 있지 않고 추적 길이가 문제의 복잡성을 나타내는 신뢰할 만한 지표가 아님에도 불구하고, 이러한 중간 추적은 지연 시간, 메모리 사용량 및 서빙 비용의 대부분을 차지합니다. 이는 자연스럽게 다음과 같은 질문을 제기합니다. 이러한 중간 토큰에 표현된 계산을 언어 모델의 파라미터 내부로 내재화하여 훨씬 더 짧은 중간 추적만으로 답변을 생성하도록 만들 수 있을까요? 본 논문에서는 동일한 모델의 복제본을 교사 모델과 학생 모델(student model)로 인스턴스화하고, 학생 모델이 중간 추적의 전체 또는 일부를 내재화하도록 학습(training)시켜 추론 효율성을 높이는 지식 증류(knowledge distillation) 기반 사후 학습(post-training) 프레임워크인 마스크 자기 증류(masked self-distillation)를 제안합니다. 우리는 학생 모델이 내재화하도록 학습되는 중간 추적의 비율을 변화시키며, 완전한 내재화와 무내재화 사이를 보간합니다. 수학 및 그래프 색칠하기라는 두 가지 추론 영역에서 통제된 실험을 수행하였으며, 마스크 자기 증류 프레임워크를 사용하여 Qwen3-4B 및 8B 모델을 사후 학습시켰습니다. 실험 결과는 이 방법이 다양한 도메인과 모델 크기 전반에서 추론 효율성을 높이는 동시에 작업 성능을 향상시키는 데 사용될 수 있음을 보여줍니다. 또한 사후 학습된 모델에서 향상된 효율성 이득이 OOD(분포 외) 문제로 일반화되는지 체계적으로 분석합니다. 그 결과 마스크 자기 증류 모델은 도메인 내 OOD 문제에 대해 잘 일반화되며, 마스크 자기 증류 학습이 도메인 외 문제에서 학생 모델의 치명적 망각(catastrophic forgetting)을 유발하지 않음을 확인했습니다. 나아가 절제 연구(ablation study)를 통해 지도 미세조정(supervised fine-tuning) 역시 모델이 더 짧은 추적을 생성하도록 학습시킬 수 있지만 일반화 성능이 저하됨을 보임으로써, 마스크 자기 증류에서 온-정책(on-policy) 학습의 중요성을 강조합니다.
역량과 효율성은 대규모 언어 모델(LLM)에서 추론의 두 가지 핵심 차원이다. 역량은 주어진 문제를 올바르게 풀 능력을, 효율성은 제한된 자원으로 그렇게 할 수 있는 능력을 가리킨다. LLM이 사고의 연쇄(Chain-of-Thought, CoT) 추론을 사용해 난이도가 통제된 문제를 풀 때, 올바르게 풀린 문제 수와 정답에 도달하는 데 필요한 토큰(token) 수는 모두 문제 난이도와 모델(model) 크기에 따라 달라진다. 그러나 이러한 요인들이 역량과 효율성을 어떻게 공동으로 형성하는지는 여전히 잘 이해되지 않았다.
본 연구에서는 계층 베이지안(hierarchical Bayesian) 모델을 사용해 DeepSeek-R1-Distill 모델 계열의 LLM에 대해 산술 및 알고리즘 추론 문제 네 클래스 전반에서 역량과 효율성을 평가한다. 고정된 모델 크기에서, 사례를 올바르게 풀 확률은 문제 난이도의 대리 변수인 사례 크기에 대해 대략 지수적으로 감쇠한다. 감쇠 스케일은 모델 크기에 대해 아선형(sublinearly)으로 증가하며, 이는 더 큰 모델이 더 역량이 높지만 역량 향상이 스케일(scale)에 따라 수확 체감(diminishing returns)을 보임을 나타낸다. 출력 길이는 난이도의 대리 변수인 사례 크기에 대해 거듭제곱 법칙(power law)으로 증가한다. 그러나 이 거듭제곱 법칙의 매개변수는 모델 크기에 따라 체계적으로 변하지 않으며, 이는 더 큰 모델이 더 효율적이 되지 않음을 시사한다. 종합하면, 이러한 결과는 더 역량 있는 AI 시스템을 개발하기 위한 전략으로서 순진한 스케일링(naive scaling)의 잠재적 한계를 드러낸다: 역량은 수확 체감과 함께 개선되지만, 효율성은 거의 또는 전혀 개선되지 않는다.
대규모 언어 모델(LLM)은 표준, 네트워크 구성, 수학적 모델, 소스 코드 및 운영 로그를 기반으로 추론하여 광범위한 통신 엔지니어링 작업을 자동화할 수 있는 큰 잠재력을 제공합니다. 그러나 기존 통신 LLM은 이러한 다양한 작업과 데이터 유형 전반에서 안정적으로 추론하는 데 어려움을 겪고 있습니다. 범용 LLM은 통신 특화 지식에 대한 신뢰할 수 있는 그라운딩(grounding)이 부족한 경우가 많으며, 통신 특화 모델은 일반적으로 더 좁은 작업군을 대상으로 개발되어 제한적인 다중 작업 성능을 보입니다. 이러한 격차를 해소하기 위해, 우리는 프로토콜, 지식, 모델링, 장애라는 상호 보완적인 네 가지 축을 중심으로 구조화된 오픈 소스 통합 통신 추론 모델 제품군인 TelecomGPT-R1을 소개합니다. 먼저, 가공되지 않은 공개 통신 산출물을 검증된 질문-답변 쌍과 고품질의 사고의 연쇄(Chain-of-Thought, CoT) 추론 궤적으로 정제하는 축 인식(axis-aware) 데이터 생성 프레임워크를 개발하여 104,880개의 예제를 포함하는 학습 말뭉치를 구축합니다. 이 말뭉치를 기반으로 지도 미세조정(SFT)을 통해 통신 지식과 증거 기반 추론 패턴을 주입함으로써 강화학습(RL)의 콜드 스타트 장벽을 극복합니다. 그런 다음 작업별로 라우팅되는 루브릭 보상을 갖춘 동적 샘플링 정책 최적화(DAPO)를 적용하여 이종 통신 추론 작업 전반에서 RL 업데이트가 유익하고 안정적으로 유지되도록 합니다. 이러한 보상은 축 특화 CoT 추적을 검증 가능한 추론 단위로 분해하고 그라운딩된 조밀한 과정 크레딧(dense process credit)과 결과의 정확성을 결합하여, RL이 검증 가능한 통신 증거로부터 일반화 가능한 문제 해결 행동을 학습할 수 있도록 합니다. 우리는 추가적인 커뮤니티 발전을 지원하기 위해 TelecomGPT-R1 모델과 재현 가능한 학습 레시피를 공개합니다. GSMA Open Telco Leaderboard의 7개 벤치마크 평가 결과, 오픈 소스 TelecomGPT-R1-27B는 89.64%의 평균 점수를 달성하여 GPT-5, Claude, Gemini를 포함한 주요 상용 모델을 능가하는 성능을 보였습니다.
최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.
대규모 추론 모델(LRM)은 최종 답을 생성하기 전에 긴 추론 trace를 생성한다. 이러한 trace는 환각 탐지에 유용한 신호를 포함할 수 있지만, 긴 궤적에는 진실성 평가와 관련된 단서를 가리는 노이즈가 있는 단계들이 자주 포함되므로 이를 활용하는 것은 쉽지 않다. 본 논문에서는 두 가지 흔한 형태의 추론 노이즈, 즉 무관한 단계와 반복적인 단계를 식별하고, 둘 다 환각 탐지 성능을 상당히 저하시킴을 보인다. 기존의 신뢰도 기반 점수와 단순한 임베딩 기반 필터링은 노이즈가 있는 단계와 정보가 있는 단계를 신뢰성 있게 분리하는 데 실패한다. 이 과제를 해결하기 위해, 본 연구는 환각 탐지를 위한 추론 trace 디노이징을 위한 새로운 학습 프레임워크인 REDE를 제안한다. 구체적으로, REDE는 최종 답변 어텐션을 자동 감독 신호로 활용하여 단계 수준 표현 공간을 형성하고, 노이즈가 있는 단계를 신뢰성 있게 식별하고 필터링할 수 있는 정제된 임베딩을 생성한다. REDE는 노이즈가 있는 단계를 제거한 후 필터링된 추론 궤적에 대해 동작함으로써 다양한 환각 탐지기에 쉽게 연결할 수 있다. 여러 추론 벤치마크에 대한 광범위한 실험에서 REDE는 경쟁력 있는 베이스라인 대비 탐지 성능을 일관되게 향상시킴을 보여준다.
추론(reasoning) 또는 추론 스케일링(inference-scaling) 모델은 복잡한 문제 해결이 가능한 대규모 언어 모델(LLM)의 새로운 세대이다. 물리학에서의 문제 해결 능력을 조사하기 위해, 우리는 OpenAI의 o4-mini 모델을 Halliday and Resnick의 "Fundamentals of Physics"에 수록된 전통적인 단원 말미 문제를 풀도록 평가하였으며, 이는 학부 물리학 교육과정의 핵심 주제를 포괄한다. 성능은 문제 표현 방식(modality)과 문제 난이도에 따라 분석하였다. 모델은 전체적으로 약 90%의 정확도로 문제를 풀었지만, 성능은 문제 표현(representation)에 크게 의존하였다: 텍스트만 있는 문제(96%)에서는 텍스트와 이미지를 함께 해석해야 하는 문제(79%)보다 정확도가 훨씬 높았다. 정확도는 또한 문제 난이도가 낮음에서 중간, 높음으로 증가함에 따라 현저히 하락하였다. 이 결과는 최신 LLM이 표준적인 초급 물리학 문제의 상당 부분을 풀 수 있음을 보여주지만, 성능은 여전히 불균등하며 문제 표현 방식과 문제 난이도에 의해 제약받는다는 것을 나타낸다.
건물은 전력망 조건에 대응하여 냉방 부하를 이동시킬 것으로 기대된다. 열에너지 저장(TES)은 이러한 이동을 가능하게 하지만, 이를 잘 스케줄링하려면 저장 제약 하에서 수 시간 앞을 내다보는 계획이 필요하다. 모델 예측 제어(MPC)와 강화학습은 여러 건물에 걸쳐 확장하기 어렵다. 본 연구는 대신 검증 가능한 보상을 사용한 강화학습(RLVR)을 통해 오픈 가중치 추론 모델을 적응시킨다. 정확한 오프라인 동적 계획법(DP) 행동 값을 모든 후보 행동에 대한 밀집 보상으로 변환한다. 30개의 학습 프롬프트만 사용하여, 강화 미세조정(RFT)은 모델을 상위 수준 스케줄러로 학습시키며, 텍스트 기반 상태와 예측으로부터 시간별 히트펌프 설정값을 출력한다. 평가는 정확한 DP가 계산 가능하고 최적해가 알려진 의도적으로 단순한 사무실 건물 TES 벤치마크를 사용한다. RFT는 오픈 가중치 모델의 배출량을 70.5에서 61.2 kg-CO2로 줄이며, 60.8 kg-CO2인 DP 최적값에 근접한다. GPT-5는 과제별 학습 없이 거의 DP 및 MPC와 동등한 성능을 보이는 한편, 비추론 LLM인 GPT-4o는 저장 없음 기준선보다 더 높은 배출량을 생성하므로, 추론 시점의 추론이 중요해 보인다. 추적 분석에 따르면 RFT는 새로운 전략을 만드는 것보다 관찰 가능한 계획 패턴(후보 비교, 선행 계획, 실행 가능성 검사)을 주로 안정화한다. 강건성 및 일반화 테스트는 무엇이 이전되는지 명확히 한다: 강화된 계획 패턴은 예측 오류와 미경험 TES 조건에서도 지속되며 배터리 과제로도 이전되지만, 그 다른 구조가 성능 향상을 제한한다. DP 기반 검증 가능한 보상은 오픈 가중치 추론 모델을 건물 저장 스케줄링에 적응시키는 실용적인 방법을 제공한다. 이 결과는 전체 건물 제어에 대한 고충실도 테스트와 도시 규모 에너지 관리를 위한 확장 가능한 검증기에 대한 동기를 제공한다.
저비트 양자화(low-bit quantization)는 소형 추론 모델의 배포 비용을 낮추지만, 사고의 연쇄(chain-of-thought)를 저하시킬 수 있다. 이는 생성이 불안정해질 때 개입하는 디코더 측 모니터의 필요성을 동기부여한다. 우리는 자연스러운 후보인 중심화된 토큰 로그 확률 증분 $\log p(w_t)+H_t$이 이 목적에 부적합한 관측량임을 보인다. 이 값은 모델 자체의 샘플링 법칙 하에서 구조적으로 평균이 0인 마팅게일(martingale)이므로, 궤적의 건전성이 아닌 샘플링 자기 일관성을 측정하며, $\log p(w_t)$와 엔트로피가 모두 0에 가까운 확신적 반복 구간에서는 거의 신호를 내지 않는다. 우리는 (i) 토큰 불확실성과 명시적 축자 반복(verbatim repetition)을 결합한 퇴화 인식 경보 점수와 (ii) 캘리브레이션된 e-프로세스(e-process) 기반 순차 검출기를 결합한 학습 불필요(training-free) 디코딩 제어기를 제안한다. 원시 곱 프로세스는 조건부 평균 귀무가설 하에서 Ville 유효(Ville-valid)하며, 점수가 이력 의존적이고 자기상관되어 있어 배포된 CUSUM 하한 통계량은 경험적 변화 검출기로 취급된다. FP16 및 INT4의 DeepSeek-R1-Distill-Qwen-1.5B를 사용한 GSM8K에서, 캘리브레이션은 생성의 93--95%에서 발동하는 모니터를 실패 궤적의 선택적 검출기($\varphi\approx 0.3$, 0.38 기저율 대비 정밀도 $\approx 0.6$)로 변환한다. 이 파일럿 연구에서 제어기는 측정된 축자 퇴화 신호를 감소시키고, 28% 토큰 예산 비용으로 INT4 정확도를 63%에서 69%로 끌어올리는 긍정적이지만 통계적으로 불확실한 변화를 산출한다(쌍별 맥니마 검정(McNemar) $p=0.18$, $n=100$). 또한 GSM8K에서는 루핑(looping)이 아닌 비종료(non-termination)가 지배적인 실패 모드임을 발견한다. 주된 기여는 방법론적인 것으로, 중심화된 토큰 로그 확률이 디코더 모니터링에 부적합한 이유에 대한 설명과 캘리브레이션된, 신중하게 평가된 대안을 제시한다.
Large reasoning models (LRMs) improve language model capabilities by generating explicit thinking traces before final answers. In factuality-oriented question answering (QA), such thinking often improves overall performance by helping the model recover relevant knowledge and refine its answers. However, we find that this benefit is not uniform at the instance level: explicit thinking can also overturn correct non-thinking answers and lead to factual drift. We refer to this failure mode as \emph{thinking-induced hallucination}. To explain this phenomenon, we formulate explicit thinking in factuality QA as a thinking residual over the model's direct-answer tendency, which can either recover missing knowledge or introduce unsupported associations. Based on this formulation, we propose MARGO, \underline{\textit{M}}ixed-Mode \underline{\textit{A}}dvantage \underline{\textit{R}}egularization for \underline{\textit{G}}rounded \underline{\textit{O}}ptimization, a reinforcement learning framework that uses non-thinking rollouts as same-model references in advantage estimation. By constructing mixed-mode rollout groups with both thinking and non-thinking trajectories, MARGO evaluates whether explicit thinking adds factual value beyond direct answering, thereby suppressing hallucination-prone thinking while preserving beneficial thinking behaviors. Experiments across multiple factuality-oriented QA benchmarks demonstrate that MARGO improves factual reliability over strong baselines, while evaluations on mathematical benchmarks show that it preserves general reasoning ability.
검증 가능한 보상을 활용한 강화학습(RLVR)은 최근 대규모 추론 모델의 획기적 발전을 이끄는 핵심 동력이었다. 그러나 최종 결과에만 기반한 보상이 어떻게 장기 추론의 장벽을 극복하는 데 기여하는지는 여전히 미스터리로 남아 있다. 이를 이해하기 위해, 우리는 합성 추론 과제에서 트랜스포머에 대한 RLVR 학습 역학 이론을 개발한다. 우리의 이론은 난이도가 혼합된 학습이 자연스럽게 암묵적 커리큘럼을 유도함을 보인다. 즉, 명시적인 스케줄 없이도 쉬운 문제가 먼저 학습 가능해지고 어려운 문제의 학습 경계를 형성함으로써, 최적화 과정에서 쉬운 것에서 어려운 것으로의 학습 진행이 만들어진다. 이 커리큘럼의 효과는 난이도 스펙트럼의 평활성(smoothness)에 의해 결정된다. 스펙트럼이 평활할 경우, 학습 역학은 잘 작동하는 릴레이 체제(relay regime)에 진입하며, 이 체제에서는 쉬운 문제에 대한 지속적인 그래디언트 신호가 약간 더 어려운 문제를 다룰 수 있게 하여 학습을 역량의 경계에서 유지시킨다. 스펙트럼에 급격한 불연속이 존재할 경우, 학습은 진전이 재개되기 전 장기간의 정체 구간을 갖는 그로킹(grokking) 유형의 위상 전이를 겪는다. 기술적 기여로서, 우리의 분석은 유한군에서의 푸리에 해석(Fourier analysis on finite groups) 기법을 개발하고 우리의 설정에 적용한다. 우리는 통제된 합성 실험과 실제 모델 RLVR 실행을 통해 예측된 메커니즘을 실험적으로 검증한다.
대규모 추론 모델(LRM)의 추론 과정에 유해 지시문을 체계적으로 삽입하는 블랙박스 적대적 공격 프레임워크 HauntAttack을 제안해, 기존 추론 질문의 핵심 조건을 수정함으로써 모델이 단계적으로 불안전한 출력을 내도록 유도한다. 11개 LRM 평가에서 평균 공격 성공률 70%를 넘겼고 기존 최강 기준선 대비 최대 13퍼센트포인트 개선을 달성했으며, 안전성 정렬 모델도 추론 기반 공격에 취약함을 보였다.
Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation ($0.84$-$0.95$ AUROC and $\sim88\%$ balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first $\sim20\%$ of thinking, despite giving the appearance of deliberation at the text level ($\sim74\%$ of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.
Quantization is widely used to reduce the inference cost of large language models, but its effect on reasoning models is not fully captured by final-answer accuracy or per-token latency. We show that low-bit post-training quantization can introduce a hidden test-time compute cost: quantized reasoning models often generate longer chains of thought even when they still answer correctly. Across mathematical reasoning, code generation, scientific question answering, and agentic tool-use benchmarks, we find that INT4/INT3 quantization can preserve accuracy but increase reasoning-token usage, offsetting the expected per-token speedup. To measure this effect, we introduce the CoT Token Inflation Ratio, which compares reasoning length between quantized and full-precision models averaged across all evaluation benchmarks. We further show that token inflation is accompanied by behavioral changes in the reasoning trace, including more intermediate steps and greater semantic repetition. These changes translate into measurable end-to-end real-world serving penalties. Finally, we evaluate mitigation strategies and find that prompting and decoding-time sampling offer inconsistent accuracy-length trade-offs, while quantization-aware training shows more promise in reducing both accuracy degradation and token inflation. Our results suggest that reasoning-token usage should be reported alongside accuracy when evaluating quantized reasoning models.
추론 언어 모델의 신뢰도는 사고 전에는 프롬프트 해결 가능성, 사고 후에는 실제 답변의 정확성을 반영해야 하므로 CALIBER는 두 시점의 언어화 신뢰도를 함께 받아 각 정보 상태에 맞는 감독 목표로 학습한다. BigMathDigits 7B에서 최강 단일 신뢰도 기준 대비 기대 보정 오류(ECE)를 52.5% 줄이고 Brier score와 AUROC에서 최고 성능을 달성했으며, GPQA·TriviaQA 등 분포 외 벤치마크에서도 보정 오류를 일관되게 감소한다.
모델의 사고의 연쇄(Chain-of-Thought, CoT)를 편집하고 싶은 이유는 많다 — 예를 들어 더 강력한 모델의 추론으로 프리필(prefill)하거나, 안전하지 않은 출력을 낳을 수 있는 단계를 제거하려는 경우 등이 있다. 이러한 개입이 성공하려면 모델이 이를 알아채지 못하는 것이 중요할 수 있는데, 모델이 조작을 의심하면 행동을 바꿀 수 있기 때문이다. 본 연구에서는 최근 추론 모델이 다양한 조건에서 자신의 CoT에 대한 이러한 개입을 감지할 수 있는지 조사한다: 추론 중과 추론 후 모두, 그리고 자신의 CoT와 다른 모델의 CoT로 프리필된 경우 모두를 포함한다. 전반적으로 (i) 모델은 매우 미미한 감지 정확도만 보이며, (ii) 모델은 자신의 CoT가 *어떻게* 수정되었는지 식별하는 데 어려움을 겪으며, (iii) 모델은 자신의 CoT에 대한 변경을 감지하는 능력이 다른 모델의 CoT에 대한 변경을 감지하는 능력과 거의 비슷하다.
검증 가능한 보상 강화학습(RLVR)에서 독립·트리 기반 롤아웃의 중복 탐색과 희소 보상 한계를 줄이기 위해 GraphPO가 추론 롤아웃을 DAG로 표현하고 의미적으로 동등한 추론 경로를 병합해 접미사를 공유하며, 들어오는·나가는 에지에 효율성·정확성 어드밴티지를 부여하는 그래프 기반 정책 최적화 프레임워크를 제안한다. 이론적으로 어드밴티지 추정 분산을 낮추고 추론 효율을 높이며, 세 가지 LLM의 추론·에이전트 검색 벤치마크에서 동일 토큰·응답 예산 대비 체인·트리 기준 모델을 일관되게 능가한다.