대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
실패한 대규모 언어 모델(LLM) 에이전트 롤아웃(rollout)은 최종 보상(reward) 이상의 정보, 즉 에이전트가 이용할 수 있었던 관찰값, 에이전트가 선택한 행동, 그리고 환경(environment)의 반응을 담고 있습니다. 이러한 경험을 학습(training)에 재사용하려면 수정해야 할 결정을 식별하고 구체적인 대안을 검증해야 합니다. 본 연구에서는 텍스트 기반 에이전트 시스템의 33개 환경, 19개 하네스 제품군, 23개 정책 모델에 걸친 9,961개 소스 작업에서 수집된 50,228개의 오류-진단 쌍으로 구성된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다. 우리는 원래 롤아웃을 반복하지 않고도 다양한 설정 간 실패 분석 및 재진단을 지원할 수 있도록 소스 추적 기록과 실행 메타데이터를 보존합니다. 본 논문의 5단계 에이전틱 오류-학습(Agentic Error-to-Training, AET) 파이프라인은 자연스럽게 발생한 실패를 수집하고, 진단 및 제안된 수정 사항을 생성하며, 기록된 증거를 바탕으로 이를 검증합니다. 리플레이(replay)가 지원되는 환경에서는 일치하는 실행 설정 하에 동일한 체크포인트(checkpoint)로부터 원래 행동을 재시도한 결과와 수정 사항을 비교합니다. 그런 다음 진단 및 액터 복구를 위한 별도의 학습 뷰를 구성합니다. 3,062개의 매칭된 리플레이 쌍 전반에서 첫 번째로 제안된 수정 사항은 검증기 통과율을 18.4%에서 51.1%로 높여 32.7%p의 향상을 달성했습니다. 별도로 동결된 진단 릴리스를 사용하여 1,656개 소스 작업에 대해 전체 진단 미세조정(fine-tuning)을 수행한 결과, 943개 케이스의 홀드아웃(holdout)에서 3개 시드 평균으로 Qwen3-8B의 내부 교사 라벨과의 정확한 단계 일치율이 47.2%에서 63.6%로 향상되었습니다. 이 비교에서 가장 강력한 프롬프트 기반 참조 모델은 54.7%를 기록했으며, 4단계로 증가하는 학습 세트 크기마다 평균 일치율이 향상되었습니다. 액터 학습 레시피에 대한 단일 시드 비교에서, 행동 전용 복구 학습은 WebShop-lite에서 성공 전용 학습보다 6.67%p 더 높은 점수를 기록했습니다.
스트리밍 기하학 파운데이션 모델(streaming geometric foundation model)은 SLAM 시스템의 유력한 대안으로 부상하고 있습니다. 그러나 이러한 스트리밍 특성은 근본적인 문제를 야기합니다. 즉, 각 예측이 제한된 문맥(context)으로부터 이루어지기 때문에 동적 객체와 텍스처가 부족한 영역에 취약합니다. 작은 국소적 오차는 심각한 기하학적 왜곡과 장기적(long-horizon) 스케일 드리프트(scale drift)로 누적됩니다. 본 연구에서는 신뢰할 수 있는 스트리밍 재구성을 위해 기하학 파운데이션 모델이 단순한 예측에 그치지 않고 자기 교정(self-correcting) 능력까지 갖추어야 한다고 주장합니다. 이를 위해 상호 보완적인 두 가지 원리를 기반으로 구축된 자기 교정형 프레임워크인 SURE-Map을 소개합니다. 첫째, 뷰 간(cross-view) 기하학적 불확실성을 명시적으로 모델링합니다. 개별 뷰 예측의 신뢰성을 주로 반영하는 기존의 깊이(depth) 또는 포인트 신뢰도와 달리, 본 연구의 불확실성은 공동으로 예측된 포즈(pose)와 깊이가 기하학적으로 일관된 뷰 간 픽셀 대응을 유도하는지 여부를 직접 측정합니다. 둘째, 국소적 교정만으로는 서서히 누적되는 스케일 오차를 제거할 수 없으므로, 다중 시간 척도(multi-timescale) 자기 교정을 도입합니다. 빠른 연속 프레임 추론(inference)을 통해 스트리밍 효율성을 유지하는 동시에, 희소한 키프레임 윈도우 추론을 통해 더 긴 범위의 기하학적 근거를 제공하여 최근 궤적의 스케일을 주기적으로 재보정합니다. SURE-Map은 장기 벤치마크 전반에서 온라인 피드포워드 재구성을 위한 새로운 SOTA(최고 수준) 성능을 달성하여, KITTI에서 ATE-RMSE를 24.00m에서 17.24m로, Oxford Spires에서 5.11m에서 4.74m로, VBR에서 31.37m에서 28.58m로 감소시켰으며, 루프 클로저(loop-closure) 정제 기법을 통합했을 때 각각 15.17m, 4.63m, 22.12m로 추가 향상되었습니다. 프로젝트 페이지: https://mingkai-liu.github.io/projects/sure-map/.
장기 웹 에이전트는 최종 실패 전에 종종 궤도를 이탈한다. 현재 상태, 재사용된 스킬, 또는 계획 가정이 더 이상 사용자 지시를 뒷받침하지 않은 후에도 궤적은 국소적으로 그럴듯하게 유지될 수 있다. 기존 에이전트는 계획하고, 반성하거나, 경험을 재사용할 수 있지만, 그들의 계획은 활성 단계가 여전히 신뢰되어야 하는 근거를 거의 명시하지 않는다. 우리는 견고한 장기 웹 에이전트를 위한 반증 가능한 약속 계획(falsifiable commitment planning) 프레임워크인 FCPAgent를 제안한다. FCPAgent는 각 계획 단계를 반증 가능한 약속 단위(Falsifiable Commitment Unit, FCU)로 표현한다. 이는 재사용 가능한 스킬에 그라운딩(grounding)된 하위 목표와 함께 확인 증거, 반증 증거, 신뢰도 점수를 포함한다. 실행은 계획-검증-수리(plan-test-repair) 루프로 구성된다. 하이브리드 약속 검증 모듈은 후보 행동이 브라우저를 수정하기 전과 실행 후 관측을 검증한다. 효율성을 위해 경량 증거 매칭과 대규모 언어 모델(LLM) 기반 진단 검증을 결합한다. 증거가 약속을 반증하면, 범위 인식(scope-aware) 수리가 모순을 실행, 스킬, 또는 계획 수준으로 국한하고 가장 작은 적절한 부분을 수정한다. WebArena에서 FCPAgent는 가장 강력한 기준선 대비 평균 성공률에서 13.8% 상대적 향상을 달성하며, 특히 장기 작업에서 큰 이득을 보인다.
대규모 자기회귀 언어 모델은 자기수정 맹점(self-correction blind spot)을 보인다: 동일한 오류라도 외부 출처로 귀인될 경우 안정적으로 수정하지만, 자신의 출력에 있는 동일한 오류는 수정하지 못한다. 선행 연구들은 제어된 오류 주입, 오류-깊이 분해, 강화학습(RL) 기반 검증자-수정자 학습, 내재적 자기 검증 등을 통해 이 현상을 경험적으로 기록했지만, 토큰 생성이 해당 오류 탐지 능력을 억제하는 이유에 대한 형식적 모델, 수정 마커에 대한 정량적 활성화 조건, 강화학습 기반 자기수정의 수렴 보장은 제시하지 못했다. 우리는 자기회귀 생성에서의 자기수정에 관한 스펙트럼-대수적 이론인 SPARC로 이러한 공백을 해소한다. 오류 전파 연산자를 잔차 스트림(residual stream) 위 단계별 어텐션 야코비안의 곱으로 정의하고, 맹점은 이 연산자의 스펙트럼 반지름(spectral radius)이 1 이상인 경우에만 발생함을 증명한다. 스펙트럼 반지름의 함수로 주어지는, 수정 마커가 초과해야 하는 엄밀한 활성화 임계값을 도출하여, 단순한 "Wait" 마커로 관측된 맹점 89.3% 감소를 재현한다. 나아가, 검증자-수정자 결합 행렬의 스펙트럼 노름(spectral norm)이 1 미만인 경우에만 RL 기반 검증자-수정자 학습이 샘플 수의 제곱근 대비 결합 강도의 제곱에 비례하는 속도로 수렴함을 증명하고, 이 기준이 잔차 스트림 자기회귀 모달리티 전반에 걸쳐 불변하여 텍스트 대규모 언어 모델(LLM)과 자기회귀 이미지 및 비디오 생성을 통합함을 증명한다. 네 가지 백본과 시각적 자기회귀 프로브에 걸친 실험이 모든 정리를 검증하며, 스펙트럼 예측값은 측정된 맹점 비율과 3.2% RMSE 이내에서 일치한다.
자율 연구 에이전트가 실험 실패 시 단일 반성(reflection)에 의존하는 취약점을 해결하기 위해, SAGE는 다중 가설 실패 귀인(Multi-Hypothesis Failure Attribution, MHFA) 메커니즘을 통해 실패 원인을 구조적으로 진단하고 가설·실험 설계·구현 단계 중 적절한 수준으로 복구를 라우팅한다. 12개 주제·5개 도메인 벤치마크에서 지표 포함 출력 비율을 42%에서 92%로 끌어올리고 아티팩트 품질 점수를 5.00에서 6.75/10으로 개선하며 AI-Scientist-v2를 상회하는 성능(52.0 vs. 48.2)을 달성했다.
현재 장영상 이해를 위한 멀티모달 반성 메커니즘은 대체로 내부 파라미터 내 폐루프(closed-loop) 자기 반성에 의존한다. 객관적인 외부 증거가 부재한 탓에 모델은 종종 맹목적 확신(blind confidence)에 빠져 오류를 수정하지 못하는 경우가 많다. 또한 다단계 반성 파이프라인에 강화학습을 적용하면 심각한 정책 결합(policy coupling)이 발생하며, 이는 전용 학습 데이터의 심각한 부족으로 더욱 악화된다. 이러한 한계를 해결하기 위해 본 연구는 장영상 이해를 위한 최초의 증거 기반(Evidence-Driven) 자기 수정 프레임워크인 Reflect-R1을 제안한다. 이 프레임워크는 직관(intuition), 검증(verification), 중재(arbitration)으로 구성된 3단계 파이프라인을 구축한다. 초기 직관을 검증하기 위해 객관적 시각 증거를 동적으로 검색하고, 충돌을 해결하기 위해 여러 시간적 검색(temporal search)을 자율적으로 수행함으로써 환각(hallucination) 루프를 완전히 끊는다. 정책 결합을 극복하기 위해 서로 다른 추론 단계에서 이점 함수(advantage function)를 독립적으로 계산하는 단계 분리(stage-decoupled) 강화학습 알고리즘 SD-GRPO를 설계했다. 동시에 학습 데이터 격차를 메우기 위해 12만 개 샘플로 구성된 데이터셋을 구축했다. VideoMME 및 LongVideoBench 등 벤치마크에 대한 광범위한 실험 결과, Reflect-R1이 최신(state-of-the-art) 성능을 달성함을 보여준다. 본 방법은 진정한 수정(rectification) 비율을 크게 향상시키며, 객관적 증거에 엄격히 그라운딩(grounding)된 진정한 자기 수정을 가능하게 한다.
내재적 자기 수정(SC)이 외부 피드백 없이 초기 답을 재검토할 때, 명시적 제약 검증·복잡한 추론 재검토·단어 게임에서의 대안 전략 비교처럼 과제 구조가 수정 단계의 역할을 뒷받침하는 설정에서 SAT, BBEH, HLE, Wordle, Hangman, Codenames 등 다수 벤치마크와 모델에서 일관된 성능 향상을 보인다. SC는 초기 출력을 균일하게 개선하는 범용 기법이라기보다, 과제마다 수정 단계가 수행할 수 있는 역할에 따라 유용성이 달라지는 과제 의존적 추론 시점 전략으로 이해하는 것이 타당하다.
대규모 언어 모델(LLM)은 유창하지만 종종 잘못된 다단계 추론을 생성하며, 단순한 교정 방법은 이미 올바른 답을 훼손할 위험이 있다. 우리는 Denoising Iterative Self-Correction (DISC)를 제안한다. 이는 테스트 시점(test-time) 절차로, 검증 질문의 출력을 솔루션이 손상되었을 수 있는 위치에 대한 노이즈가 포함된 측정값으로 취급한다. 이러한 신호를 이용해 DISC는 전통적인 반복 디노이징과 유사하게, 여러 번의 verify-judge-correct 패스를 거치며 오류를 점진적으로 줄인다. 이진 판정 게이트는 이미 올바른 답을 훼손하는 재작성을 차단함으로써 교정 정밀도를 제어하고, 검증기와 교정기가 함께 오류를 수리한다. 우리는 개선 대 비훼손 비율(정밀도)과 수리율(재현율)이라는 두 가지 쌍을 이루는 진단 지표로 이 트레이드오프를 평가한다. 세 가지 벤치마크(BIG-Bench Mistake, HotpotQA, GPQA Diamond)와 네 가지 모델에 걸쳐, DISC는 정밀도-재현율 트레이드오프에서 Chain-of-Verification과 Self-Refine을 압도하며, BIG-Bench Mistake(Sonnet~4.5)에서 81.6% 정확도에 도달하고 Chain-of-Verification 대비 훼손당 13배 더 많은 개선, Self-Refine 대비 5배 더 많은 개선을 달성한다. GPQA Diamond에서는 판정자(judge)가 증거 속 모순을 인식하지만 그 인식을 교정으로 전환하지 못하는 역량 하한(capability floor)을 확인한다. 또한 생성기와 다른 모델에 검증과 판정 역할을 할당하는 교차 모델 역할 분배(cross-model role allocation)가 자기 확인 바이어스(self-confirmation bias)를 완화함을 보인다.
소셜 챗봇의 오류를 웹페이지 정정, 자기 수정(self-correction), 전문가 챗봇 수정 세 가지 방식으로 비교한 피험자 간 실험(N=120)에서, 세 전략 모두 오류 수정 효과는 비슷했지만 자기 수정만이 챗봇의 신뢰도와 인식된 전문성을 유지했습니다. 사용자와 챗봇 간 사회적 연결 강도는 챗봇이 스스로 수정할 때만 신념 변화를 예측했고, 외부 수정은 이 효과를 끊었습니다.
마스킹 디퓨전 모델(MDM)은 경쟁력 있는 성능을 유지하며 병렬 토큰 생성을 가능하게 하여 자기회귀 모델의 유망한 대안으로 떠올랐습니다. 그러나 MDM은 토큰이 한번 마스크 해제(unmasking)되면 고정된다는 근본적인 한계가 있습니다. 이는 오류 누적으로 이어져 궁극적으로 샘플 품질을 저하시킵니다. 우리는 모델이 마스크 해제와 교정(correction)을 모두 수행하도록 학습시키는 프레임워크를 제안하여 이 문제를 해결합니다. MDM 디노이징 네트워크의 출력을 교정기(corrector) 학습의 입력으로 재사용하여, 잠재적인 실수로부터 복구할 수 있는 모델을 학습시킵니다. 생성 과정에서 마스크 해제 단계 사이에 추가적인 교정 정제 단계를 적용하여 디코딩된 토큰을 변경하고 출력을 개선합니다. 우리는 이미 생성된 토큰을 포함하여 전체 시퀀스를 반복적으로 정제할 수 있는 독특한 능력을 살려, 이 학습 및 샘플링 방법을 Progressive Self-Correction (ProSeCo)이라고 명명했습니다. 다양한 조건부 및 비조건부 작업에 대한 광범위한 실험적 검증을 통해, ProSeCo는 더 우수한 품질-효율성 트레이드오프(샘플링 속도 최대 약 4배 향상)를 달성하고, 표준 MDM을 초과하는 샘플 품질 향상을 위해 추론 시간 연산 스케일링(inference-time compute scaling)을 가능하게 함(벤치마크에서 최대 약 1.2배 개선)을 입증했습니다.