PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.26849v2cs.CL

적응형 테스트 시점 추론을 위한 불확실성 인지 예산 할당

Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning

다중 응답을 샘플링하면 언어 모델의 추론 성능이 향상되지만, 균일한 연산 할당은 쉬운 질문에는 과도하게 샘플링되고 어려운 질문은 충분히 탐색되지 않아 비효율적이다. 우리는 \textbf{불확실성 인지 예산 할당(Uncertainty-Aware Budget Allocation, UAB)}을 제안한다. 이는 초기 샘플 자체로부터 추정된 불확실성을 이용하여 고정된 샘플링 예산을 재할당하는 오목(concave) 정수 최적화 프레임워크이다. 1단계(Phase-1)에서는 모든 질문에 적은 수의 고정된 생성(generation)이 할당된다. 이 생성 결과들의 답변 불일치는 투표 엔트로피(vote entropy)로 측정되어 난이도 신호를 제공하며, 동시에 이 생성 결과들은 최종 투표에도 반영된다. 2단계(Phase-2)에서는 나머지 예산이 마진-그리디(marginal-greedy) 알고리즘에 의해 할당되는데, 이 알고리즘은 오목 커버리지 최대화(concave coverage-maximization) 대리 문제를 최적으로 풀어 초기 답변이 일치하지 않는 질문에 샘플을 집중시킨다. 1.5B~27B 파라미터 규모의 5개 공개 가중치(open-weight) 모델과 난이도가 다양한 5개의 추론 벤치마크에 걸쳐, UAB는 균일 할당에 비해 평균 정확도를 $+2.3\%$ 향상시키며, 개별 벤치마크에서는 최대 $+5.5\%$의 향상을 달성하고, 가장 큰 향상은 저자원(low-resource) 환경에서 나타난다. 또한 UAB는 목표 예산을 정확히 충족하며, 보조 모델이나 추가적인 LLM 호출을 필요로 하지 않는다. 코드는 https://github.com/manhitv/UAB 에서 공개되어 있다.

arXiv:2610.01140v2cs.AI

ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용

ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation

여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.

arXiv:2610.01014v1cs.AI

발견에서 결정까지: 대규모 언어 모델(LLM) 투표에서의 유한 예산 회복 가능성

From Discovery to Decision: Finite-Budget Recoverability in LLM Voting

여러 대규모 언어 모델(LLM) 응답에 대한 투표는 테스트 시간 스케일링(test-time scaling)과 앙상블(ensemble) 추론(inference)에서 널리 쓰이는 기본 연산(primitive)입니다. 더 많은 응답을 수집하면 후보 집합이 확장되어 정답이 발견될 가능성이 높아질 수 있습니다. 그러나 고정된 호출 예산 내에서는 발견된 답변이라도 최종적인 다수결(plurality) 승자가 되기 위해 남은 호출 횟수 내에서 충분한 지지를 축적해야 하므로, '발견과 결정 간의 격차(discovery-to-decision gap)'가 발생합니다. 본 연구에서는 실현된 투표 상태와 남은 호출 예산을 통해 이러한 격차를 특성화합니다. 저자들은 명확한 회복 가능성 임계값(recoverability threshold)을 유도하고, 샘플링이 진행됨에 따라 관찰된 후보 집합은 확장되기만 하는 반면 도달 가능한 최종 승자 집합은 축소되기만 하여 후보 수준의 전환 창(conversion window)이 유도됨을 보입니다. 지정된 독립동일분포(iid) 응답 법칙 하에서, 동일한 상태를 통해 정확한 유한 구간(finite-horizon) 최종 확률을 도출할 수 있습니다. 나아가 오답 식별자를 병합하는 것은 단일 호출 정확도를 보존하면서도 다수결 정확도를 향상시킬 수 없으며, 오답 확률 재분배의 효과는 실현된 투표 상태에 따라 달라짐을 보입니다. 단일 원소 도달 가능성(singleton reachability)은 정답 레이블이 필요 없는(gold-free) 정확한 잠금 보증서(locking certificate)를 제공합니다. 알려진 답변 공간(universe)에 대해, 이 보증서의 최초 작동 시점은 모든 허용 가능한 연속 과정이 동일한 고정 예산 출력을 생성하는 가장 빠른 접두 문맥(prefix)에 해당합니다. 실증적으로, 발견되었으나 선택되지 못한 대부분의 정답은 발견된 이후에야 비로소 도달 가능성을 상실합니다. 통제된 Word16 실험에서, 입력 순열(permutation)은 단일 호출 정확도를 본질적으로 유지하면서도 원시 다수결 정확도를 21.1%p 향상시켰습니다. 또한 정확한 잠금 기법은 16회 호출 예산에서 모든 고정 예산 출력을 보존하면서도 호출 수를 28-30% 절감합니다.

arXiv:2607.08065v2cs.AI

LLM이 동의할 때, 그들은 옳은가? 신뢰도 신호로서의 자기일관성과 모델 간 합의 감사

When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals

LLM-as-judge 시스템에서 널리 가정하는 "합의(agreement) = 정확성" 전제를 265,000개 샘플 규모의 크로스-러너 감사(audit)로 검증한 결과, 자기일관성(self-consistency)은 긍정적이나 약한 예측 변수(ρ 0.20–0.59)에 불과하며, 특히 최상위 프론티어 모델은 GPQA Diamond 케이스의 77%에서 합의율 ≥0.8을 기록하면서도 그 중 48%가 오답으로 나타나 과신뢰(over-confidence) 문제가 심각했다. 자기일관성은 독립적인 신뢰도 점수가 아닌 모델 계층·합의 수준·사용 목적에 따라 유용성이 달라지는 조건부 대리 지표임을 실증적으로 규명한다.

arXiv:2607.22962v1cs.AI

ConsistencyGate: 자기 일관성 승인 제어를 통한 LLM 에이전트의 메모리 오염 방지

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

다중 턴으로 동작하는 LLM 에이전트는 외부 메모리 저장소에 사실을 축적하고 이를 하류 추론의 전제로 재사용한다. 따라서 한 단계에서 기록된 환각 사실은 이후 모든 단계에서 거짓 전제로 지속되며, 우리는 이러한 실패 양식을 메모리 오염(memory contamination)이라 부른다. 기존 메모리 관리는 검색(retrieval)과 용량은 다루지만 기록 시점(write-time)의 정확성은 다루지 않는다. 이 승인(admission) 문제는 유용성(utility) 또는 최근성(recency) 기준으로는 해결할 수 없으며, 통제되지 않은 오염은 긴 궤적(trajectory)에 걸쳐 누적된다. 우리는 ConsistencyGate를 제안한다. 이는 컨텍스트 c에서 추출된 후보 사실 m을 확정하기 전에 LLM에 K회 질의하여 soft support score를 얻고, 평균이 임계값을 초과할 때만 m을 승인하는 기록 시점 승인 게이트이다. 이 메커니즘은 모델에 무관하며 미세조정이 필요 없고, 지연 시간에 민감한 배포를 위한 log-probability 변형에서는 단일 순전파로 축약된다. 자연 데이터에서의 효과를 측정하기 위해, LoCoMo와 MSC의 장기 대화에 통제된 단일 세부 정보 손상(single-detail corruption)을 심어 두 개의 실제 대화 벤치마크(LoCoMo-Contam 및 MSC-Contam)를 구성하고, near-oracle 상한을 격리하는 구조화된 합성 코퍼스(MemContam)로 이를 보완한다. 네 가지 LLM 백본에 걸쳐 ConsistencyGate는 모든 것을 기록하는(write-everything) 기준선 대비 모든 벤치마크에서 오염을 줄이며, 비용은 소스 컨텍스트에서 암시적으로만 진술된 사실에 집중된다. 우리는 게이트 구현과 함께 세 벤치마크를 모두 공개한다.

arXiv:2607.20464v1cs.AI

확률적 샘플링은 인식론적으로 얕다: LLM에서 온도 변동과 모델 다양성 간 차원 격차

Stochastic Sampling is Epistemically Shallow: The Dimensionality Gap Between Temperature Variation and Model Diversity in LLMs

언어 모델이 반복 실행마다 다른 답을 낼 때, 그 변동이 모델이 모르는 것을 드러내는가? Self-consistency는 다수결 투표를 통해 그 변동을 질문별 불확실성 추정치로 바꾼다. 그러나 같은 변동이 교차-질문 구조—관련 질문들이 다양한 앙상블이 그러듯 함께 뒤집히는 현상—를 드러내는가? 우리는 동일한 질문들에 대해 두 가지 체제를 비교한다: $τ=1$에서 $100$회 실행한 단일 모델 대 $τ=0$에서 각각 1회씩 실행한 24개 LLM 앙상블. Marchenko--Pastur 무작위 행렬 검정이 양쪽 모두에서 신호와 샘플링 노이즈를 분리한다. 단일 모델 내에서는 5개 패밀리와 3개 벤치마크(MMLU, HellaSwag, GSM8K) 전반에 걸쳐 노이즈 위로 올라오는 차원은 최대 1개뿐이다. 앙상블에서는 4개의 고유값이 노이즈 경계를 넘지만, 난이도가 맞춰진 Bernoulli null은 $500$회 Monte Carlo 추출 중 최대 1개만 생성한다. Self-consistency는 질문별 불확실성은 정확하게 제공하지만 탐지 가능한 교차-질문 구조는 제공하지 않으며, 다양한 앙상블만이 모델이 모르는 것을 드러낸다.

arXiv:2607.10139v1cs.LG

심사단으로서의 LLM: 교차 모델 합의가 LLM 추론에서 프로세스 보상 모델을 능가할 수 있다

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

후보 추론 체인 풀에서 올바른 답을 선택하는 것은 테스트 시간 스케일링(test-time scaling)의 핵심 엔진이지만, 표준 선택자들은 각각 고유한 비용을 수반한다: 자기 일관성(self-consistency)은 재샘플링하는 단일 모델의 오류를 그대로 이어받고, 학습된 보상 모델은 레이블된 데이터를 필요로 하며 분포 외 환경에서 전이 성능이 저조하다. 우리는 추론 시간에 무료로 얻을 수 있는 세 번째 신호를 연구한다: 교차 모델 합의(cross-model consensus), 즉 독립적으로 학습된 모델들이 각각 한 번씩 문제를 풀었을 때 최종 답에 동의하는 정도이다. 우리는 이 패널을 LLM 심사단(LLM-jury)으로 취급하며, 어떤 모델이 다른 모델을 채점하는 것이 아니라 동의의 구조 자체가 검증 신호가 된다. 7개의 벤치마크에 걸쳐 이 방법은 자기 일관성보다 더 정확한 답을 선택하며, 모델이 자신의 후보를 직접 채점하는 방식보다 훨씬 뛰어난 성능을 보인다: 경시대회 수학에서는 오라클 선택자와의 성능 차이를 완전히 좁히는 반면, 자기 채점은 거의 아무런 차이도 좁히지 못한다. 그 메커니즘은 오류 비상관화(error decorrelation)이다: 독립적으로 학습된 모델들은 서로 다른 방식으로 오류를 범하기 때문에 틀린 답들은 분산되는 반면, 정답은 합의를 축적한다. 우리는 이를 매개변수 없는 법칙으로 정밀하게 규명한다. 이 법칙은 폐쇄형으로 도출되며, 세 가지 측정된 패널 통계로부터 평균 절대 오차 $0.03$으로 합의 정확도를 예측하고, 이 방법의 한계를 드러낸다: 모델들이 공통된 오개념을 공유하는 공유 오류 하한(shared-error floor)이 존재하는데, 이는 수학에서는 거의 0에 가깝지만 과학에서는 무시할 수 없는 수준이다. 판별적(discriminative), 결과 기반(outcome), 생성적(generative) 보상 모델을 포괄하는 4개의 학습된 검증자와 비교했을 때, 무료 LLM 심사단은 수학 학습 도메인 내에서 가장 강력한 검증자에 필적하며, 도메인 외에서는 최고의 선택자이다. 따라서 교차 모델 합의는 사전에 특성화 가능한 검증자이다: 언제 신뢰할 수 있는지를 알려주는 법칙과, 어디서 한계에 이르는지를 표시하는 하한이 함께 제공된다.

arXiv:2607.09438v1cs.CL

다국어 시각적 객관식 문제에서 소형 VLM을 위한 테스트 시간 스케일링

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

테스트 시간 스케일링(TTS)은 대규모 언어 모델(LLM)의 추론 능력을 안정적으로 향상시키지만, 소형 오픈 비전-언어 모델(VLM)에도 동일한 효과가 있는지는 불분명하다. 우리는 이를 다국어 시각적 객관식 벤치마크인 EXAMS-V에서 Qwen2.5-VL-7B-Instruct와 Qwen3.5-4B를 대상으로, 자기 일관성(self-consistency), PRM 기반 빔 서치를 활용한 설명 후 추론(describe-then-reason), 두 가지 사후 선택기를 비교하며 검토한다. 중요한 것은 탐색 또는 검증 메커니즘이 아니라, TTS가 실행되는 조건이다. 가장 큰 영향 요인은 파싱 가능성(parseability)이다. 초기 프롬프트 형식으로 인해 많은 추론 체인이 올바르게 추론하면서도 답변 문자를 확정하지 못하는 경우가 많았는데, 표준 답변 단서와 안내된 수정 단계를 통해 이 문제를 대부분 해소할 수 있었다. 더 큰 디코딩 예산은 나머지 문제를 해결한다. 체인별 토큰 한도를 1k에서 2k로 늘리면 3.7 pp를 회복하는 반면, 체인 수를 늘려 더 많이 샘플링(8개에서 16개)하면 0.15 pp만 추가된다. 체인이 완료될 충분한 공간이 확보되면 정교한 방법들의 기여는 미미해진다. PRM 기반 빔 서치는 두 정책 모두에서 8배 이상의 비용을 들이고도 순수 자기 일관성보다 0.39 pp 낮으며, 학습이 필요 없는 생성 비평기나 학습된 멀티모달 PRM 모두 두 정책에 걸쳐 다수결 투표를 능가하지 못한다. 가장 큰 성능 향상은 오히려 정책 모델 자체에서 비롯된다(+11.4 pp). 최적 구성은 보류된 ImageCLEF 2026 테스트 분할에서 84.1%를 달성하여 Visual MCQ 리더보드에서 1위를 기록했다.

arXiv:2607.08017v1cs.CL

LLM의 논리를 신뢰할 수 있는가? 그래프 기반 프레임워크를 통한 불확실성, 일관성, 강건성 정량화

Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework

LLM 추론의 신뢰성 문제를 해결하기 위해 GRAPHEVAL이라는 그래프 기반 프레임워크를 제안하며, 추론 경로를 인과 DAG로 변환해 의미적·구조적 합의를 측정하는 새 지표 GRCS(Graph Reasoning Coherence Score)와 메도이드(medoid) 기반 디코딩 전략인 GSC(Graph Self-Consistency)를 도입한다. GRCS는 모델 규모에 관계없이 추론 충실도와 일관되게 음의 상관관계를 보이는 유일한 지표이며, GSC는 기존 Self-Consistency가 충실하지 않은 "운 좋은 추측"에 의해 부풀려진 정확도를 드러내고 더 유능한 모델에서는 추론 정확도를 유지하거나 향상시킴을 실험적으로 입증한다.

arXiv:2607.03991v1cs.LG

멈출 때를 아는 것: Text-to-SQL에서 실행 일관성 수렴 예측

Knowing When to Stop: Predicting Execution-Consistency Convergence in Text-to-SQL

Text-to-SQL 결과의 신뢰도를 반복 LLM 호출로 추정할 때 언제 멈출지를 예측하는 수렴 예측 문제를 제안하며, 실행 일관성 궤적을 1-D 신호로 관찰하는 경량 모델을 학습해 BIRD 벤치마크와 실제 고객 데이터셋에서 질문별로 정지 시점을 적응적으로 결정한다. Beta-Bernoulli 정지 규칙 및 고정 실행 횟수 기준선을 상회하며, 노이즈가 주입된 불완전한 판정기 환경에서도 수렴을 신뢰성 있게 예측함을 보인다.

arXiv:2602.13517v2cs.CL

길게만 생각하지 말고, 깊게 생각하라: 심층 사고 토큰을 통한 LLM 추론 노력 측정

Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens

대규모 언어 모델(LLM)은 긴 사고의 연쇄(Chain-of-Thought, CoT)를 통해 테스트 시간 연산을 확장함으로써 인상적인 추론 능력을 보여왔다. 그러나 최근 연구에 따르면 원시 토큰 수는 추론 품질의 신뢰할 수 없는 대리 지표임이 밝혀졌다. 즉, 생성 길이가 늘어난다고 해서 정확도가 일관되게 향상되는 것은 아니며, 오히려 "과도한 사고(overthinking)"의 신호일 수 있어 성능 저하로 이어질 수 있다. 본 연구에서는 심층 사고 토큰(deep-thinking tokens)을 식별함으로써 추론 시간 노력을 정량화한다. 심층 사고 토큰이란 수렴 전 더 깊은 모델 레이어에서 내부 예측이 유의미하게 수정되는 토큰을 의미한다. 네 가지 수학 및 과학 벤치마크(AIME 24/25, HMMT 25, GPQA-diamond)와 다양한 추론 중심 모델(GPT-OSS, DeepSeek-R1, Qwen3)을 대상으로, 심층 사고 비율(생성 시퀀스 내 심층 사고 토큰의 비율)이 정확도와 강건하고 일관된 양의 상관관계를 보임을 확인하였으며, 이는 길이 기반 및 신뢰도 기반 기준선을 크게 능가한다. 이러한 통찰을 활용하여 우리는 심층 사고 비율이 높은 샘플을 우선시하는 테스트 시간 스케일링 전략인 Think@n을 제안한다. Think@n은 짧은 접두사를 기반으로 가망성 없는 생성을 조기에 기각함으로써 추론 비용을 크게 절감하면서도 표준 자기 일관성(self-consistency) 성능과 동등하거나 그 이상의 성능을 달성함을 보인다.

arXiv:2502.15845v2cs.CL

Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection

블랙박스 환경에서 대규모 언어 모델(LLM)의 환각(hallucination) 탐지를 위해 자기일관성(self-consistency) 기반 방법의 성능 한계를 분석하고, 불확실한 경우에만 검증자 모델과의 교차일관성(cross-consistency) 검사를 수행하는 2단계 예산 친화적 탐지 알고리즘을 제안한다. 3개 데이터셋과 20개의 모델 조합 실험에서 이 방법이 높은 탐지 성능을 유지하면서 계산 비용을 크게 절감함을 입증했다.

arXiv:2511.12309v2cs.LG

Optimal Self-Consistency for Efficient Reasoning with Large Language Models

Self-consistency (SC) is a widely used test-time inference technique for improving performance in chain-of-thought reasoning. It consists of generating multiple responses, or ``samples", from a large language model (LLM) and selecting the most frequent answer. This procedure can naturally be viewed as a majority vote or empirical mode estimation. Despite its effectiveness, self-consistency is prohibitively expensive at scale when naively applied to datasets, and it lacks a unified theoretical understanding of sample efficiency and scaling behavior. In this paper, we provide the first comprehensive analysis of SC's scaling behavior and its variants, drawing on mode estimation and voting theory. We derive and empirically validate power law scaling for self-consistency across datasets, and analyze the sample efficiency for fixed-allocation and dynamic-allocation sampling schemes. From these insights, we introduce Blend-ASC, a novel variant of self-consistency that dynamically allocates samples to questions during inference, achieving state-of-the-art sample efficiency. Our approach uses 4.8 times fewer samples than vanilla SC on average, outperforming both fixed- and dynamic-allocation SC baselines, thereby demonstrating the superiority of our approach in terms of efficiency. In contrast to existing variants, we note that Blend-ASC is hyperparameter-free, supports batching, and can fit any budget of samples, ensuring it can be easily applied to any self-consistency application.

arXiv:2606.29733v1cs.CL

온프레미스 오픈 LLM은 Text-to-SQL에서 얼마나 멀리 갈 수 있는가? BIRD에서의 패밀리 간 크기 × 기법 프론티어

How Far Do On-Prem Open LLMs Get on Text-to-SQL? A Cross-Family Size x Technique Frontier on BIRD

클라우드 API로 데이터를 전송할 수 없는 조직들은 점점 더 다음과 같은 질문을 제기하고 있다: 모델이 온프레미스에서 오픈 웨이트로 실행되어야 할 때 Text-to-SQL의 성능은 얼마나 좋은가, 그리고 널리 사용되는 정확도 "레시피" 중 어떤 것이 연산 비용 대비 가치가 있는가? 우리는 BIRD 개발 분할(n=1534, 실행 정확도(Execution Accuracy))에 대해 정직하고 완전히 재현 가능한 벤치마크로 이에 답한다. 두 세대에 걸친 세 가지 오픈 모델 패밀리—Qwen2.5-Coder (7B/14B/32B), CodeLlama-Instruct (7B/13B/34B), Llama-3.x (8B, 70B)—를 동일한 프로토콜 하에 평가하고, 모델 비의존적 레시피(스키마 링킹, 자기수정(self-correction), 자기일관성(self-consistency)) 구성 요소를 하나씩 제거하며, 모든 차이는 대응 McNemar 검정으로 검증했다. 네 가지 주요 발견이 두드러진다. (i) 세대가 단순한 크기보다 더 중요하며, 레시피는 패밀리에 걸쳐 강건하다: Qwen2.5-Coder는 동일 크기에서 구세대 CodeLlama를 압도하지만(7B에서 39.1 대 20.9), 현대적인 비Qwen 모델(Llama-3.3-70B, 동일 서빙 조건에서 49.2)은 경쟁력이 있으므로, CodeLlama의 약점은 2023년 세대를 반영하는 것이지 "비Qwen = 약함"을 의미하지 않는다. (ii) 자기수정은 강건하고 거의 비용 없는 성능 향상으로, 개선 여지가 있는 세 패밀리 모두에서 유의미하다. (iii) 스키마 링킹은 도움이 되지 않으며, 더 강력한 링커도 이를 구제하지 못한다: 골드 테이블 재현율 96.5%의 검색/임베딩 링커는 링킹을 사용하지 않는 것과 통계적으로 구분할 수 없어, 세 패밀리 모두에서 "약한 어휘 허수아비" 반론을 배제한다. (iv) 자기일관성은 가성비가 낮다(~5배 토큰 대비 +0.13 pp, 유의미하지 않음). 실제 단계별 비용(쿼리 1,000건당 달러)을 보고하고, 모든 코드, 예측 결과, 요약을 공개한다; 보관된 코드 및 데이터: https://doi.org/10.5281/zenodo.20952794

arXiv:2606.27359v1stat.ML

가능성이 높은 답은 언제 맞을까? LLM에서의 시퀀스 확률과 정확성

When are likely answers right? On Sequence Probability and Correctness in LLMs

대규모 언어 모델(LLM)에서 디코딩(decoding) 방법·하이퍼파라미터·데이터셋·동일 프롬프트 반복 응답 등 네 수준에서 시퀀스 확률과 정확성의 관계를 정량화한 결과, 고정 데이터셋 내 프롬프트-답변 쌍에서는 더 높은 시퀀스 확률이 종종 정확성을 예측하지만 하이퍼파라미터나 방법을 바꿔 확률을 높여도 정확도가 안정적으로 개선되지는 않으며 동일 프롬프트에 대한 응답에서는 시퀀스 확률이 유용한 지표가 아니다. 이는 디코딩, 자기 일관성(self-consistency), 검증기 없는 자기 개선(verifier-free self-improvement)에서 확률을 언제 신뢰할 수 있는지에 대한 실용적 기준을 제시한다.

arXiv:2606.27376v1cs.CV

묻고, 풀고, 생성하기: 자기 일관성 보상을 통한 자기 진화형 통합 멀티모달 이해 및 생성

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

시각 이해와 이미지 생성을 모두 지원하는 대부분의 통합 대규모 멀티모달 모델(LMM)은 여전히 인간 주석, 선호 라벨, 또는 외부 보상 모델과 같은 큐레이션된 사후 학습 감독에 의존한다. 우리는 통합 LMM이 라벨이 없는 이미지만으로 두 능력을 모두 자율적으로 향상시킬 수 있는지 묻는다. 우리는 세 가지 내부 역할을 갖는 자기 진화형 학습 프레임워크를 제안한다: 시각적 질문을 생성하는 Proposer, 이를 답하고 평가하는 Solver, 이미지를 합성하는 Generator. 학습은 인간 주석, 선호 라벨, 또는 태스크로 학습된 외부 보상/판단 모델 없이, 오직 자기 도출된 일관성 신호만을 사용한다. 학습을 안정화하기 위해, 우리는 Solver Token Entropy(STE)를 도입한다. 이는 샘플 수준의 일관성이 신뢰할 수 없게 되더라도 여전히 유용한, 토큰 수준 예측 불확실성에 기반한 연속적 난이도 신호이다. 이미지 생성을 위해, 우리는 질문-답변 충실도 점수와 순환 일관(cycle-consistent) 캡셔닝을 결합한 다중 스케일 내부 평가 방식을 설계한다. 이는 Solver가 매개하는 결합을 만든다. 여기서 더 나은 시각 이해가 더 신뢰할 수 있는 생성 평가와 더 강한 내부 학습 신호를 가능하게 한다. 이 프레임워크는 diffusion 기반 BLIP3o, rectified-flow BAGEL, autoregressive VARGPT-v1.1 아키텍처에 걸쳐 동일한 역할 분해, 보상 논리, 학습 일정을 유지하며, 각 백본의 고유 프롬프팅 및 생성 인터페이스만 필요로 한다. 8개의 이해 메트릭에서 우리 방법은 해당 베이스 모델들보다 일관되게 향상된다. BAGEL에서 MMMU에서 +3.5% 절대 향상을 달성하고 GenEval 이미지 생성 성능을 82%에서 85%로 개선한다. 코드와 모델은 공개적으로 배포된다.

arXiv:2606.18327v1cs.LG

Self-CTRL: 강화학습을 통한 자기 일관성 학습

Self-CTRL: Self-Consistency Training with Reinforcement Learning

Self-CTRL은 강화학습(RL)으로 언어 모델(LM)의 자기 설명과 관련 입력에서의 행동 간 일관성을 최적화하며, 설명을 행동에 맞게 갱신하거나 행동을 설명에 맞게 갱신할 수 있다. 확률적 추론에서는 자가 보고 편향과 행동 측정 잠재 편향 간 상관을 R² 0.24에서 0.64로 높였고, 헌법적 AI(constitutional AI)에서는 제3자 감사 모델의 거부 예측을 36%에서 92%로 향상시키며 HarmBench 실패율을 15.0%에서 0.5%로 낮췄다.

arXiv:2606.17389v1cs.CV

시각 정보는 거짓말을 하고, 일관성은 말을 한다: 비전-언어 모델에서 신뢰성과 공간적 어텐션의 분리

Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models

멀티모달 파운데이션 모델은 점차 추론 에이전트로 사용되고 있으며, 이로 인해 모델이 언제 환각을 일으킬 수 있는지 아는 것, 즉 신뢰성이 중요해졌습니다. 우리가 '어텐션-신뢰도 가정(Attention-Confidence Assumption)'이라고 부르는 일반적인 직관은 신뢰성이 "구조적" 시각 지각에서 비롯된다고 봅니다. 관련 영역에 대한 집중된 어텐션은 신뢰할 수 있는 답변을 나타내고, 분산된 어텐션은 혼란을 나타내야 한다는 것입니다. 우리는 최신 비전-언어 모델(VLM)의 신뢰성 신호에 대한 체계적인 교차 패밀리 연구인 VLM Reliability Probe (VRP)를 통해 이를 반박합니다. 우리는 비전 인코더의 시선을 정량화하기 위해 구조적 어텐션 메트릭인 클러스터 수(C_k)와 공간 엔트로피(H_s)를 도입하고, 층 전체에 걸친 그 변화(Delta H_s)를 추적합니다. 이는 "기호적 분리(Symbolic Detachment)"를 보여줍니다. 모델은 종종 시각적 특징을 "조기 잠금(Early Lock)"했다가 나중에 어텐션을 확산시켜, 초기 지각과 최종 생성을 단절시킵니다. 그라운딩 가설과 달리, 우리는 "클러스터 실패(Cluster Failure)"를 발견했습니다. 공간적 어텐션은 정확도와 거의 0에 가까운 상관관계(R 약 0.001)를 가집니다. 대신, 신뢰성은 생성 역학 및 내부 상태 분포의 현상입니다. 샘플링된 추론 경로 간의 일치율인 자기 일관성(Self-Consistency)이 진실을 가장 잘 예측하는 지표입니다(R = 0.429). 인과적 개입을 스케일링하면 급격한 아키텍처적 차이가 드러납니다. LLaVA는 예측을 취약한 후기 단계 병목점에 잠그는 반면, PaliGemma와 Qwen2-VL은 신뢰성을 전역적으로 분산시켜 가장 예측력이 높은 층의 50% 이상이 파괴되더라도 강건성을 유지합니다. 현재 VLM의 경우 신뢰성 신호는 시각적 그라운딩 맵과 분리되어 있으며, 생성 시점 역학 및 히든 상태 프로브에서 추론하는 것이 가장 좋습니다.

arXiv:2606.12935v1cs.AI

MARS: 병렬 대규모 언어 모델 테스트 타임 스케일링을 위한 마진-적대적 리스크 제어 조기 종료

MARS: Margin-Adversarial Risk-controlled Stopping for Parallel LLM Test-time Scaling

병렬 테스트 타임 스케일링의 계산 오버헤드를 줄이기 위해 중간 체크포인트에서 추론 경로를 모니터링하여 조기 종료 시점을 결정하는 MARS를 제안한다. 이 방법은 자기 일관성(self-consistency) 토큰을 25-47% 절감하면서도 전체 예산을 사용한 기준 모델과 동일한 정확도를 달성한다.

arXiv:2606.12003v1cs.CL

개방형 자기 일관성을 위한 표현 공간 내 일치

Agreement in Representation Space for Open-Ended Self-Consistency

자기 일관성(Self-consistency)은 여러 출력을 샘플링하고 가장 일관된 답변을 선택함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만, 기존의 정의는 대부분 정확한 일치에 의존하므로 범주형 출력이 있는 작업으로 제한됩니다. 본 연구에서는 코드 생성 및 텍스트 요약과 같은 개방형 생성 작업에서의 자기 일관성을 연구합니다. 우리는 일관성을 생성 공간의 기하학적 속성으로 이해할 수 있다고 가정합니다. 즉, 의미적으로 호환되는 생성물들은 표현 공간의 유사한 영역에 집중된다는 것입니다. 이 가설을 연구하기 위해, 우리는 임베딩 공간에서 샘플링된 생성물을 클러스터링하여 일치도를 추정하는 간단한 학습이 필요 없는 구현 방법인 임베딩 기반 일치(Embedding-Based Agreement, EBA)를 제안합니다. 수학적 추론, 코드 생성, 요약에 대한 실험을 통해, 표현 공간에서의 일치가 개방형 작업에 대한 자기 일관성의 강건하고 확장 가능한 신호를 제공함을 보여줍니다. 특히, EBA는 무작위 선택을 지속적으로 능가하며, LLM 평가나 불확실성 추정에 기반한 최근 선택 방법보다 더 안정적인 스케일링 양상을 보입니다. 또한, 이러한 일치 신호는 기본 은닉 표현을 사용하는 경우에도 모델 계열 및 임베딩 공간 전반에서 안정적으로 유지됨을 보여줍니다. 마지막으로, 우리의 분석은 샘플링된 생성물이 차지하는 기하학적 위치가 생성 품질과 강한 상관관계가 있음을 보여줍니다. 표현 공간의 중심 영역 근처에 집중된 생성물은 더 신뢰할 수 있는 출력에 해당하는 경향이 있는 반면, 주변부 생성물은 정확도가 현저히 낮습니다. 전반적으로, 우리의 연구 결과는 자기 일관성을 정확한 기호적 중첩이 아닌 샘플링된 생성물의 기하학적 구성 속성으로 보는 것을 뒷받침합니다.