arXiv:2501.08156

Inference-Time-Compute: More Faithful? A Research Note

James Chua, Owain Evans

제출 2025-01-14

원문 초록

Models trained specifically to generate long Chains of Thought (CoTs) have recently achieved impressive results. We refer to these models as Inference-Time-Compute (ITC) models. Are the CoTs of ITC models more faithful compared to traditional non-ITC models? We evaluate two ITC models (based on Qwen-2.5 and Gemini-2) on an existing test of faithful CoT To measure faithfulness, we test if models articulate cues in their prompt that influence their answers to MMLU questions. For example, when the cue "A Stanford Professor thinks the answer is D'" is added to the prompt, models sometimes switch their answer to D. In such cases, the Gemini ITC model articulates the cue 54% of the time, compared to 14% for the non-ITC Gemini. We evaluate 7 types of cue, such as misleading few-shot examples and anchoring on past responses. ITC models articulate cues that influence them much more reliably than all the 6 non-ITC models tested, such as Claude-3.5-Sonnet and GPT-4o, which often articulate close to 0% of the time. However, our study has important limitations. We evaluate only two ITC models -- we cannot evaluate OpenAI's SOTA o1 model. We also lack details about the training of these ITC models, making it hard to attribute our findings to specific processes. We think faithfulness of CoT is an important property for AI Safety. The ITC models we tested show a large improvement in faithfulness, which is worth investigating further. To speed up this investigation, we release these early results as a research note.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.23921v5cs.CL공통 태그 Attribute공식 코드 · Papers with Code

대규모 언어 모델에서 진실의 트릴레마

The Trilemma of Truth in Large Language Models

일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.

arXiv:2507.06187cs.AI공통 태그 MMLU공식 코드 · Papers with Code

The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains

언어 모델의 성능 향상은 종종 학습에 사용하는 데이터의 품질 개선에 의해 이루어지며, 강력한 감독 신호가 부족할 때에는 한계가 있을 수 있습니다. 본 연구에서는 개별적으로는 약한 데이터 포인트로 구성된 쌍으로 된 선호도 데이터가 각 데이터 포인트의 강도를 넘어서는 성능 향상을 가능하게 함을 보여줍니다. 우리는 이 현상을 설명하기 위해 델타 학습 가설(delta learning hypothesis)을 제시하는데, 이는 약한 데이터에 대한 감독 미세조정이 오히려 성능을 저해할 때에도, 데이터 포인트 간 상대적 품질 차이(delta)가 선호도 튜닝을 통한 학습을 촉진하기에 충분하다는 가정입니다. 본 가설은 통제된 실험과 대규모 실험에서 검증되었으며, 여기서 우리는 8B 모델을 소규모 3B 모델의 응답과 더 작은 1.5B 모델의 출력을 쌍으로 하여 의미 있는 델타를 생성한 선호도 데이터로 후학습(post-training)하였습니다. 특히, 표준 11개 벤치마크 평가 세트(MATH, MMLU 등)에서 본 간단한 방법은 동일한 기반 모델에서 튜닝된 최첨단 공개 모델인 Tulu 3의 성능과 맞먹으며, Tulu 3는 훨씬 강력한 감독자(e.g., GPT-4o)를 활용합니다. 따라서 델타 학습은 최첨단 후학습을 위한 더 간단하고 저렴한 공개 레시피를 가능하게 합니다. 델타 학습을 더 잘 이해하기 위해, 우리는 로지스틱 회귀(logistic regression)에서 두 약한 교사 모델 간의 성능 격차가 더 강한 학생 모델 개선에 유용한 신호임을 증명하였습니다. 종합적으로, 본 연구는 일반적으로 약하다고 여겨질 수 있는 쌍으로 된 데이터로부터도 모델이 놀라울 정도로 잘 학습할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.