한국어 초록
연구자들은 연구 질문을 검증하기 위해 대규모 언어 모델(LLM)을 점점 더 많이 사용하고 있다. 우리는 LLM이 아직 열려 있는 연구 질문을 일부 연구된 것처럼 들리게 하고, 관련 논문들이 입증하는 바를 과장한다는 것을 발견했다. 모델은 논문의 전문을 별도로 확인하도록 요청받으면 이러한 과장의 대부분을 인식한다. 새로 채택된 논문에서 추출한 40개 질문에 대해 GPT-6-Astra는 98%를 연구되지 않은 것으로 올바르게 판단하지만, 일반적인 답변에서 그 상태를 분명하게 밝히는 경우는 8%에 불과하다. 여섯 개의 최첨단 시스템 모두 30-90%포인트의 보고 격차를 보인다. 동일한 논문을 제공한 22개 모델 전반에서, 더 높은 성능은 더 정확한 판단과 더 큰 보고 격차와 연관된다. 이러한 보고 실패는 비대칭적이다. 즉, 답을 담은 논문을 제공하면 모델은 일반적인 답변의 88-100%에서 이미 연구된 질문을 올바르게 식별한다. 이를 바로잡기 위해 각 모델의 판단과 인용된 논문에 대한 별도의 확인으로부터 고정된 답변을 구성한다. 이로써 Astra가 미해결 상태를 분명하게 보고하는 비율이 8%에서 95%로 상승하며, 여섯 개 시스템 모두에서 개선이 나타난다. 마지막으로, 여러 모델이 작성한 평가를 채점된 예시로부터 학습한 규칙과 결합하여 심사자의 참신성 등급을 예측하며, Think-Probe-Respond가 보고한 성능 범위에 도달한다. TPR과 달리 우리의 접근법은 모델 가중치나 내부 활성화에 대한 접근이 필요 없으므로 폐쇄 가중치 최첨단 모델에도 적용할 수 있다.
원문 초록
Researchers are increasingly using large language models (LLMs) to validate research questions. We find that LLMs make open research questions sound partly studied and overstate what related papers establish. Models recognize most of these overstatements when asked to check the papers' full texts separately. On 40 questions drawn from newly accepted papers, GPT-6-Astra correctly judges 98% to be unstudied, but states that status plainly in only 8% of ordinary answers. All six frontier systems show reporting gaps of 30-90 percentage points. Across 22 models given identical papers, higher capability is associated with more accurate judgments and larger reporting gaps. This reporting failure is asymmetric: models correctly identify studied questions in 88-100% of ordinary answers when we supply the answering papers. To correct this, we build a fixed answer from each model's judgment and separate checks of cited papers. This raises Astra's clear reporting of open status from 8% to 95%, with improvements in all six systems. Finally, we predict reviewers' novelty grades by combining several models' written ratings with a rule learned from graded examples, reaching the performance range reported by Think-Probe-Respond. Unlike TPR, our approach needs no access to model weights or internal activations, so it also works with closed-weight frontier models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23546v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.