PyTorchKR Papers

최신 논문

총 26편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11087v1cs.AI

모방을 넘어서: LLM 지원 피어 리뷰를 위한 프레임워크와 벤치마크

Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review

과학 출판물의 급속한 증가는 특히 머신러닝 분야에서 피어 리뷰(peer review)에 부담을 가중시켰으며, 이는 리뷰 품질 저하와 리뷰어 업무량 증가에 대한 우려를 낳고 있다. 대규모 언어 모델(LLM)이 자동화된 리뷰 보조 도구로 제안되어 왔지만, 그 평가는 피어 리뷰의 핵심 기능을 지원하는 것보다는 인간이 작성한 리뷰를 모방하는 데 주로 초점을 맞춰왔다. 본 연구에서는 오류 탐지를 중요하고 자원 집약적인 과제로 강조하며, LLM 지원 피어 리뷰에 대한 검증 중심의 관점을 제시한다. 우리는 학술대회 논문에 오류를 합성적으로 삽입하여 구축한, 리뷰 시스템의 논리적 모순 식별 능력을 평가하는 확장 가능한 벤치마크를 제시하며, 이는 명확한 평가 목표를 제공하고 체계적인 비교를 가능하게 한다. 또한 우리는 리뷰 생성에 앞서 원고에 대한 상세한 이해를 우선시하는 다층 리뷰(Multi-Layered Review, MLR) 프레임워크를 제안하며, 이는 인간의 리뷰 관행에 더 가깝게 부합하면서도 토큰 효율성을 향상시킨다. 전반적인 평가에서 우리의 접근법은 인간 리뷰 점수와의 높은 정합성을 보여주고, 높은 오류 탐지 성능을 달성하며, 리뷰어의 초점에 대한 상호 보완적인 관점을 제공한다. 이러한 개선은 기반 LLM의 선택과 시스템 설계 모두에 기인할 수 있다. 동시에, 우리는 적대적 조작(adversarial manipulation)에 대한 지속적인 취약성을 확인하였으며, 이는 자동화된 리뷰 시스템에서 강건성(robustness)이 필요함을 강조한다. 본 연구의 결과는 피어 리뷰 및 기타 중요한 과학적 워크플로우에서 LLM 기반 도구의 책임 있는 배포를 이끌기 위해 엄격하고 오류 중심적인 평가가 중요함을 보여준다.

arXiv:2610.06591v2cs.AI

심사 로또: 동료 평가 노이즈에 대한 관측 기반 추정기 벤치마킹 (ICLR 2017-2025)

The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)

동일한 논문을 다른 심사위원단이 평가한다면 학술대회 채택/탈락 결정은 얼마나 달라질까요? 두 번째 독립적인 프로그램 위원회를 운영하는 것이 이에 답하기 위한 최적의 표준(gold standard)이지만, 이는 비용이 과도하게 많이 들어 단 두 번(NeurIPS 2014 및 2021)만 진행되었습니다. 본 연구에서는 공개 심사 데이터만을 활용하여 이 수치에 대한 관측 기반 추정기를 구축하고, 두 차례 캘리브레이션을 거친 뒤 9년간의 ICLR(2017-2025; 논문 36,113편, 리뷰 134,912건) 데이터에 적용합니다. 이 추정기는 베이즈 순서화 프로빗 모델(Bayesian ordered-probit model)을 통해 점수를 논문 품질과 심사위원 노이즈로 분해하고, 로지스틱 모델로 점수를 최종 결정에 매핑하며, 두 개의 독립적인 위원회를 시뮬레이션합니다(사후 표본 추출 B=1,000; 위원회 크기 k=2,3,4). 추정된 불일치율은 k=2일 때 23-30%, k=4일 때 18-24%이며, 채택된 논문의 30-50%는 탈락될 수 있는 것으로 나타났습니다. 외부 캘리브레이션 결과, NeurIPS 2021 심사위원 수 기준(k=3)에서 시뮬레이션된 2021년 불일치율은 23.3% [21.7%, 25.0%]로 보고된 23.0%와 유사했습니다(바이어스 +0.3%p). 채택 정밀도와 위원회 간 상관관계 또한 각각 5%p 및 0.04 이내로 일치했습니다. 내부 캘리브레이션에서는 4개 이상의 리뷰가 있는 18,740편의 논문에 대해 모델을 배제한 무작위 2+2 심사위원 분할 결과가 2018년 및 2021-2025년의 k=2 시뮬레이션과 1%p 이내로 일치함을 확인했습니다. 시계열 분석상 2017-2025년 동안 심사위원 노이즈에서 뚜렷한 시간적 추세는 발견되지 않았습니다. 2020년과 2021년의 높은 채택 논문 번복률은 서로 다른 메커니즘을 가집니다. 2020년의 4점 척도는 점수를 압축시켰으며(논문의 23.7%가 논문 내 분산 0을 기록), 반사실적 분석에 따르면 척도를 단순화할 경우 불일치가 약 7%p 증가하는 것으로 나타났습니다. 반면 2021년은 표본 내 최저 신호 대 잡음비(SNR)와 임계값 부근에 가장 밀집된 채택 분포가 결합된 결과였습니다. 대규모 언어 모델(LLM) 시대와 관련하여, 논문 내 점수 분산에 대한 2023년 구조 변화 검정(breakpoint test)에서는 변화가 발견되지 않았으나, 해당 설계는 검정력이 거의 없으며 2022년 이후의 리뷰 텍스트나 확신도(confidence) 데이터가 존재하지 않아 LLM으로 인한 영향 귀인은 시도하지 않았습니다.

arXiv:2601.15172v2cs.CL

동료 평가는 정말 하락세인가? 학회 및 시기에 걸친 리뷰 품질 분석

Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time

동료 평가(peer review)는 현대 과학의 핵심입니다. 논문 제출 수가 증가하고 연구 커뮤니티가 성장함에 따라, 리뷰 품질의 저하는 널리 퍼진 통념이자 공통의 우려가 되었습니다. 하지만 이것이 사실일까요? 리뷰 품질은 측정하기 어려우며, 지속적으로 진화하는 심사 관행으로 인해 학회와 시기에 걸쳐 리뷰를 비교하기가 어렵습니다. 이를 해결하기 위해, 우리는 증거 기반의 리뷰 품질 비교 연구를 위한 새로운 프레임워크를 도입하고 이를 ICLR, NeurIPS, *ACL 등 주요 AI 및 머신러닝 학회에 적용합니다. 우리는 리뷰 형식의 다양성을 기록하고 리뷰 표준화를 위한 새로운 접근법을 소개합니다. 또한 에디터와 저자에 대한 유용성(utility) 관점에서 리뷰 품질을 정량화하는 다차원 스키마를 제안하고, 이를 대규모 언어 모델(LLM) 기반 측정 및 경량 측정 방식과 결합합니다. 우리는 리뷰 품질 측정 지표 간의 관계와 시간 경과에 따른 변화를 연구합니다. 널리 퍼진 통념과 달리, 시계열 교차 분석 결과 학회 및 연도 전반에 걸쳐 중앙값 기준의 리뷰 품질이 일관되게 하락하지는 않았음이 드러났습니다. 우리는 대안적 설명을 제시하고, 향후 리뷰 품질에 관한 실증적 연구를 촉진하기 위한 권장 사항을 요약합니다.

arXiv:2609.36617v2cs.CL

AI 연구 논문 원고를 위한 수정 유도 질문 생성

Generating Edit-Inducing Questions for AI Research Manuscripts

본 연구에서는 논문 초안을 개선할 수 있는 답변을 이끌어내는 '수정 유도 질문(edit-inducing questions)'을 생성하는 대규모 언어 모델(LLM)의 능력을 연구합니다. ICLR 및 NeurIPS의 투고 논문과 최종 승인(camera-ready) 논문 쌍으로 구성된 데이터셋을 바탕으로, 전체 논문 문맥(context)의 제공 여부에 따른 GPT 모델의 질문 유용성을 인간 리뷰어의 질문과 비교합니다. GPT는 리뷰어의 질문에 비해 더 많은 수정 유도 질문을 생성하며, 해당 질문들은 더 광범위한 수정과 연관되어 있고 수정된 내용의 범위도 더 넓게 다룹니다. 그러나 GPT 질문 중 실제로 수정을 유도하는 질문의 비율은 훨씬 낮습니다. 본 분석은 자동화된 질문이 저자에게 유익할 수 있음을 확인하는 한편, 긴 문맥에 적절히 주의를 기울이는(attending) 과정이 유용한 출력을 생성하는 추론 모델의 능력을 저하시키는 작업 사례를 강조합니다.

arXiv:2610.00531v1cs.AI

과학인가 조잡한 생성물인가?: AI 생성 논문 내 과학적 무성의함 벤치마킹 및 완화

Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

흔히 AI 슬롭(AI slop)이라 불리는 AI 생성 콘텐츠는 모든 분야에서, 특히 학계에서 점점 더 흔해지고 있습니다. 그러나 AI가 생성한 과학 논문 속 슬롭은 기존 토큰(token) 기반 AI 탐지기로는 쉽게 감지할 수 없는 보다 복잡한 패턴을 지닙니다. 이러한 논문은 각 부분이 그럴듯해 보이지만 부분들을 연결하는 과학적 추론이 무너지며, 이는 독자가 연구를 평가하는 방식을 오도할 수 있습니다. 본 연구에서는 구조(Structure), 논증(Argument), 인공물(Artifacts)에 걸친 6가지 척도를 통해 이러한 결함을 과학적 슬롭으로 벤치마킹합니다. 주로 컴퓨터 과학 분야를 다루되 생명, 사회, 자연과학을 아우르는 390편의 AI 생성 논문으로 SciSlopBench를 구축하였으며, 각 논문은 연구 문제와 기여 유형이 일치하는 인간이 작성한 논문과 쌍을 이루도록 했습니다. 제안하는 척도는 68.7%의 정확도를 보인 Binoculars에 비해 각 쌍에서 85.9%의 정확도로 AI 논문을 식별합니다. 더 높은 과학적 슬롭은 더 낮은 ICLR 점수와 연관되며, 2017년부터 2025년까지 매년 우연 수준 이상으로 탈락 논문과 채택 논문을 구분합니다. 그러나 이러한 패턴을 줄이는 것은 척도를 직접 최적화하는 것만큼 단순하지 않습니다. 이에 따라 실험 기록이 수정을 뒷받침하는 경우에만 고정된 대규모 언어 모델(LLM)이 슬롭을 수정하도록 안내하는 하네스 수준의 프레임워크인 SciSlopHarness를 제안합니다. 표준적인 수정은 잔여 슬롭을 남기고 직접적인 슬롭 인지 프롬프트는 보상(reward) 해킹을 유발하는 반면, SciSlopHarness는 인간 참조 목표 없이도 가장 강력한 수정 기준선(baseline) 대비 남은 AI-인간 격차를 63% 줄입니다. 전반적으로 AI가 생성한 과학 논문은 전역적 추론에 근본적인 흔적을 남기며, 책임감 있는 완화를 위해서는 단순한 문장 다듬기가 아닌 엄격한 증거 기반 그라운딩(grounding)이 필요함을 입증합니다.

arXiv:2609.28041v1cs.CL

얼마나 알려받았는가? 피어 리뷰에 담긴 외부 정보 측정

How Much Were You Told? Measuring External Information in Peer Reviews

학회 정책은 자신의 리뷰를 대규모 언어 모델(LLM)로 다듬는 것과 비평을 위임하는 것을 구분하지만, 현재 인공 텍스트 탐지(ATD) 방법은 대체로 표면 형식을 측정할 뿐 그 내용의 출처는 거의 반영하지 않는다. 우리는 대신 리뷰가 담고 있는 외부 정보, 즉 리뷰 대상 논문과 일반적인 리뷰 지침만으로는 설명되지 않는 정보를 측정한다. Self-Conditioning을 제안한다. 이는 비지도 정보 이론적 추정기로, 생성 맥락 하에서의 리뷰 가능도와, 그 맥락에 리뷰 자체에서 추출한 힌트를 보강했을 때의 가능도를 비교한다. IntelLabs 피어 리뷰 벤치마크에서 Self-Conditioning은 표면적 재작성에는 대체로 둔감하면서도 완전 위임 리뷰와 기계로 다듬은 리뷰를 AUC 최대 $1.0$까지 구분한다. 또한 생성기가 외부에서 제공된 정보를 점점 더 많이 받을수록, 표준 ATD 기준선과 달리 그들의 점수는 단조적으로 인간 영역 쪽으로 이동한다. 고온(high-temperature) 샘플링은 추정기를 회피할 수 있지만, 출력 품질을 희생하는 대가를 치른다.

arXiv:2609.25046v1cs.CL

Peerify: 동료 심사 주장 검증 벤치마킹

Peerify: Benchmarking Peer-Review Claim Verification

동료 심사는 학술 출판에서 핵심적인 역할을 하지만, 리뷰어 주장이 원고 증거에 의해 뒷받침되는지 검증하는 일은 여전히 대부분 수동적이고 시간이 많이 드는 과정으로 남아 있다. 본 논문은 동료 심사 주장의 원고 기반(grounded) 검증을 위한 파이프라인인 Peerify를 제시한다. 원고와 리뷰 코멘트가 주어지면 Peerify 파이프라인은 리뷰를 원자적 주장으로 분해하고, 관련 원고 증거를 검색(retrieve)하며, 각 주장이 논문에 의해 뒷받침되는지 판별한다. 파이프라인의 개발과 평가(evaluation)를 지원하기 위해, NeurIPS 2024와 ICLR 2024에서 수집한 실제 동료 심사 상호작용에서 파생된 800개 주장으로 구성된 벤치마크를 구축하였으며, 자동 supervision을 감사(audit)하는 데 사용되는 300개 주장의 수동 라벨링 부분집합을 포함한다. Peerify 파이프라인 내에서 최신(state-of-the-art) 언어 모델과 검색(retrieval) 전략을 함께 함의(entailment) 기준선과 함께 평가한다. 결과는 검색 중심 검증과 주장 분해의 중요성을 보여 주며, 모호하고 해석적인 리뷰어 주장이 제기하는 난제를 부각한다. 감사된 주장의 90.3%에서 자동 라벨이 인간 합의와 일치하며 ($\kappa = 0.87$), 기성 함의(entailment) 모델은 macro-F1 0.24 미만에 머문다.

arXiv:2609.14738v2cs.AI

AppliedScientist: 반복적 AI 리뷰를 통한 자동 과학 논문 수정

AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing

자동 리뷰 시스템은 생성하는 리뷰의 품질을 기준으로 점점 더 평가받고 있다. 그러나 리뷰는 그에 따라 조치를 취했을 때 논문에서 측정 가능한 개선으로 이어질 때에만 유용하다. 본 논문은 자율 AI 과학자와 AI 리뷰어를 결합한 폐루프(closed-loop) 시스템인 AppliedScientist를 제안하고, 다양한 연구 하위 분야에서 거절된 논문을 반복적으로 수정하여 이를 평가한다. 인간 저자가 이전 초안을 바탕으로 작성하는 방식을 반영하기 위해, AI 과학자는 수정 과정에서 이전 버전에 접근할 수 있다. 그러나 이전 판단으로 인한 바이어스를 피하기 위해 각 리뷰는 독립적으로 생성되며, 리뷰어는 이전 피드백이나 점수에 대한 기억을 갖지 않는다. 세 가지 수정 설정을 비교한다: 원래 venue 리뷰로 초기화한 경우, AI 생성 리뷰로 초기화한 경우, 매 라운드 동일한 고정 프롬프트를 사용하는 자율적 자기 수정. 리뷰어가 수정을 안내하면서 동시에 평가하기 때문에, Stanford Reviewer를 독립 평가자로 사용하여 인간이 초기화한 수정본도 평가한다. 리뷰어가 안내한 수정은 고정 프롬프트 자기 수정보다 지속적으로 더 많이 개선되며, Stanford Reviewer 또한 후속 수정본에 더 높은 점수를 부여한다. AppliedScientist는 실행 관련 약점 150건 중 128건(85.3%)을 해소하지만, 아이디어 관련 약점 18건 중 2건(11.1%)만 해소하여, 반복적 수정은 실험과 구현 개선에는 효과적이지만 참신성이나 중요성에 대한 우려는 거의 바꾸지 못함을 시사한다.

arXiv:2607.22681v1cs.DL

동료 심사 데이터의 세부 차이에서 모범 사례로

From peer review nuances to best practices

본 보고서는 동료 심사(peer review) 데이터에서 세 가지 세부 차이를 연구한다: 논문 버전, 점수 버전, 입력 형식. 우리는 이러한 변형들이 어떻게 다른지 특성화하고, 하위 작업(downstream tasks)에 미치는 영향을 측정한다. 연구 결과를 바탕으로 데이터 제공자와 데이터 사용자 모두를 위한 모범 사례를 제안한다.

arXiv:2607.22553v1cs.CL

심사자 가이드라인 설계가 LLM 기반 자동 동료 심사에 미치는 영향 평가

Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review

과학 연구에서 동료 심사(peer review)는 필수적인 절차이지만, 증가하는 업무량으로 인해 자동화의 필요성이 점점 커지고 있다. 본 연구에서는 공식 학회 가이드라인과 LLM을 사용해 고품질 인간 심사로부터 생성한 심사자 모방형 가이드라인 등 서로 다른 유형의 심사자 가이드라인이 자동 동료 심사에 미치는 영향을 분석한다. 실험 결과, 공식 학회 가이드라인이 인간 판단과 가장 일치하는 심사 결과를 생성했으며, 이는 학회 실무를 통해 정제된 평가 기준이 자동 심사에도 효과적인 지침 역할을 한다는 것을 시사한다. 반면, 심사자 모방형 가이드라인은 일반적으로 공식 학회 가이드라인보다 덜 효과적이었다. 또한 엄격한 루브릭(rubric) 형식 채점을 강제하면 성능이 지속적으로 저하되었으며, 이는 주관적이고 전체적인(holistic) 채점을 허용하는 것의 중요성을 부각한다.

arXiv:2607.14713v1econ.GN

다중 에이전트 토론이 연구 논문에 대한 AI 피드백을 개선하는가?

Does Multi-Agent Debate Improve AI Feedback on Research Papers?

아마 그렇지 않을 것이다. 적어도 경제학 분야의 메타분석에서는 그렇다. 사전 등록되고 신원이 가려진 논문 내 실험에서, 44개 메타분석의 저자들은 자신의 논문을 개선하는 데 있어 유용성 기준으로 세 가지 AI 보고서의 순위를 매겼다: 프론티어 모델의 단일 패스, 그리고 우리가 구축하고 승리할 것으로 기대했던 두 가지 다중 에이전트 토론 도구. 모든 보고서는 동일한 길이와 템플릿을 따랐다. 저자들은 단일 패스를 선호했으며, mad-research보다 0.66 순위 점수(95% CI 0.32~1.00), paper-workshop보다 0.57(95% CI 0.16~0.95) 높게 평가했다. 다만 paper-workshop은 토큰을 대략 30배 더 사용했다. 저널 심사 보고서를 기억한 저자들은 대체로 이를 1위로 두었고 마지막으로 두지 않았다. 별도의 실험에서 세 AI 심사자는 거의 항상 실제 저널 심사 보고서를 마지막에 배치했다. 세 AI 보고서 중 Gemini(어떤 보고서도 작성하지 않은 모델 계열의 심사자)는 저자 대신 paper-workshop을 1위로 순위를 매겼을 것이며, 이는 단일 패스 선호를 뒤집는 결과다. 이러한 뒤집힘은 저자를 AI 심사자로 대체하는 것을 경계해야 함을 시사한다. 우리는 완성된 논문에 대한 지각된 유용성을 측정한다. AI가 논문을 심사해야 하는지는 별개의 질문이다.

arXiv:2607.11918v1cs.DL

AAAI-26 이중 제출: 새로운 도전 과제

AAAI-26 Dual Submissions: Novel Challenges

이중 제출(dual submission)이란 동일하거나 실질적으로 유사한 논문이 상호 인용이나 공개 없이 하나 이상의 아카이브 출판 장소(archival venue)에 동시에 제출되는 것으로, AAAI Conference 및 기타 과학 출판 장소에서 점점 커지는 문제이다. 이러한 제출은 동료 심사(peer-review) 시스템에 부담을 늘리고 과학 기록을 오염시킨다. AAAI-26 심사 과정의 일환으로, 우리(회의 조직자)는 AAAI 메인 트랙(main track) 제출 논문을 심사 기간이 겹치는 다른 9개 아카이브 출판 장소의 논문과 비교했다. 또한 AAAI-26 메인 트랙 내에서 이중 제출을 탐색했다. 우리는 제목+초록 유사도 평가를 사용해 매우 유사한 논문 쌍을 우선순위화하고, 이후 대규모 언어 모델(LLM) 기반 중복 평가 도구로 1차 선별(triage)한 뒤, 심각도가 가장 높은 쌍에 대해 수동 검토를 진행했다. 이러한 쌍에 대한 수동 검토 결과 AAAI-26 메인 트랙 제출 141편이 데스크 리젝션(desk-rejection)되었다. 우리는 향후 조직자와 더 넓은 인공지능 연구 커뮤니티에 이중 제출의 급격한 증가를 알리고자 한다. 탐지가 쉬운 정확한 중복 제출의 발생 빈도는, 동일한 기여를 다른 표현으로 서술한 논문의 수에 뒤처졌으며, 후자는 탐지에 매우 많은 시간이 소요된다. 이 현상의 증가는 생성형 AI(generative AI) 도구에 대한 접근성 증가에 의해 촉진된 것으로 보인다. 우리는 이 문제에 대응하기 위한 여러 권고사항을 제시한다. 여기에는 (1) AAAI 다중 제출 정책(Multiple Submission Policy)을 개정하고 허용 가능한 관행에 대해 커뮤니티를 교육할 것, (2) 제출 마감 전에 이중 제출 검사 도구를 갖춰 둘 것, (3) 여러 출판 장소가 협력하여 일관된 정책과 제재를 수렴함으로써 이중 제출 발생을 줄일 것, (4) 견고한 탐지 도구 개발을 가속하기 위해 커뮤니티 주도의 적대적(adversarial) 챌린지를 만드는 것이 포함된다.

arXiv:2607.10511v1cs.CL

명료한 직관인가, 진정한 분석인가? LLM-as-a-Judge 동료 심사에서의 인식론적 신뢰성 벤치마킹

Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews

LLM 심사자가 동료 심사를 분석적이라고 평가하고 인간 위원회가 다른 심사를 고품질이라고 평가할 때, 이들은 동일한 것을 측정하고 있는가? 우리는 그렇지 않다고 주장하며, 그 차이가 철학적으로 중요하다고 본다. 우리는 카네만(Kahneman)의 이중 처리 이론(dual-process theory)을 동료 심사를 위한 구조화된 루브릭으로 구체화하고, 9개의 이론적으로 동기화된 텍스트 차원, 8개의 바이어스 진단, 그리고 연속적인 추론 품질 점수에 따라 평가된 3,563개의 심사 리뷰로 구성된 벤치마크 Kahneman4Review를 공개한다. 신뢰성과 관련하여 세 가지 발견이 있다: 결정 등급(decision tier)은 루브릭의 텍스트 기반 인식론적 품질 프록시와 감지 가능한 수준으로 정렬되어 있지 않으며; 공개 전시용 에이전트(agentic) 심사는 취합된 인간 심사보다 높은 원점수를 받지만, 길이와 게재지가 격차의 대부분을 설명하고 샘플은 논문 단위로 쌍을 이루지 않는다; 그리고 ICLR 심사 텍스트 진단은 2022-2023년 전환 시점에서 변화하는데, 이는 대규모 언어 모델(LLM)의 광범위한 보급과 시간적으로 일치하지만 그 원인을 특정하지는 않는다. 매칭된 기능 프로브(function-probe) 파일럿 실험은 또한 루브릭이 진정한 결함 발견과 표면적 유창성을 대비하도록 설계된 텍스트 프로브를 구별함을 보여준다. 우리는 LLM 심사자를 위한 신뢰할 수 있는 신뢰성 벤치마크가 분석적 형식을 인식론적 기능으로부터 분리해야 한다고 주장하며, 그 목표를 향한 구체적인 설계 방향을 제안한다. 인터랙티브 데모는 https://huggingface.co/spaces/nuojohnchen/Kahneman4Review 에서 이용 가능하다.

arXiv:2607.05401v1cs.DL

인공지능 연구의 촉매 논문: ICLR 2017-2025 지형 분석

Catalyst Papers in Artificial Intelligence Research: A Landscape on ICLR from 2017 to 2025

ICLR 2017-2025의 36,113편 논문을 대상으로 후속 연구 방향을 측정 가능하게 전환시키는 '촉매 논문'을 식별하기 위해 네 가지 파괴적 혁신성 측도(CD 지수, node2vec, EDM, LLM 평가기)를 비교한 결과, 방향 인식 임베딩 방식인 EDM이 AUC 0.83으로 가장 우수한 성능을 보였다. 동료 리뷰 점수는 미래 파괴적 혁신성과 사실상 무관한 것으로 나타났으며(|ρ| ≤ 0.005), 채택·거절 논문 간 평균 EDM이 통계적으로 구별되지 않아 제출 시점의 심사 신호가 연구 방향 전환을 예측하지 못함을 corpus 규모에서 실증하였다.

arXiv:2606.30578v1cs.CL

불확실성 인식 생성 및 모호성 하에서의 의사결정

Uncertainty-Aware Generation and Decision-Making Under Ambiguity

빠르게 향상되는 역량을 바탕으로, 대규모 언어 모델(LLM)은 점점 더 많은 복잡한 실세계 과제에 활용되고 있다. 이러한 과제들은 심층적인 지식과 추론 능력을 요구할 뿐 아니라, 높은 수준의 주관성을 띠며 모델 출력에 대한 신뢰성이 요구된다. 더 나은 모델을 학습시키기 위한 많은 진전이 이루어진 반면, 의사결정 알고리즘에 대한 관심은 상대적으로 부족했다. 본 연구에서는 튜터링 및 자동 동료 심사 과제를 대상으로, 베이즈 결정 이론과 위험 회피적 의사결정에 기반한 다양한 불확실성 인식 의사결정 알고리즘을 제시하고 평가한다. 구체적으로, 튜터 응답 또는 심사 의견 생성 시 튜터링 전략 및 심사 점수에 대한 불확실성을 반영하며, 컨포멀 예측(conformal prediction)을 활용하여 전략과 점수에 대한 보장을 제공한다. 실험적으로, 이러한 알고리즘들이 생성 결과의 유용성을 향상시킬 수 있음을 확인하였으나, 모호성이 높은 경우 신중하게 구현되어야 함을 발견하였다. 예를 들어, 위험 회피 규칙은 일반적인 출력을 최적화하는 방향으로 작동하여 성능을 저하시킬 수 있는 반면, 베이즈 방법은 더 나은 성능을 보이는 경향이 있다. 본 연구는 결정 이론의 기법을 활용하여 LLM 기반 의사결정을 개선하고, 연구 커뮤니티를 위한 미해결 과제들을 제시한다.

arXiv:2606.28277v1cs.LG

Google의 Paper Assistant Tool을 이용한 과학 논문 심사 자동화를 향하여

Towards Automating Scientific Review with Google's Paper Assistant Tool

인공지능은 과학적 발견의 혁명을 이끌고 있으며, 가설 생성부터 수학 정리 증명까지 모든 영역을 가속하고 있다. 그러나 이러한 급격한 가속은 체계적 과제를 야기한다: 전통적인 인간 동료 심사(peer review)는 AI가 보조하는 과학의 급증 속도에 맞춰 확장될 수 없다. 궁극적으로 이 긴장을 해소하기 위해서는 검증과 검토 과정 자체를 가속하기 위해 AI도 배치해야 한다. 이 전환을 둘러싼 논의의 틀을 마련하기 위해, 우리는 과학적 평가에서 AI와 인간의 협업에 대한 네 단계의 점진적 수준으로 구성된 분류 체계를 제안하고, 각 수준과 관련된 다양한 트레이드오프를 논의한다. 이러한 미래를 향한 한 걸음으로, 우리는 심층적인 과학 논문 검토와 검증을 위해 구축된 에이전트형 AI 프레임워크인 Paper Assistant Tool(PAT)을 소개한다. PAT는 과학 논문 원고 전체를 입력받아 이론적 결과를 검토하고, 실험을 검증하며, 개선점을 제안하고, 잠재적 결함을 식별하는 포괄적 평가를 수행한다. 추론 스케일링(scaling) 기법을 활용함으로써 PAT는 단일 모델 호출만으로는 식별할 수 없는 더 깊은 문제들을 찾아낼 수 있으며, SPOT 벤치마크에서 수학 오류에 대한 제로샷(zero-shot) 재현율 대비 34% 개선을 달성한다. STOC와 ICML이라는 두 개의 주요 컴퓨터 과학 학회에서 저자를 위한 사전 제출 도구로서 PAT의 파일럿 배포는 연구 논문의 중대한 오류를 식별하고 실질적인 개선점을 제안하는 능력을 보여준다. 오류를 조기에 발견함으로써 PAT는 심사위원에게 가해지는 인지적 부담을 완화하면서, 동시에 심사 결과에 대한 통제권은 그들에게 유지한다.

arXiv:2606.12716v2cs.CL

AI 리뷰어는 전체 그림을 보는가? 멀티모달 동료평가 공격 및 방어

Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review

멀티모달 동료평가(peer review)에서 텍스트와 그림을 조작한 공격에 취약한 AI 리뷰어의 문제를 해결하기 위해 PaperGuard 벤치마크를 제안한다. 이 프레임워크는 새로운 데이터셋과 통합된 공격 제품군, 그리고 청크 기반 임베딩 검색을 활용한 방어 기법을 통해 AI 리뷰어의 보안 취약성을 평가하고 완화한다.

arXiv:2606.24892v1cs.DL

ReviewGuard: Aligning LLM-Assisted Peer Review with Long-Term Scientific Impact

Peer review is central to scientific quality control, yet it can undervalue papers that later achieve substantial citation impact. While frontier large language models have shown promise in automating aspects of peer review, they primarily mimic human reviewer preferences rather than predict long-term scientific value. We introduce ReviewGuard, a two-stage framework that aligns LLM-generated reviews with citation-based estimates of long-term scientific impact rather than contemporaneous reviewer judgments. On 20,861 AI/ML papers from OpenReview augmented with Semantic Scholar citation data, ReviewGuard achieves a Spearman correlation of \r{ho} = 0.776 with future citations on rejected-then-published papers, outperforming human reviewers (\r{ho} = 0.492) and a supervised Expert model (\r{ho} = 0.681). Under the same decision threshold, ReviewGuard flags 10.2% of high-impact rejected papers, compared with 1.8% for human reviewers, corresponding to a 5.6x improvement. Our results demonstrate that impact-aligned reinforcement learning can provide editors with a complementary signal for identifying high-potential work, without replacing human judgment.

arXiv:2606.24188v1cs.CL

Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach

Mining sentiment information from the textual content of peer review comments offers valuable insights into the scientific evaluation process. However, previous studies are often constrained by coarse-grained analysis and the lack of differentiation across review rounds. Notably, the dynamic shifts in reviewers' focus and sentiment tendencies throughout multiple review stages remain underexplored. To address this gap, the present study investigates the distribution and evolution of aspect-level sentiments and examines their correlation with the number of review rounds. We begin by segmenting the multi-round review comments of 11,063 accepted papers from Nature Communications and identifying fine-grained review aspect clusters. A manually annotated corpus of approximately 5,000 review sentences is then constructed. Using this dataset, we train a series of deep learning-based aspect sentiment classification models. Among them, the LCF-BERT-CDM model achieves the best performance, with a Macro-F1 score of 82.65%. Subsequent statistical analysis reveals a consistent trend: as the number of review rounds increases, the proportion of positive sentiments rises, while negative sentiments decline. Correlation analysis further indicates that aspect sentiment scores are negatively associated with the total number of review rounds. Key aspects exhibiting stronger correlations include "experiments", "research significance" and "result analysis".

arXiv:2603.20450v2cs.CL

Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable

동료 심사에서 문법·표현 다듬기만 허용하는 LLM 정책의 집행 가능성을 검증하기 위해, 인간-AI 협업 수준별 동료 심사 데이터셋을 구축해 5개 최신 AI 텍스트 탐지기를 평가했다. 모든 탐지기가 LLM으로 다듬은(H-AI) 심사를 상당 비율 오탐해 학술 부정행위 오인 위험이 있으며, 논문 원고 등 심사 맥락을 활용해도 정책 집행에 필요한 정확도에 미치지 못해 선택적 LLM 사용 허용 정책은 현재 집행하기 어렵다.