arXiv:2609.36617v2 cs.CL

AI 연구 논문 원고를 위한 수정 유도 질문 생성

Generating Edit-Inducing Questions for AI Research Manuscripts

Sebastian Joseph, Zichao Wang, Jennifer Healey, Alexa Siu, Junyi Jessy Li, Ani Nenkova

제출 2026-09-29

저자 비고

arXiv Comments

Accepted at the DocInsights Workshop @ EMNLP 2026

한국어 초록

본 연구에서는 논문 초안을 개선할 수 있는 답변을 이끌어내는 '수정 유도 질문(edit-inducing questions)'을 생성하는 대규모 언어 모델(LLM)의 능력을 연구합니다. ICLR 및 NeurIPS의 투고 논문과 최종 승인(camera-ready) 논문 쌍으로 구성된 데이터셋을 바탕으로, 전체 논문 문맥(context)의 제공 여부에 따른 GPT 모델의 질문 유용성을 인간 리뷰어의 질문과 비교합니다. GPT는 리뷰어의 질문에 비해 더 많은 수정 유도 질문을 생성하며, 해당 질문들은 더 광범위한 수정과 연관되어 있고 수정된 내용의 범위도 더 넓게 다룹니다. 그러나 GPT 질문 중 실제로 수정을 유도하는 질문의 비율은 훨씬 낮습니다. 본 분석은 자동화된 질문이 저자에게 유익할 수 있음을 확인하는 한편, 긴 문맥에 적절히 주의를 기울이는(attending) 과정이 유용한 출력을 생성하는 추론 모델의 능력을 저하시키는 작업 사례를 강조합니다.

원문 초록

We study the ability of LLMs to generate edit-inducing questions whose answer will improve a paper draft. On a dataset of paired submission and camera-ready papers from ICLR and NeurIPS, we compare the helpfulness of questions from GPT models with or without full paper context to that of human reviewers. GPT produces more edit-inducing questions and its questions are associated with more extensive edits and cover a broader range of edited content compared to questions from reviewers. However, a much smaller percentage of the GPT questions are edit-inducing. Our analyses confirm that automated questions can be beneficial to authors and highlight an example task where proper attending to long context deteriorates reasoning model ability to produce helpful output.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36617v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.14738v2cs.AI공통 태그 Text Generation, peer review

AppliedScientist: 반복적 AI 리뷰를 통한 자동 과학 논문 수정

AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing

자동 리뷰 시스템은 생성하는 리뷰의 품질을 기준으로 점점 더 평가받고 있다. 그러나 리뷰는 그에 따라 조치를 취했을 때 논문에서 측정 가능한 개선으로 이어질 때에만 유용하다. 본 논문은 자율 AI 과학자와 AI 리뷰어를 결합한 폐루프(closed-loop) 시스템인 AppliedScientist를 제안하고, 다양한 연구 하위 분야에서 거절된 논문을 반복적으로 수정하여 이를 평가한다. 인간 저자가 이전 초안을 바탕으로 작성하는 방식을 반영하기 위해, AI 과학자는 수정 과정에서 이전 버전에 접근할 수 있다. 그러나 이전 판단으로 인한 바이어스를 피하기 위해 각 리뷰는 독립적으로 생성되며, 리뷰어는 이전 피드백이나 점수에 대한 기억을 갖지 않는다. 세 가지 수정 설정을 비교한다: 원래 venue 리뷰로 초기화한 경우, AI 생성 리뷰로 초기화한 경우, 매 라운드 동일한 고정 프롬프트를 사용하는 자율적 자기 수정. 리뷰어가 수정을 안내하면서 동시에 평가하기 때문에, Stanford Reviewer를 독립 평가자로 사용하여 인간이 초기화한 수정본도 평가한다. 리뷰어가 안내한 수정은 고정 프롬프트 자기 수정보다 지속적으로 더 많이 개선되며, Stanford Reviewer 또한 후속 수정본에 더 높은 점수를 부여한다. AppliedScientist는 실행 관련 약점 150건 중 128건(85.3%)을 해소하지만, 아이디어 관련 약점 18건 중 2건(11.1%)만 해소하여, 반복적 수정은 실험과 구현 개선에는 효과적이지만 참신성이나 중요성에 대한 우려는 거의 바꾸지 못함을 시사한다.

arXiv:2607.22553v1cs.CL공통 태그 Text Generation, peer review

심사자 가이드라인 설계가 LLM 기반 자동 동료 심사에 미치는 영향 평가

Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review

과학 연구에서 동료 심사(peer review)는 필수적인 절차이지만, 증가하는 업무량으로 인해 자동화의 필요성이 점점 커지고 있다. 본 연구에서는 공식 학회 가이드라인과 LLM을 사용해 고품질 인간 심사로부터 생성한 심사자 모방형 가이드라인 등 서로 다른 유형의 심사자 가이드라인이 자동 동료 심사에 미치는 영향을 분석한다. 실험 결과, 공식 학회 가이드라인이 인간 판단과 가장 일치하는 심사 결과를 생성했으며, 이는 학회 실무를 통해 정제된 평가 기준이 자동 심사에도 효과적인 지침 역할을 한다는 것을 시사한다. 반면, 심사자 모방형 가이드라인은 일반적으로 공식 학회 가이드라인보다 덜 효과적이었다. 또한 엄격한 루브릭(rubric) 형식 채점을 강제하면 성능이 지속적으로 저하되었으며, 이는 주관적이고 전체적인(holistic) 채점을 허용하는 것의 중요성을 부각한다.

arXiv:2607.14770v1cs.LG공통 태그 Text Generation, Question Generation

ChronoQG: 시간적으로 표현력 있고 hop 제한형 시간 지식 그래프 질문 생성 벤치마크를 향하여

ChronoQG: Towards a Temporally Expressive and Hop-Bounded Benchmark for Temporal Knowledge Graph Question Generation

지식 그래프 질문 생성(KGQG)은 구조화된 그래프 증거로부터 자연어 질문을 생성하는 것을 목표로 한다. 그러나 기존 KGQG 벤치마크는 대부분 정적 지식 그래프 위에 구축되어 있으며 그래프 사실의 시간 범위를 인코딩하지 않는다. 결과적으로, 생성된 질문이 시간적 유효성, 사건 순서, 답을 결정하는 시간 제약을 충실히 보존하는지 평가할 수 없다. 본 논문에서는 생성된 질문이 지원 서브그래프와 목표 답을 식별하는 데 필요한 시간 제약 모두에 충실해야 하는 시간 지식 그래프 질문 생성(TKGQG)을 연구한다. 우리는 TKGQG를 위한 최초의 시간적으로 표현력 있고 hop 제한형 벤치마크 구축 프레임워크인 ChronoQG를 제안한다. ChronoQG는 포괄적인 시간 제약 분류체계, 토폴로지-시간 서브그래프 샘플링, 추적(trace) 기반 질문 생성을 통합하여 시간적으로 충실한 질문을 구축한다. 이 프레임워크는 이질적인 시간 지식 그래프로부터 총 16,011개의 검증된 질문을 포함하는 네 개의 벤치마크 데이터셋을 생성한다. 우리는 시간 제약 개수, 토폴로지 템플릿, 시간 제약 유형을 포함한 다양한 TKGQG 설정에서 대표적인 LLM 기반 KGQG 방법과 프롬프팅(prompting) 베이스라인을 평가한다. 결과는 기존 방법들이 특히 다중 제약 설정과 더 어려운 시간 제약 유형에서 시간 제약을 보존하는 데 어려움을 겪음을 보여준다. 이러한 발견은 정적 KGQG와 TKGQG 사이의 뚜렷한 격차를 드러내며, ChronoQG를 시간적으로 충실한 질문 생성을 위한 도전적인 테스트베드(testbed)로 확립한다.

arXiv:2607.13901v1cs.CL공통 태그 Text Generation, Question Generation

다국어 교육 맥락에서의 고차 질문 생성

High-Order Question Generation in a Multilingual Educational Context

비판적 사고는 학습자가 단순 암기를 넘어서도록 돕는 기본적인 역량이다. 이 역량을 기르는 한 방법은 고차 질문하기를 통하는 것이다. 그러나 이러한 질문을 만드는 일은 여전히 교육자들에게 어려운 과제이며, 교실 수업은 저차 질문에 의존하는 경향이 있다. 대규모 언어 모델(LLM)은 특히 Bloom의 분류체계(Bloom's Taxonomy)에 기반한 프롬프트로 유도될 때 고차 질문 생성에서 뛰어난 역량을 보여주었다. 그러나 기존 연구는 대체로 이 프레임워크에 집중해 왔으며 영어에만 국한되어 왔다. 본 연구는 Claim-Evidence-Reasoning과 Divergent Questioning이라는 두 가지 대안적 프레임워크에 기반한 프롬프트를 도입하고, 바스크어, 스페인어, 영어를 사용하는 다국어 맥락에서 이러한 공백을 해소한다. 결과에 따르면, 오픈소스 모델과 독점 모델 모두 세 언어에서 상당히 효과적으로 질문을 생성했지만, 답변 가능한 질문 중 약 절반만 교사들이 고차 질문으로 인식했다. 긍정적인 발견은 대안적 프레임워크가 구조적으로·개념적으로 다양한 질문을 생성한다는 점이며, 이는 두 프레임워크가 서로를 보완할 수 있고 Bloom의 분류체계에 대한 실행 가능한 대안을 제시할 수 있음을 시사한다.

arXiv:2607.24743v4cs.CV공통 태그 Text Generation

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.