다중 라운드 공개 동료 심사에서 어떤 리뷰 측면이 심사 기간에 더 큰 영향을 미치는가? -- Nature Communications의 근거
Which Review Aspect Has a Greater Impact on the Duration of Open Peer Review in Multiple Rounds? -- Evidence from Nature Communications
한국어 초록
목적: 동료 심사는 과학 출판에 필수적이지만, 제출량 증가로 심사자와 편집자에게 점점 더 큰 부담이 가해지고 있다. 본 연구는 특정 리뷰 측면에 대한 감성과 동료 심사 기간 간의 관계를 분석한다. 또한 이러한 관계가 학문 분야와 심사 라운드에 따라 어떻게 달라지는지 조사하여, 타깃화된 원고 수정을 지원하고 심사 효율성을 개선하는 것을 목표로 한다. 연구 설계/방법론/접근: 우리는 2단계 접근법을 채택한다. 먼저, 동료 심사 보고서에서 세분화된 측면을 추출하고, 감성 분류 모델을 사용하여 각 측면과 연관된 감성을 판별한다. 둘째, 측면 수준 감성과 동료 심사 기간 간의 상관관계를 분석한다. 또한 연속된 라운드에 걸쳐 이러한 관계가 변하는지 판단하기 위해 서로 다른 심사 라운드에 대한 감성 점수를 계산한다. 결과: 리뷰 감성은 동료 심사 기간과 약하지만 통계적으로 유의한 음의 상관관계를 보이며, 이는 더 긍정적인 리뷰가 더 짧은 심사 기간과 연관되는 경향이 있음을 나타낸다. Evaluation and Results 및 Impact and Research Value와 관련된 측면은 심사 기간과 상대적으로 더 강한 상관관계를 보인다. 측면 수준 감성과 심사 기간 간의 관계 또한 심사 라운드에 따라 유의미하게 다르다. 독창성/가치: 본 연구는 동료 심사 보고서의 텍스트 내용과 심사 과정의 시간적 특성을 연결한다. 심사 기간과 더 밀접하게 연관된 리뷰 측면을 식별함으로써, 저자가 수정 우선순위를 정하는 데 도움이 될 수 있고 심사자와 편집자가 심사 효율성을 개선하는 데 도움이 될 수 있는 근거를 제공한다. 이러한 발견은 동료 심사 부담을 줄이고 학술 커뮤니케이션 및 지식 전파를 가속하는 데 기여한다.
원문 초록
Purpose: Peer review is essential to scientific publishing, but increasing submission volumes have placed growing pressure on reviewers and editors. This study examines the relationship between sentiment toward specific review aspects and peer review duration. It also investigates how this relationship varies across disciplines and review rounds, with the aim of supporting targeted manuscript revision and improving review efficiency. Design/methodology/approach: We adopt a two-stage approach. First, fine-grained aspects are extracted from peer review reports, and a sentiment classification model is used to determine the sentiment associated with each aspect. Second, correlations between aspect-level sentiment and peer review duration are analyzed. Sentiment scores are also calculated for different review rounds to determine whether these relationships change over successive rounds. Findings: Review sentiment has a weak but statistically significant negative correlation with peer review duration, indicating that more positive reviews tend to be associated with shorter review periods. Aspects concerning Evaluation and Results and Impact and Research Value show relatively stronger correlations with review duration. The relationships between aspect-level sentiment and review duration also differ significantly across review rounds. Originality/value: This study connects the textual content of peer review reports with the temporal characteristics of the review process. By identifying review aspects that are more closely associated with review duration, it provides evidence that may help authors prioritize revisions and assist reviewers and editors in improving review efficiency. The findings contribute to reducing the burden of peer review and accelerating scholarly communication and knowledge dissemination.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21904v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.
너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.
You Frame It: 개념적 표현이 반유대주의에 대한 LLM 탐지 및 추론을 어떻게 형성하는가
You Frame It: How Conceptual Representations Shape LLM Detection and Reasoning about Antisemitism
대규모 언어 모델(LLM)은 추론 시점에 외부 개념 자원의 통합을 가능하게 하여, 반유대주의와 같이 이념적·역사적으로 복잡한 현상을 탐지하는 새로운 기회를 창출한다. 본 연구는 서로 다른 형태의 개념적 그라운딩이 4개의 최신 LLM에 걸쳐 반유대주의 탐지 및 설명 동작에 어떤 영향을 미치는지 조사한다. 전문가 주석 데이터셋 두 개를 활용하여 반유대주의에 대한 정의적 표현, 세분화된 분류체계적 표현, 예시 보강 표현, 대규모 맥락 표현을 비교한다. 세분화된 분류체계적 표현은 재현율을 크게 향상시키는 동시에 정밀도를 낮춘다는 사실을 발견하였다. 놀랍게도 훨씬 더 큰 개념 자원을 제공하더라도 추가적인 정량적 이점은 나타나지 않는다. 홀로코스트 이후 반유대주의는 모든 모델과 구성에 걸쳐 가장 지속적인 도전 과제로 남는다. 설명에 대한 분석은 개념적 참조의 과잉 생성, 어휘적 단서에 대한 의존, 과신, 그리고 미묘하거나 정당화 형태의 반유대주의에 대한 처리 어려움 등 체계적인 한계를 추가로 드러낸다. 본 연구의 결과는 반유대주의 탐지 및 추론을 위한 개념적으로 그라운딩된 LLM의 잠재력과 남아 있는 한계를 모두 부각시킨다.
Bluesky에서 신뢰할 수 있는 정신 건강 벤치마크 구축: 검증 인식 약한 감독(weak-supervision) 프레임워크
Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework
분산형 소셜 미디어 플랫폼에서는 데이터 접근, 중재, 라벨링, 배포 책임이 여러 기술 및 거버넌스 계층에 분산되므로, 계산 정신 건강(computational mental health) 연구에 새로운 기회와 과제가 생긴다. 본 논문은 AT Protocol 기반 분산형 소셜 미디어 플랫폼인 Bluesky에서 자살 사고(suicidal ideation, SI) 및 더 넓은 범위의 정신 건강(mental health, MH) 공개(disclosure) 벤치마크를 구성·평가하기 위한 검증 인식 약한 감독(weak-supervision) 시스템을 제시한다. 이 시스템은 공개 firehose 수집, 과제별 어휘집(lexicon) 필터링, Llama-3-8B 보조 이진 주석(annotation), 인간 판정(human-adjudicated) 검증 서브셋, 트랜스포머 기반 모델 벤치마킹을 통합한다. 이 파이프라인으로 SI 라벨 게시물 8,346개와 MH 라벨 게시물 9,988개를 담은 과제별 코퍼스 두 개를 구성한다. 평가 결과, 모델 성능은 과제 정의와 검증 프로토콜 모두에 크게 좌우된다. BERT+LSTM은 SI 계층화 교차검증(stratified cross-validation) F1-score에서 최고이며, RoBERTa는 SI 홀드아웃(holdout) F1-score에서 가장 높고, DistilRoBERTa는 MH 교차검증 F1-score에서 최고이다. 인간 검증은 과제별로 약한 라벨(weak-label) 실패 양상이 다름을 보여 주며, SI 라벨은 거짓 음성(false negative)이, MH 라벨은 거짓 양성(false positive)이 우세하다. 이는 분산형 소셜 미디어가 재현 가능한 정신 건강 벤치마킹을 뒷받침할 수 있으나, 시스템 설계·라벨 출처(provenance)·검증 전략·배포 제약을 함께 평가할 때에만 가능함을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.