Aspect-Based Sentiment Evolution and its Correlation with Review Rounds in Multi-Round Peer Reviews: A Deep Learning Approach
원문 초록
Mining sentiment information from the textual content of peer review comments offers valuable insights into the scientific evaluation process. However, previous studies are often constrained by coarse-grained analysis and the lack of differentiation across review rounds. Notably, the dynamic shifts in reviewers' focus and sentiment tendencies throughout multiple review stages remain underexplored. To address this gap, the present study investigates the distribution and evolution of aspect-level sentiments and examines their correlation with the number of review rounds. We begin by segmenting the multi-round review comments of 11,063 accepted papers from Nature Communications and identifying fine-grained review aspect clusters. A manually annotated corpus of approximately 5,000 review sentences is then constructed. Using this dataset, we train a series of deep learning-based aspect sentiment classification models. Among them, the LCF-BERT-CDM model achieves the best performance, with a Macro-F1 score of 82.65%. Subsequent statistical analysis reveals a consistent trend: as the number of review rounds increases, the proportion of positive sentiments rises, while negative sentiments decline. Correlation analysis further indicates that aspect sentiment scores are negatively associated with the total number of review rounds. Key aspects exhibiting stronger correlations include "experiments", "research significance" and "result analysis".
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24188v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인
The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale
본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.
감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026
From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026
서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.
목표 기반 변형 범주화
Goal-driven Variant Categorization
프로세스 발견(process discovery)은 드물게 단일의 일관된 프로세스 구조를 산출한다. 분석을 위해 일반적인 단계는 구조적 유사성에 기반하여 프로세스 변형을 클러스터링한 뒤, 그렇게 얻은 그룹에 비즈니스적 의미를 부여하는 것이다. 이러한 분할은 조직의 목표에서 도출된 것이 아니므로, 분석가는 변형을 수동으로 해석하고 비즈니스적으로 의미 있는 범주로 통합해야 한다. 변형의 수와 복잡성이 커질수록 이 판단 집약적 단계는 점점 더 어려워진다. 본 논문에서는 이러한 워크플로를 뒤집는 목표 기반 변형 범주화 접근법을 제안한다. 먼저 범주화 축을 사전에 정의하는 조직의 목표 모델(goal model)을 작성한다. 각 변형은 그 동작을 설명하는 텍스트 서술로 변환되고, 대규모 언어 모델(LLM)이 목표 모델의 맥락에서 이를 해석하여 변형을 가장 적절한 범주에 할당한다. LLM 기반 의미론적 추론은 저수준 프로세스 동작과 분석가가 정의한 비즈니스 목표를 연결한다. 이 접근법을 종단(end-to-end)으로 구현하고, 규모와 행동 다양성에서 실질적으로 다른 세 개의 공개 로그에 대해 평가한다. 목표 모델 가이던스는 무방향 귀납(unguided induction)으로 생성된 분할과 다른 분할을 산출하며, 선언된 대안에 대한 통제된 수정에 반응하지만, 목표 모델을 작성해야 한다는 비용이 따른다.
Bluesky에서 신뢰할 수 있는 정신 건강 벤치마크 구축: 검증 인식 약한 감독(weak-supervision) 프레임워크
Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework
분산형 소셜 미디어 플랫폼에서는 데이터 접근, 중재, 라벨링, 배포 책임이 여러 기술 및 거버넌스 계층에 분산되므로, 계산 정신 건강(computational mental health) 연구에 새로운 기회와 과제가 생긴다. 본 논문은 AT Protocol 기반 분산형 소셜 미디어 플랫폼인 Bluesky에서 자살 사고(suicidal ideation, SI) 및 더 넓은 범위의 정신 건강(mental health, MH) 공개(disclosure) 벤치마크를 구성·평가하기 위한 검증 인식 약한 감독(weak-supervision) 시스템을 제시한다. 이 시스템은 공개 firehose 수집, 과제별 어휘집(lexicon) 필터링, Llama-3-8B 보조 이진 주석(annotation), 인간 판정(human-adjudicated) 검증 서브셋, 트랜스포머 기반 모델 벤치마킹을 통합한다. 이 파이프라인으로 SI 라벨 게시물 8,346개와 MH 라벨 게시물 9,988개를 담은 과제별 코퍼스 두 개를 구성한다. 평가 결과, 모델 성능은 과제 정의와 검증 프로토콜 모두에 크게 좌우된다. BERT+LSTM은 SI 계층화 교차검증(stratified cross-validation) F1-score에서 최고이며, RoBERTa는 SI 홀드아웃(holdout) F1-score에서 가장 높고, DistilRoBERTa는 MH 교차검증 F1-score에서 최고이다. 인간 검증은 과제별로 약한 라벨(weak-label) 실패 양상이 다름을 보여 주며, SI 라벨은 거짓 음성(false negative)이, MH 라벨은 거짓 양성(false positive)이 우세하다. 이는 분산형 소셜 미디어가 재현 가능한 정신 건강 벤치마킹을 뒷받침할 수 있으나, 시스템 설계·라벨 출처(provenance)·검증 전략·배포 제약을 함께 평가할 때에만 가능함을 시사한다.
트랜스포머 최적화에서의 숨겨진 경계 이동: 아핀 가중치 및 바이어스 업데이트의 함수 공간 직교화
Hidden Boundary Motion in Transformer Optimization: Function-Space Orthogonalization of Affine Weight and Bias Updates
가중치와 바이어스는 일반적으로 별도의 매개변수 텐서로 최적화되지만, 아핀 층의 입력 평균이 0이 아닐 때는 서로 다른 함수를 나타내지 않는다. 입력 평균이 $μ$인 아핀 사상 $z=Wx+b$에서, 가중치 업데이트는 바이어스 업데이트와 기능적으로 구분할 수 없는, 샘플에 독립적인 변위 $ΔWμ$를 포함한다. 우리는 이 숨겨진 기여를 경계 이동(boundary motion)이라 부르고, 각 업데이트를 중심화된, 샘플에 따라 변하는 형태(shape) 성분과 공유된 경계(boundary) 성분으로 분해한다. IMDb에서 처음부터 학습한 4층 트랜스포머에서, 바이어스 유사 항 $g_bμ^\top$의 중앙값 노름은 아핀 층과 학습 체크포인트 전반에 걸쳐 원시 가중치 그래디언트 노름의 0.664와 같다. 더 주목할 만한 점은, 중앙값 비율 $\norm{ΔWμ}/\norm{Δb}$가 134.7인 반면 $\norm{ΔWμ}/\norm{Δb+ΔWμ}$는 0.994라는 것이다. 따라서 AdamW 하에서 관측된 경계 이동은 명시적 바이어스보다는 거의 전적으로 가중치 행렬을 통해 실현된다. 우리는 가중치에 의해 유발된 경계 변위를 보상하고, 독립적인 Adam 상태로 $g_W-g_bμ^\top$와 $g_b$를 최적화하는 진단용 옵티마이저인 Shape--Boundary Orthogonal AdamW(SBO-AdamW)를 구현한다. 단일 시드 실험에서 SBO-AdamW는 검증 정확도를 81.68\%에서 85.81\%로, 검증으로 선택한 테스트 정확도를 78.73\%에서 82.73\%로 높였으며, 최적 검증 체크포인트는 3000 스텝이 아닌 800 스텝에서 나타났다. 그러나 이동 배치 중심 보상은 심각한 바이어스 좌표 표류를 유발하고 경계 에너지를 크게 감소시킨다. 따라서 현재의 증거는 숨겨진 경계 이동이 중요한 최적화 메커니즘임을 뒷받침하지만, 아직 최종적인 범용 옵티마이저를 확립하지는 못한다. 안정적인 중심화 아핀 매개변수화가 필요한 다음 단계로 확인되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.