Detecting (Un)Important Content for Single-Document News Summarization
원문 초록
We present a robust approach for detecting intrinsic sentence importance in news, by training on two corpora of document-summary pairs. When used for single-document summarization, our approach, combined with the "beginning of document" heuristic, outperforms a state-of-the-art summarizer and the beginning-of-article baseline in both automatic and manual evaluations. These results represent an important advance because in the absence of cross-document repetition, single document summarizers for news have not been able to consistently outperform the strong beginning-of-article baseline.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Extractive Multi-document Summarization using K-means, Centroid-based Method, MMR, and Sentence Position
Single-Document Summarization Using Sentence Embeddings and K-Means Clustering
APE: 언어 모델 적응을 위한 수락 기준 기반 선택적 미세조정
APE: Selective Fine-tuning with Acceptance Criteria for Language Model Adaptation
본 논문에서는 모델의 안정성을 유지하면서 매개변수(parameter) 수정을 체계적으로 탐색하는 대규모 언어 모델(LLM) 적응용 선택적 미세조정(fine-tuning) 방법인 APE(Adjacent Possible Exploration)를 제시합니다. 진화적 최적화 원리에서 영감을 얻은 APE는 소규모 데이터 하위 집합에 대한 미세조정을 통해 여러 후보 매개변수 업데이트를 평가하고 성능 임계값을 초과하는 업데이트만을 수락합니다. 단일 그래디언트(gradient) 방향을 따르는 표준 미세조정과 달리, APE는 체계적인 개선을 가능하게 하면서도 모델을 불안정하게 만드는 매개변수 변화를 방지하는 필터링된 선택 프로세스를 구현합니다. 우리 방법은 최소한의 계산 자원만을 사용하면서도 뉴스 요약 태스크에서 33.9%의 BLEU 향상과 36.2%의 퍼플렉서티(perplexity) 감소를 달성합니다. 이 접근법은 성능 향상과 표현 안정성 사이의 균형을 맞추는 제어된 모델 적응을 위한 실용적인 프레임워크를 제공합니다.
Sentinel: 효율적인 LLM 컨텍스트 압축을 위한 어텐션 프로빙 기반 컨텍스트 활용 해독
Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression
검색된 컨텍스트는 길고 잡음이 많으며 중복되는 경우가 많아, 답변 생성에 앞서 질의 인식 압축이 필요하다. 네이티브 어텐션은 컨텍스트 선택을 위한 신호를 제공하지만, 헤드마다 동작이 이질적이어서 이를 문장 유용도 점수로 직접 집계하기가 복잡하다. 본 논문은 층과 헤드에 걸친 부호 있는 선형 리드아웃을 통해 이러한 신호를 결합하도록 학습하는 문장 수준 압축기 Sentinel을 제안한다. 기존 QA 근거 주석을 사용하여 리드아웃만 학습하며, 백본은 고정된 상태로 유지되고 문장 점수 산정에는 자기회귀 생성이 필요하지 않다. 12개의 LongBench 과제 전반에서, 0.5B 백본을 사용하는 Sentinel은 2,000 토큰 예산 조건에서 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, DeepSeek V4.1 Flash의 세 리더 각각에 대해 여러 과제에서 전체 컨텍스트(Full Context)보다 우수한 성능을 보인다. 영어 전용 QA 지도만 사용했음에도 동일한 리드아웃이 과제별 재학습 없이 중국어 과제로 전이된다. 길이별 계층화 프로파일링에서도 LLMLingua-2 및 CPC보다 압축 지연 시간과 GPU 메모리 사용량이 더 낮음을 확인했다.
Mitigating Object Hallucinations via Sentence-Level Early Intervention
AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles
토론
이 논문과 연결된 포럼 글이 아직 없습니다.