Characterizing Latent Perspectives of Media Houses Towards Public Figures
원문 초록
Media houses reporting on public figures, often come with their own biases stemming from their respective worldviews. A characterization of these underlying patterns helps us in better understanding and interpreting news stories. For this, we need diverse or subjective summarizations, which may not be amenable for classifying into predefined class labels. This work proposes a zero-shot approach for non-extractive or generative characterizations of person entities from a corpus using GPT-2. We use well-articulated articles from several well-known news media houses as a corpus to build a sound argument for this approach. First, we fine-tune a GPT-2 pre-trained language model with a corpus where specific person entities are characterized. Second, we further fine-tune this with demonstrations of person entity characterizations, created from a corpus of programmatically constructed characterizations. This twice fine-tuned model is primed with manual prompts consisting of entity names that were not previously encountered in the second fine-tuning, to generate a simple sentence about the entity. The results were encouraging, when compared against actual characterizations from the corpus.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
A Bit of Progress in Language Modeling
HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩
HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings
심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.
news-crawler-LM: 고품질 뉴스 크롤링을 위한 소형 장문맥 모델
news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling
뉴스 페이지에서 구조화된 콘텐츠를 추출하는 것은 이질적인 HTML 레이아웃, 불일치하는 마크업, 내비게이션 요소 및 광고와 같은 상당한 보일러플레이트(boilerplate)로 인해 여전히 어려운 과제입니다. 규칙 기반 뉴스 크롤러는 사이트별 구조를 인코딩함으로써 높은 추출 정확도를 달성할 수 있지만, 새로운 출판사에 일반화하려면 수동 설정이 필요합니다. 대규모 언어 모델(LLM)은 수작업 규칙의 필요성을 줄여 더 유연한 대안을 제공하지만, 높은 계산 비용이 실용적 배포를 제한합니다. 본 논문에서는 Fundus 뉴스 크롤링 라이브러리의 고품질·인간 검증 추출 결과로 파인튜닝(fine-tuning)한 소형 장문맥 언어 모델인 news-crawler-LM을 소개합니다. 우리 모델은 원시 HTML을 평문(plaintext)과 구조화된 JSON으로 변환하며, 헤드라인, 저자, 게재일, 기사 본문 등의 필드를 포함합니다. 실험에서 news-crawler-LM은 HTML-to-Markdown 및 HTML-to-JSON 추출에서 강력한 베이스라인을 능가하며, HTML-to-Markdown 과제에서 BLEU +4.8, METEOR +6.1, HTML-to-JSON 과제에서 BLEU +2.2, METEOR +4.1의 성능 향상을 보였습니다. 다만, 이전에 보지 못한 출판사에 대한 평가에서 HTML-to-plaintext 과제에서는 다른 규칙 기반 파싱 라이브러리와 비교해 우리 모델이 약간만 더 나은 수준임을 확인했습니다. 모든 모델과 산출물을 연구 커뮤니티에 공개합니다.
내성 미세조정(IFT): 소형 LLM의 내성 학습
Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect
소형 언어 모델이 자신의 내부 활성화(activation)에 대한 교란(perturbation)을 탐지하고 보고할 수 있는가? 우리는 활성화 조향(activation steering)의 관점에서 이 질문을 조사한다: 모델의 잔차 스트림(residual stream)에 개념 벡터(concept vector)를 주입하고, 모델이 교란에 대해 정확하게 보고할 수 있는지 측정한다. 우리는 먼저 선행 연구에서 사용된 이진 탐지 패러다임—주입된 thought를 탐지하는지에 대해 모델에게 'Yes' 또는 'No'로 답하도록 프롬프트하는 방식—이 소형 모델에서 교란 요인(confound)이 작용함을 보인다. 조향(steering)이 질문 내용과 무관하게 모델을 긍정적 응답으로 편향시키기 때문이다. 따라서 우리는 두 가지 교란 요인 없는(confound-free) 평가 패러다임을 제안한다: 문장 국소화(sentence localization)($N$개 문장 중 어떤 문장이 교란되었는지 식별, 우연 확률 $= 1/N$) 및 강도 비교(strength comparison)(두 문장 중 어느 쪽이 더 강한 주입을 받았는지 식별, 우연 확률 $= 50\%$). 두 계열(Llama-3.2 및 Gemma-4)의 6개 모델을 대상으로 평가한 결과, 2B 매개변수만큼 작은 모델도 우연 수준을 훨씬 상회하여 내성(introspect)을 안정적으로 수행하며, 내성 능력은 일반적으로 규모와 함께 증가한다. 그러나 Llama-1B는 우연 수준 이하 또는 그에 준하는 성능을 보인다. 그다음 \emph{Introspection Fine-Tuning}(IFT)을 도입한다: 모델 자체의 교란된 순전파(forward pass)로 구성된 문장 국소화 예제에 대한 지도 미세조정(supervised fine-tuning). IFT는 Llama-1B의 문장 국소화 정확도를 $9.6\%$에서 $60.6\%$로 끌어올린다($6\times$ 향상), 그 이득은 홀드아웃(hold-out) 강도 비교 과제에 제로샷(zero-shot)으로 일반화된다($30.2\% \to 52.2\%$). IFT는 3B 및 8B 모델의 내성도 향상시키며, 표준 역량 벤치마크에서는 미미한 성능 저하만 유발한다. 우리의 결과는 내성 능력이 규모만으로 고정되지 않음을 시사한다: 직접 학습할 수 있으며, 이를 통해 잠재된 자기 모니터링(self-monitoring) 능력을 개방하여 AI 투명성(transparency)과 정렬(alignment)에 함의를 갖는다. 코드는 \href{https://anonymous.4open.science/r/IFT-introspection-2092/README.md}{여기}에서 확인할 수 있다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.