arXiv:2608.24268v2 cs.CL

ROBE: 역사 문헌에서 극단적 롱테일 이벤트를 추출하기 위한 역순 편향 전문가(Reversed-Order-Biased-Experts)

ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts

Stella Verkijk, Piek Vossen

제출 2026-08-25

한국어 초록

본 논문에서는 17세기와 18세기에 걸친 네덜란드 역사 코퍼스에서 50가지 이상의 이벤트 유형을 추출하는 방법을 제안합니다. 제안하는 방법은 머신러닝에서 매우 도전적인 시나리오인 '롱테일의 롱테일' 추출 문제를 해결하는 것을 목표로 합니다. 19세기 이전의 역사적 데이터는 그 자체로 대규모 언어 모델(LLM)의 사전학습에서 다루어지지 않은 틈새 도메인이며, 본 연구는 이 도메인에서 활용 가능한 학습 데이터 내에서도 극히 드물게 주석 처리된 이벤트를 추출하고자 합니다. 이를 위해 학습 데이터에 존재하는 이벤트의 하위 그룹별로 전문가 분류기를 생성하는 방식을 제안합니다. 이러한 그룹화는 학습 데이터 내의 유사한 빈도나 의미론적 관련성을 기반으로 수행됩니다. 빈도 편향에 의해 압도되는 것을 방지하기 위해, 드물게 나타나는 이벤트에 대해 학습된 전문가에 예측 시 더 높은 우선순위를 부여합니다. 롱테일을 보호하도록 특별히 맞춤 설계된 이러한 새로운 분류기 결합 방식을 ROBE(Reversed-Order-Biased-Experts)라고 부릅니다. 또한 도메인 특화 합성 데이터를 생성하는 제어된 방법도 제안합니다. ROBE의 두 가지 구현은 단순 파인튜닝된 인코더 모델 대비 각각 정밀도에서 0.16, 재현율에서 0.05 향상되어 더 우수한 성능을 보였습니다. 가장 우수한 모델은 해당 틈새 데이터셋의 롱테일 클래스 그룹에 대해 F1 점수를 0.11 향상시켰습니다.

원문 초록

This paper proposes methods to extract over 50 types of events from a Dutch historical corpus spanning the 17th and 18th centuries. The methods we propose aim to tackle a very challenging scenario in Machine Learning: extracting the long-tail of the long-tail. Historic data from before the 19th century is in itself a niche domain not covered in the pre-training of Large Language Models, and we aim to extract events only scarcely annotated in the training data available for this domain. We propose creating expert classifiers for subgroups of the events present in the training data. We make these groupings based on similar frequency in the training data or on semantic relatedness. Experts trained on underrepresented events are assigned higher priority when predicting to avoid being dominated by frequency biases. We refer to this new way of combining classifiers, specifically tailored to protect the long-tail, as ROBE: Reversed-Order-Biased-Experts. We also propose a controlled method to create domain-specific synthetic data.\ Our two implementations of ROBE outperform a simple fine-tuned encoder model with a .16 increase in precision and a .05 increase in recall respectively. The best model achieves a .11 increase in f1 for a group of long-tail classes in our niche data set.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.24268v2제출 시각 미확인
  2. arXiv:2608.24268v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15908v1cs.AI공통 태그 Data Augmentation, Text Classification

LURE: 단계별로 라벨링된 온라인 그루밍 대화 합성 코퍼스

LURE: a Phase-Labelled Synthetic Corpus of Online-Grooming Exchanges

단계 주석이 달린 대화형 데이터는 미성년자 대상 온라인 그루밍(online grooming)의 진행 과정을 연구하고 조기 경보 도구를 개발하는 데 필수적입니다. 그러나 공개적으로 접근 가능한 유일한 출처인 Perverted-Justice 아카이브(ChatCoder를 사용해 코딩된 부분집합 포함)는 규모가 작고, 오래되었으며, 추가 업데이트가 중단된 상태입니다. 본 연구에서는 기관 내 하드웨어에서 실행되는 검색-증강 파이프라인을 사용해 생성한 그루머-피해자 대화 합성 코퍼스를 제시합니다. 이 파이프라인은 공개적으로 사용 가능한 80억 개 매개변수(parameter) 규모의 거부 완화(refusal-ablated) 언어 모델(language model)을 활용합니다. 해당 코퍼스는 합성 데이터셋을 위한 책임 있는 생성 프로토콜의 5단계를 따라 구축되었습니다: ChatCoder 유인 소통 체계 기반의 온톨로지 주도 설계(4개 그루밍 단계에 매핑된 8개 소통 태그), 다중 모델 프롬프트(prompt) 테스트, 인간 참여형(human-in-the-loop) 감독, 의미 및 특징(feature) 수준의 검증(validation), 모달리티 인식 문서화. 공개된 코퍼스는 7개 태그와 4개 단계에 걸친 2,121개의 고유한 대화로 구성되며, 각각 플루치크(Plutchik) 감정 필드가 함께 제공됩니다. 검증을 통해 코퍼스의 무결성과 어휘 프로파일뿐만 아니라 실제 시드 대화의 재현 여부, 도메인 내 레이블 복원력(태그 정확도: 0.85, 단계 정확도: 0.93), 그리고 8개 태그 수준에서 자동 코딩된 대화(31,640행) 및 3개 구성 개념 수준에서 인간 코더가 코딩한 대화(10,876개 게시글)인 실제 ChatCoder 가해자 대화로의 전이 능력을 정량화했습니다. 어휘 및 문장 임베딩(embedding) 특징에 대해 정확도를 측정했으며, 실제-합성 판별기(discriminator)는 두 도메인을 91%의 정확도로 구분할 수 있었습니다. 본 코퍼스의 활용 범위에는 통제된 단계 조건부 실험, 파이프라인 개발, 실제 데이터 및 인식 제고 자료와 병행한 데이터 증강이 포함됩니다. 코퍼스와 데이터시트, 감사 코드는 심사를 거친 접근 권한 하에 공개됩니다.

arXiv:2607.22709v1cs.CV공통 태그 Text Classification, Ensemble Learning

RMS@CC-MMD 2026: 기하학적 상호작용과 다중 관점 합의를 통한 멀티모달 여성혐오 탐지

RMS@CC-MMD 2026: Multimodal Misogyny Detection via Geometric Interaction and Multi-View Consensus

인터넷 밈의 확산은 자동화된 콘텐츠 모더레이션, 특히 여성혐오 탐지에 새로운 복잡성을 도입했다. 밈은 종종 시각·텍스트 모달리티 간의 의미적 충돌에 의존하며, 여기서 혐오적 의도는 암묵적이고 문화적으로 기반을 둔다. 본 논문은 ICMI 2026 CC-MMD Grand Challenge를 위해 개발된 GeoMVC(Geometric Interaction and Multi-View Consensus)를 제시한다. 정적 특징 결합의 한계를 해결하기 위해, 동결된 시각·텍스트 임베딩 간 Hadamard 곱과 코사인 유사도를 통해 교차 모달리티 정렬을 모델링하는 기하학적 상호작용 층(Geometric Interaction Layer)을 제안한다. 또한 노이즈가 있는 OCR과 코드 혼합 음역으로 인한 분포 이동을 다중 관점 합의(Multi-View Consensus) 전략으로 완화하며, 원문, 길이 필터링, 영어 번역 텍스트 관점에 걸친 예측을 집계한다. 이 시스템은 Task A에서 Malayalam 파티션 2위(Macro F1: 0.892), Chinese 파티션 3위(Macro F1: 0.895)를 달성했으며, Tamil 파티션에서는 5위(Macro F1: 0.521)를 기록했다. 개발 파티션에 대한 상세 오류 분석은 Dravidian 및 중국 문화 맥락에서 지역화된 음역과 코드 혼합 풍자를 모델링하는 데 남아 있는 과제를 부각한다.

arXiv:2607.22026v1cs.CL공통 태그 Text Classification, Ensemble Learning

DWT-Fusion: 학습 없는 LLM 생성 텍스트 탐지를 위한 신호 기반 프레임워크

DWT-Fusion: A Signal-Based Framework for Training-Free LLM-Generated Text Detection

제로샷(zero-shot) 및 학습 없는(training-free) 조건에서 LLM 생성 텍스트를 탐지하는 것은 여전히 어려운 과제이며, 특히 탐지기가 데이터셋, 도메인, 그리고 보지 못한 생성기에 걸쳐 일반화해야 할 때 더욱 그렇다. 기존의 학습 없는 접근법들은 탐지 신호로 언어 모델 통계를 활용하지만, 일반적으로 전체 모델 동작을 요약하는 전역(global) 측정치를 통해 텍스트를 특성화한다. 따라서 토큰 수준 예측 가능성의 잠재적으로 유용한 국소(local) 및 다중 스케일(multiscale) 변동이 충분히 활용되지 못할 수 있다. 이러한 관찰에 동기를 부여받아, 우리는 프록시 인과(causal) 언어 모델이 생성한 토큰 수준 로그 확률(log-probability) 시퀀스의 이산 웨이블릿(discrete wavelet) 분석을 통해 LLM 생성 텍스트를 탐지하는 학습 없는 신호 기반 프레임워크인 DWT-Fusion을 제안한다. 제안된 프레임워크는 웨이블릿 기반 다중 해상도(multiresolution) 신호 표현을 통해 이러한 시퀀스를 분석하고, 국소화된 확률 역학(probability dynamics)으로부터 탐지 신호를 도출한다. 우리는 또한 동일 가중치 하드 보팅(equal-weight hard voting), 동일 가중치 소프트 보팅(equal-weight soft voting), 보정(calibration) 가중치 하드 보팅, 보정 가중치 소프트 보팅을 포함한 네 가지 학습 없는 보팅 변형을 평가하여, 지도(supervised) 메타 분류기를 학습하지 않고도 여러 웨이블릿 구성을 결합한다. 프레임워크를 HC3, M4, MAGE에서 GPT-Neo-2.7B, GPT-J-6B, Falcon-7B, LLaMA-3-8B를 프록시 모델로 사용하여 평가한다. 최적의 단일 웨이블릿 구성은 HC3, M4, MAGE에서 각각 AUROC 0.9872, 0.8185, 0.7138을 달성한다. 보정 가중치 보팅을 적용하면 최적의 앙상블 변형은 AUROC를 각각 0.9919, 0.8477, 0.7471로 더욱 향상시킨다. 이러한 결과는 DWT 기반 다중 해상도 스코어링과 보정 기반 보팅 융합이 학습 없는 LLM 생성 텍스트 탐지를 위한 효과적이고 해석 가능한 신호를 제공함을 보여준다.

arXiv:2607.22491v1cs.LG공통 태그 Mixture-of-Experts, Ensemble Learning

국면 조건부 변동성 예측을 위한 Susceptible Reservoir 아키텍처

Susceptible Reservoir Architectures for Regime-Conditional Volatility Forecasting

변동성 예측은 지속성(persistence)과 측정 노이즈(measurement noise)에 의해 지배되어, 비선형 모델이 활용할 수 있는 잔차 구조가 제한적이다. 본 연구에서는 변동성 예측을 위한 reservoir 설계 원칙인 Susceptible Architectures(SUSA)와, 복소값 개방 사슬(open-chain) 및 주기적 reservoir와 국면 조건 전문가(regime-conditioned experts)에 기반한 두 가지 구체적 구현을 제안한다. 이는 평온(calm), 발현(onset), 회복(recovery), 지속적 스트레스(persistent-stress) 상태에 걸친 reservoir 특징을 해석한다. 또한 공통 AR-Ridge 앵커와 QLIKE 하에서 학습된 경계가 있는 잔차 보정을 유지하면서 Qiskit에서 개방계(open-system) $q$-qubit 대응 모델도 구현한다. 16개의 미국 주식 및 상장지수펀드(ETF) 시계열에 대해, 서로 겹치지 않는 세 개의 시간순 학습, 검증, 테스트 폴드, 12관측 입력 윈도우, 5관측 예측 구간(forecast horizon)을 사용하여 모델을 평가한다. 제안 모델은 GARCH와 경쟁력 있는 성능을 보이며, 특정 자산(IWM, XLP)에서 통계적으로 유의한 QLIKE 개선을 달성한다. 또한 모델의 예측은 HARQ 스타일 예측을 보완한다. 스택드 앙상블(stacked ensemble)은 가장 강한 구성 요소 대비 평균 QLIKE를 0.0116만큼 개선하며, 테스트 시나리오의 75%에서 우수한 성능을 보인다.

arXiv:2607.21444v1math.OC공통 태그 Mixture-of-Experts, Ensemble Learning

지속 가능한 도시를 위한 기후 회복력 전기차 충전 인프라: 예방 정비와 저탄소 이동성을 위한 해석 가능한 인과-앙상블 프레임워크

Climate-resilient electric vehicle charging infrastructure for sustainable cities: An interpretable causal-ensemble framework for preventive maintenance and low-carbon mobility

신뢰할 수 있는 전기차(EV) 충전 인프라는 지속 가능한 저탄소 도시의 핵심 요소이지만, 극한 고온, 집중 강수, 습도와 같은 도시 기후 스트레스가 장비 고장 위험을 점점 더 높이고 도시 에너지 및 이동 서비스의 회복력을 약화시키고 있다. 수동적 수리에서 예방 정비로 운영을 전환하려면 정확하고 전향적인 고장 위험 예측이 필수적이며, 이는 물리적·행동적·맥락적·과거 신호의 이질적 시간 척도와 다주(多週) 수준의 예측으로 인해 복잡해진다. 우리는 기후 회복력 충전 자산 관리를 위한 해석 가능한 의사결정 지원 시스템을 구성하는 특징 기반 동적 스태킹 앙상블(FGDSE)을 개발한다. 이는 이질적 신호를 네 가지 특징 계열로 분할하고, 각각을 데이터와 귀납적 바이어스가 맞는 도메인 전문가에 배정하며, 단기 펄스와 장기 열화를 위한 두 개의 심층 시간 전문가를 추가한다. 이후 예측 기간별 게이팅 메커니즘이 1~30일에 걸친 일별 고장 위험을 예측하기 위해 적응적 가중치를 학습한다. SHAP 기여도 분석과 X-learner는 확률적 출력을 충전소(post) 수준 처치 효과를 갖는 인과적 의사결정 지원으로 확장한다. 13개 충전소의 25개월 데이터에서 FGDSE는 10일을 넘는 예측 기간에서 12개 베이스라인을 능가하며, 30일에서 약 85%의 매크로 재현율을 유지하고 AUC 감소는 3.2포인트에 불과하며, 지배 요인이 고장 이력에서 기후 스트레스로 이동함을 보여준다. 극한 고온을 시간이 지남에 따라 인과 효과가 증폭되는 유일한 노출 요인으로 식별하고, 약 30%의 충전소를 고온 민감으로 표시하며, 도시 이동 회복력을 강화하고 저탄소 이동을 지속하는 기후 적응형 정비를 위한 정량적 임계값을 도출한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.