arXiv:1903.12008

Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling

Debjit Paul, Mittul Singh, Michael A. Hedderich, Dietrich Klakow

제출 2019-03-28

원문 초록

In this paper, we address the problem of effectively self-training neural networks in a low-resource setting. Self-training is frequently used to automatically increase the amount of training data. However, in a low-resource scenario, it is less effective due to unreliable annotations created using self-labeling of unlabeled data. We propose to combine self-training with noise handling on the self-labeled data. Directly estimating noise on the combined clean training set and self-labeled data can lead to corruption of the clean data and hence, performs worse. Thus, we propose the Clean and Noisy Label Neural Network which trains on clean and noisy self-labeled data simultaneously by explicitly modelling clean and noisy labels separately. In our experiments on Chunking and NER, this approach performs more robustly than the baselines. Complementary to this explicit approach, noise can also be handled implicitly with the help of an auxiliary learning task. To such a complementary approach, our method is more beneficial than other baseline methods and together provides the best performance overall.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.10380cs.CL공통 태그 Chunking공식 코드 · Papers with Code

TableRAG: A Retrieval Augmented Generation Framework for Heterogeneous Document Reasoning

검색-증강 생성(RAG)은 개방 도메인 질문 응답에서 상당한 효과를 입증하였습니다. 그러나 텍스트와 표 형식의 이종 문서에 적용할 경우, 기존 RAG 접근법은 중요한 한계를 보입니다. 표를 평탄화하고 청킹(chunking)하는 기존 방식은 본질적인 표 구조를 훼손하며, 정보 손실을 초래하고 다중 단계(multi-hop) 및 전역(global) 질의에서 LLM의 추론 능력을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 텍스트 이해와 복잡한 표 데이터 조작을 통합한 하이브리드 프레임워크인 TableRAG를 제안합니다. TableRAG는 문맥에 민감한 질의 분해, 텍스트 검색, SQL 프로그래밍 및 실행, 그리고 구성적 중간 답변 생성의 네 단계를 반복적으로 수행합니다. 또한, 다중 단계 이종 추론 능력을 평가하기 위해 새롭게 고안된 벤치마크 HeteQA를 개발하였습니다. 실험 결과, TableRAG는 공개 데이터셋과 HeteQA 모두에서 기존 기준선을 지속적으로 능가하며, 이종 문서 질문 응답 분야에서 새로운 최첨단 성능을 확립합니다. TableRAG의 코드는 https://github.com/yxh-y/TableRAG/tree/main 에서 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.