Deep Semi-Supervised Learning with Linguistically Motivated Sequence Labeling Task Hierarchies
원문 초록
In this paper we present a novel Neural Network algorithm for conducting semi-supervised learning for sequence labeling tasks arranged in a linguistically motivated hierarchy. This relationship is exploited to regularise the representations of supervised tasks by backpropagating the error of the unsupervised task through the supervised tasks. We introduce a neural network where lower layers are supervised by junior downstream tasks and the final layer task is an auxiliary unsupervised task. The architecture shows improvements of up to two percentage points F1 for Chunking compared to a plausible baseline.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree
TableRAG: A Retrieval Augmented Generation Framework for Heterogeneous Document Reasoning
검색-증강 생성(RAG)은 개방 도메인 질문 응답에서 상당한 효과를 입증하였습니다. 그러나 텍스트와 표 형식의 이종 문서에 적용할 경우, 기존 RAG 접근법은 중요한 한계를 보입니다. 표를 평탄화하고 청킹(chunking)하는 기존 방식은 본질적인 표 구조를 훼손하며, 정보 손실을 초래하고 다중 단계(multi-hop) 및 전역(global) 질의에서 LLM의 추론 능력을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 텍스트 이해와 복잡한 표 데이터 조작을 통합한 하이브리드 프레임워크인 TableRAG를 제안합니다. TableRAG는 문맥에 민감한 질의 분해, 텍스트 검색, SQL 프로그래밍 및 실행, 그리고 구성적 중간 답변 생성의 네 단계를 반복적으로 수행합니다. 또한, 다중 단계 이종 추론 능력을 평가하기 위해 새롭게 고안된 벤치마크 HeteQA를 개발하였습니다. 실험 결과, TableRAG는 공개 데이터셋과 HeteQA 모두에서 기존 기준선을 지속적으로 능가하며, 이종 문서 질문 응답 분야에서 새로운 최첨단 성능을 확립합니다. TableRAG의 코드는 https://github.com/yxh-y/TableRAG/tree/main 에서 공개합니다.
Real-Time Execution of Action Chunking Flow Policies
Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models
Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings
Rethinking Chunk Size For Long-Document Retrieval: A Multi-Dataset Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.