arXiv:1509.01310

The influence of Chunking on Dependency Crossing and Distance

Qian Lu, Chunshan Xu, Haitao Liu

제출 2015-09-03

원문 초록

This paper hypothesizes that chunking plays important role in reducing dependency distance and dependency crossings. Computer simulations, when compared with natural languages,show that chunking reduces mean dependency distance (MDD) of a linear sequence of nodes (constrained by continuity or projectivity) to that of natural languages. More interestingly, chunking alone brings about less dependency crossings as well, though having failed to reduce them, to such rarity as found in human languages. These results suggest that chunking may play a vital role in the minimization of dependency distance, and a somewhat contributing role in the rarity of dependency crossing. In addition, the results point to a possibility that the rarity of dependency crossings is not a mere side-effect of minimization of dependency distance, but a linguistic phenomenon with its own motivations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.10380cs.CL공통 태그 Chunking공식 코드 · Papers with Code

TableRAG: A Retrieval Augmented Generation Framework for Heterogeneous Document Reasoning

검색-증강 생성(RAG)은 개방 도메인 질문 응답에서 상당한 효과를 입증하였습니다. 그러나 텍스트와 표 형식의 이종 문서에 적용할 경우, 기존 RAG 접근법은 중요한 한계를 보입니다. 표를 평탄화하고 청킹(chunking)하는 기존 방식은 본질적인 표 구조를 훼손하며, 정보 손실을 초래하고 다중 단계(multi-hop) 및 전역(global) 질의에서 LLM의 추론 능력을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 텍스트 이해와 복잡한 표 데이터 조작을 통합한 하이브리드 프레임워크인 TableRAG를 제안합니다. TableRAG는 문맥에 민감한 질의 분해, 텍스트 검색, SQL 프로그래밍 및 실행, 그리고 구성적 중간 답변 생성의 네 단계를 반복적으로 수행합니다. 또한, 다중 단계 이종 추론 능력을 평가하기 위해 새롭게 고안된 벤치마크 HeteQA를 개발하였습니다. 실험 결과, TableRAG는 공개 데이터셋과 HeteQA 모두에서 기존 기준선을 지속적으로 능가하며, 이종 문서 질문 응답 분야에서 새로운 최첨단 성능을 확립합니다. TableRAG의 코드는 https://github.com/yxh-y/TableRAG/tree/main 에서 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.