arXiv:2102.05169

Decontextualization: Making Sentences Stand-Alone

Eunsol Choi, Jennimaria Palomaki, Matthew Lamm, Tom Kwiatkowski, Dipanjan Das, Michael Collins

제출 2021-02-09

원문 초록

Models for question answering, dialogue agents, and summarization often interpret the meaning of a sentence in a rich context and use that meaning in a new context. Taking excerpts of text can be problematic, as key pieces may not be explicit in a local window. We isolate and define the problem of sentence decontextualization: taking a sentence together with its context and rewriting it to be interpretable out of context, while preserving its meaning. We describe an annotation procedure, collect data on the Wikipedia corpus, and use the data to train models to automatically decontextualize sentences. We present preliminary studies that show the value of sentence decontextualization in a user facing task, and as preprocessing for systems that perform document understanding. We argue that decontextualization is an important subtask in many downstream applications, and that the definitions and resources provided can benefit tasks that operate on sentences that occur in a richer context.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11192v3cs.CV공통 태그 Question Answering, document understanding

GDP.pdf: 전문 PDF 문서에 대한 그라운딩 멀티모달 추론 벤치마킹

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents

전문 분야의 일상 업무 상당 부분은 PDF 파일 안에서 이루어진다: 복리후생 안내서, 임대 계약서, 데이터시트, 임상 가이드라인, 시공 계획서 등. 문서 AI를 위한 벤치마크들은 일반적으로 필요한 역량을 개별적으로 측정해 왔다: OCR, 레이아웃 분석, 차트 추론, 표 QA, 문서 VQA. 이 중 어느 하나에서 높은 점수를 받는다고 해서, 모델이 특정 PDF에 대해 해당 분야 종사자가 실제로 묻는 현실적인 질문에 답할 수 있는지를 반드시 알 수 있는 것은 아니다. GDP_pdf는 이를 직접 측정하기 위해 구축된 벤치마크이다. 이 벤치마크는 10개 분야의 현직 전문가가 작성한 질문-문서 쌍으로 구성되며, 후보 질문은 최소 두 개의 최신(frontier) 멀티모달 모델이 의미 있는 방식으로 실패한 경우에만 채택되었다: 잘못된 답변, 결정적 증거 누락, 또는 허위 주장을 내는 경우였으며, 스타일 같은 표면적인 차이는 해당하지 않았다. 각 항목에는 원자적 기준으로 구성된 루브릭이 함께 제공되므로, 등급화된 루브릭 점수와 엄격한 과제(task) 수준의 통과율을 모두 보고할 수 있다. 또한 각 항목은 3단계로 구성된 11개 역량 분류체계에 태깅되며, 텍스트 추출 및 그라운딩, 표와 차트 이해, 상호 참조, 공간 추론, 근거 없는 질의에 대한 거부(abstention) 등을 포괄한다. 100개 항목 벤치마크에서 17개의 최신 모델에 대한 결과를 보고한다: 최고 모델도 항목의 30.7%만 통과했고, 최하위 모델은 2%만 통과했다. 대부분의 오류는 소수의 반복되는 실패 패턴으로 거슬러 올라간다: 정렬이 어긋난 표, 잘못 읽은 차트, 각주와 제외 조항 누락, 평면도 기호 오계수, 스캔 노이즈, 이전 텍스트를 대체하는 개정(수정) 등.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.