arXiv:2305.13691

Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering

Mingda Chen, Xilun Chen, Wen-tau Yih

제출 2023-05-23

원문 초록

Few-shot learning for open domain multi-hop question answering typically relies on the incontext learning capability of large language models (LLMs). While powerful, these LLMs usually contain tens or hundreds of billions of parameters, making them rather inefficient at inference time. To improve performance of smaller language models, we propose a data synthesis framework for multi-hop question answering that requires less than 10 human annotated question answer pairs. Our framework depends only on rich, naturally-occurring relationships among documents and is built upon the data generation functions parameterized by LLMs and prompts. We synthesize millions of multi-hop questions and claims to finetune language models, evaluated on popular benchmarks for multi-hop question answering and fact verification. Empirically, our approach improves model performance significantly, allowing the finetuned models to be competitive with GPT-3.5 based approaches while being almost one-third the size in parameter count.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20537v1cs.LG공통 태그 Question Answering, Few-Shot Learning

ReliableTableQA: 신뢰성 주석에는 얼마나 많은 감독이 필요한가?

ReliableTableQA:How Much Supervision Does Reliability Annotation Need?

ReliableTableQA를 소개한다. 이는 표 형식 QA(tabular QA) 결과의 통계적 신뢰성을 주석하는 LLM을 학습하기 위한 프레임워크로, 쿼리가 답변 가능한지 여부가 아니라 계산된 답변이 통계적으로 의미 있는지를 판단한다. 실제 기업 분석 환경에서는 문법적으로 올바른 SQL 쿼리가 표본이 너무 작거나, 신뢰 구간(confidence interval)이 과도하게 넓거나, 행동을 뒷받침하기에 교란(confounding)이 너무 심한 값을 반환할 수 있다. 기존 시스템은 이러한 모든 경우에 자신 있게 답변하며, 이 실패를 Unreliable Confident Answer Rate(UCAR)로 정량화한다. 본 연구의 기여는 다음과 같다: (1) 소표본 집계, 다중 비교(multiple-comparison) 팽창, 분포 꼬리 불일치(distribution-tail mismatch) 등의 위험을 포괄하는 10개 범주 신뢰성 분류체계(R1–R10); (2) 공개 소매 스키마에 대한 문맥 자유 문법(context-free grammar)으로 50,000개의 신뢰성 라벨 학습 예시를 생성하고 스키마 계층화 SFT/GRPO 분할을 적용한 프로그램 우선(program-first) 데이터 파이프라인; (3) 보정된(calibrated) 신뢰성 주석에 실제로 얼마나 많은 감독이 필요한지에 대한 통제 연구. 소규모의 스키마 계층화 SFT 세트가 놀랄 만큼 충분함을 확인했다: 200개 예시로 신뢰성 플래그 F1을 0.61에서 0.98로, 파싱률(parse rate)을 0.52에서 1.00으로 높이고 UCAR을 0으로 낮추며, 보지 못한 소매 도메인으로 일반화되는 모델을 얻는다(held-out H&M에서 Rel-F1 0.997). 이 강력한 SFT 기준선에 대해, 필수적이라고 일반적으로 가정되는 GRPO는 SFT가 과소 학습(under-trained)된 경우에만 도움이 되며(100개 예시에서 in- 및 out-of-distribution 모두 exact-flag-set match +0.06–0.16), SFT가 충분하면 측정 가능한 이득을 제공하지 않는다. 이 null 결과는 어려운 복합 플래그 슬라이스, 엄격한 exact-match 지표, out-of-distribution 평가 전반에서 확인했다. 본 결과는 신뢰성 주석을 데이터 효율성 문제로 재구성하고, 강화 미세조정(reinforcement fine-tuning)이 효과가 있는 경우와 없는 경우를 정확히 구분한다.

arXiv:2607.13967v1cs.CL공통 태그 Question Answering, Few-Shot Learning

DeltaMerge-LowRes: 저자원 적응을 위한 언어 및 작업 델타 조합

DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation

다국어 인코더를 수백 개의 골드 예시만으로 새로운 언어와 새로운 작업에 적응시키는 것은 흔한 저자원 NLP 설정이지만, 두 축은 보통 비용이 큰 언어-작업 미세조정 실행을 통해 융합된다. 우리는 대신 각각 독립적으로 학습한 뒤 가중치 공간에서 재결합할 수 있는지를 묻는다. DeltaMerge-LowRes는 비라벨 단일언어 텍스트로부터 언어 델타 $Δ_L$을, 라벨링된 영어 데이터로부터 작업 델타 $Δ_T$를 학습한 다음, 추론 시 네 가지 규칙 중 하나에 따라 조합한다: 가법적(additive), 활성화 안내(activation-guided), 희소성 인지(sparsity-aware), 그리고 새로운 cross-axis TIES. 새 규칙은 TIES-Merging의 trimming, sign election, 병합 단계를 두 작업 축이 아닌 언어와 작업 축에 맞게 조정한다. 네 가지 작업 계열과 네 개의 아프리카 언어에서 규칙 간 $(Δ_L,Δ_T)$를 고정한 채(평가 셀 158개, 셀당 10,000표본 페어드 부트스트랩) 다음을 확인한다: (i) cross-axis TIES는 4개 언어 중 3개에서 요약 작업에서 chrF +4~+7로 우수하다(chrF 18.59 vs. 작업 전용 13.80); (ii) QA F1을 +2.32, EM을 +2.91 개선한다; (iii) 희소성 인지 병합은 macro-F1 동등 수준에서 분류 ECE를 36% 절감한다. 조합 규칙은 병합된 모델이 무엇을 보존하고, 억제하며, 보정하는지를 실질적으로 바꾼다. 우리는 모든 JSON 추적 데이터와 claim ledger를 공개한다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.13920v2cs.CL공통 태그 Question Answering

DeepStress: 딥 검색 에이전트 스트레스 테스트

DeepStress: Stress-Testing Deep Search Agents

검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.

arXiv:2609.27710v3cs.CV공통 태그 Few-Shot Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.