arXiv:1610.07647

Learning to Reason With Adaptive Computation

Mark Neumann, Pontus Stenetorp, Sebastian Riedel

제출 2016-10-24

원문 초록

Multi-hop inference is necessary for machine learning systems to successfully solve tasks such as Recognising Textual Entailment and Machine Reading. In this work, we demonstrate the effectiveness of adaptive computation for learning the number of inference steps required for examples of different complexity and that learning the correct number of inference steps is difficult. We introduce the first model involving Adaptive Computation Time which provides a small performance benefit on top of a similar model without an adaptive component as well as enabling considerable insight into the reasoning process of the model.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.23701v2cs.CL공통 태그 Natural Language Inference, Reading Comprehension

메타데이터 예측 가능성은 근거 의존성의 증거가 아니다: 약한 라벨 벤치마크를 위한 개입 기반 감사

Metadata Predictability Is Not Evidence Dependence: An Intervention-Based Audit for Weak-Label Benchmarks

본 연구는 약한 라벨 벤치마크에 대한 프로토콜 수준의 검증을 다룬다. 즉, 제공된 근거에 개입이 가해질 때 벤치마크 출력이 변하는지 여부이다. 메타데이터만을 이용한 지름길(shortcut) 검사는 다른 질문, 즉 출력이 메타데이터 사전 분포(prior)로부터 예측 가능한지에 답한다. 따라서 메타데이터 통계인 Metadata Prior Dominance Score(MPDS)와, 항목 간 셔플링 하에서 근거 정체성에 대한 민감도를 측정하는 근거 개입 통계 ΔEvi를 결합한다. 합성 HotpotQA는 메타데이터 전용 선별에 대한 구성된 반례를 제공한다: MPDS는 중간 수준(0.643)에 불과하지만 ΔEvi는 0이다. 더 강한 리더(reader)로 재실행한 결과는 보정(calibration)이 검증 절차에 포함되어야 하는 이유를 보여준다. SNLI는 보정 역전(calibration reversal)을 보이고, 재구성된 HotpotQA는 질문 지배(question-dominant) 경고 영역에 위치하며, FEVER는 네 개의 트랜스포머(transformer)에서 강한 근거 민감(evidence-sensitive) 양성 대조(positive control)이다. 실무적 교훈은 단순하다. 벤치마크 감사는 메타데이터 전용 선별, 근거 개입, 리더 강도(reader-strength) 보정을 함께 보고해야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.