arXiv:1903.05543

Adversarial attacks against Fact Extraction and VERification

James Thorne, Andreas Vlachos

제출 2019-03-13

원문 초록

This paper describes a baseline for the second iteration of the Fact Extraction and VERification shared task (FEVER2.0) which explores the resilience of systems through adversarial evaluation. We present a collection of simple adversarial attacks against systems that participated in the first FEVER shared task. FEVER modeled the assessment of truthfulness of written claims as a joint information retrieval and natural language inference task using evidence from Wikipedia. A large number of participants made use of deep neural networks in their submissions to the shared task. The extent as to whether such models understand language has been the subject of a number of recent investigations and discussion in literature. In this paper, we present a simple method of generating entailment-preserving and entailment-altering perturbations of instances by common patterns within the training data. We find that a number of systems are greatly affected with absolute losses in classification accuracy of up to $29\%$ on the newly perturbed instances. Using these newly generated instances, we construct a sample submission for the FEVER2.0 shared task. Addressing these types of attacks will aid in building more robust fact-checking models, as well as suggest directions to expand the datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27376v1cs.CL공통 태그 Retrieval, Natural Language Inference, Information Retrieval

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.28290v1cs.CL공통 태그 Retrieval, Natural Language Inference, Information Retrieval

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.25046v1cs.CL공통 태그 Retrieval, Natural Language Inference, Information Retrieval

Peerify: 동료 심사 주장 검증 벤치마킹

Peerify: Benchmarking Peer-Review Claim Verification

동료 심사는 학술 출판에서 핵심적인 역할을 하지만, 리뷰어 주장이 원고 증거에 의해 뒷받침되는지 검증하는 일은 여전히 대부분 수동적이고 시간이 많이 드는 과정으로 남아 있다. 본 논문은 동료 심사 주장의 원고 기반(grounded) 검증을 위한 파이프라인인 Peerify를 제시한다. 원고와 리뷰 코멘트가 주어지면 Peerify 파이프라인은 리뷰를 원자적 주장으로 분해하고, 관련 원고 증거를 검색(retrieve)하며, 각 주장이 논문에 의해 뒷받침되는지 판별한다. 파이프라인의 개발과 평가(evaluation)를 지원하기 위해, NeurIPS 2024와 ICLR 2024에서 수집한 실제 동료 심사 상호작용에서 파생된 800개 주장으로 구성된 벤치마크를 구축하였으며, 자동 supervision을 감사(audit)하는 데 사용되는 300개 주장의 수동 라벨링 부분집합을 포함한다. Peerify 파이프라인 내에서 최신(state-of-the-art) 언어 모델과 검색(retrieval) 전략을 함께 함의(entailment) 기준선과 함께 평가한다. 결과는 검색 중심 검증과 주장 분해의 중요성을 보여 주며, 모호하고 해석적인 리뷰어 주장이 제기하는 난제를 부각한다. 감사된 주장의 90.3%에서 자동 라벨이 인간 합의와 일치하며 ($\kappa = 0.87$), 기성 함의(entailment) 모델은 macro-F1 0.24 미만에 머문다.

arXiv:2607.22639v2cs.AI공통 태그 Retrieval, Information Retrieval

TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼

TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs

파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.

arXiv:2610.15941v1cs.CL공통 태그 Natural Language Inference, Information Retrieval

치의학 교육에서 읽기 자료와 학습 목표의 정렬 및 주제 균형 평가를 위한 자연어 처리

Natural Language Processing for Aligning Readings with Learning Objectives and Assessing Topic Balance in Dental Education

교육과정 개발팀은 지정된 읽기 자료가 학습 목표(LO)를 뒷받침하는지, 그리고 주제 범위가 균형 있게 다루어지는지 검토할 시간이 부족한 경우가 많습니다. 본 연구에서는 근거 기반의 읽기 자료 목록 큐레이션을 지원하는 자연어 처리(NLP) 워크플로를 제시합니다. 이 워크플로는 검색을 위한 PubMedBERT 문장 임베딩(embedding) 및 코사인 유사도, 근거 확인을 위한 자연어 추론(NLI), 그리고 범위 분석을 위한 토픽 모델링을 결합합니다. 치의학 교육 분야에서 13개의 강좌 수준 LO와 PubMed 기반의 3,837개 LO-초록 쌍으로 구성된 코퍼스를 활용해 이 접근법을 테스트했습니다. 13개 LO 전반에서 중앙값 코사인 유사도는 0.86에서 0.91 사이로 나타나 전반적으로 높은 의미적 유사성을 보였습니다. 토픽 모델링 결과 영역별로 1~2개의 지배적인 토픽이 나타나며 범위는 넓으나 불균형한 것으로 확인되었습니다. 읽기 자료를 선정하는 데는 유사도만으로는 충분하지 않았습니다. 높은 유사도를 보인 쌍(코사인 0.90~1.00) 중 22.9%가 NLI에 의해 중립(neutral) 또는 모순(contradictory)으로 분류되었습니다. 전문가가 라벨링한 49개 쌍의 검증(validation) 세트에서 코사인 기반 검색(코사인 >= 0.90)은 0.69의 정확도를 기록한 반면, 코사인과 NLI를 결합한 접근법은 전문가 정렬(alignment) 라벨 대비 0.73의 정확도를 달성했습니다. 전반적으로 이 워크플로는 오탐(false positive)을 줄이고 의도한 LO에 더 잘 부합하는 읽기 자료 선정을 지원함으로써 AI가 교육과정 정렬을 어떻게 도울 수 있는지 보여줍니다.

arXiv:2610.13889v1cs.AI공통 태그 Retrieval, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.