PyTorchKR Papers

최신 논문

총 29편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.16003v1cs.CL

PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론

PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion

문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.

arXiv:2609.35793v2cs.LG

Pass@K와 Pass@1 사이의 격차로부터의 학습

Learning from the Gap Between Pass@K and Pass@1

여러 응답을 샘플링하고 검증기(verifier)를 통과하는 하나의 응답을 유지하는 방식은 대규모 언어 모델(LLM)이 단일 응답 능력 이상의 문제를 해결할 수 있게 하지만, 다수의 배포 환경이 단일 응답으로 답변하는 반면 이러한 탐색(search) 비용은 모든 쿼리마다 반복적으로 지불되어야 합니다. 검증된 응답을 활용한 사후 학습(post-training)은 이러한 탐색의 이점을 모델로 전이할 수 있습니다. 그러나 고정된 예산 하에서 정답 여부만을 기준으로 선택할 경우, 모델이 이미 올바르게 답변하는 문제에 슬롯을 소모하게 되어 오류를 교정하는 데 배정되는 슬롯이 줄어듭니다. 이러한 불균형을 해결하기 위해, 우리는 Pass@K와 Pass@1 사이의 격차, 즉 소스 모델이 단일 응답에서는 실패하지만 K개의 샘플 내에서는 해결하는 문제를 대상으로 학습하는 GapFT를 제안합니다. GapFT는 목적 함수와 학습 예산을 고정한 채 어떤 검증된 응답을 학습에 포함할지만을 변경합니다. 또한 정확한 분해 분석을 통해 결과적인 Pass@1의 변화를 교정된 실패와 소스 모델이 이미 해결했던 문제에서의 성능 퇴행(regression)으로 분리합니다. 세 가지 모델 계열을 대상으로 한 LogiQA 2.0 및 ReClor 실험에서, GapFT는 예산이 일치된 균일 기각 샘플링 미세조정(rejection-sampling fine-tuning, RFT) 대비 모든 환경에서 우수한 성능을 보이며 양의 통합 효과(pooled effect)를 나타냈고, Llama-3.1-8B 및 Mistral-7B에서는 전체 검증된 풀의 11~34% 문제만으로 전체 풀 미세조정 이득의 약 3분의 2에서 5분의 4를 회복합니다. 추가 분석을 통해 이러한 성능 향상은 초기 몇 개의 탐색 샘플로 회복되는 실패 사례에서 비롯되는 반면, 더 깊은 탐색을 통해서만 발견되는 실패 사례는 리플레이(replay)를 대체하여 순이득을 더하지 못한다는 점, 탐색이 도달할 수 없는 정답 레이블(gold-labeled) 실패 사례로 동일한 예산을 채우면 정확도가 떨어진다는 점, 그리고 성능 향상은 탐색이 노출하는 전이 가능한 실패 사례의 수에 의해 제한된다는 점을 밝힙니다.

arXiv:2609.27173v1cs.CL

중요한 것을 실현하기: 대규모 추론을 위한 원칙 기반 컨텍스트 표현

Realize What Matters: Principled Context Representation for Large-Scale Reasoning

과학, 의학, 법률, 금융 등의 영역에서 복잡한 과제를 해결하려면 종종 모델의 컨텍스트 한계를 훨씬 넘어서는 광대하고 이질적인 출처에 흩어진 상호 의존적인 정보를 조합해야 한다. 기존 접근법은 그래프, 텍스트 메모리, 검색 컬렉션 등 모델이 추론할 수 있는 더 다루기 쉬운 표현으로 정보를 구성하여 이 과제에 대응한다. 이러한 표현은 어떤 후속 추론이 가능한지, 궁극적으로 성공 여부를 좌우하지만, 그 설계와 구축은 대체로 임의적(ad hoc)으로 이루어진다. 본 연구에서는 관련성 실현(relevance realization)의 인지 이론에 기초하여, 매우 큰 컨텍스트의 효과적인 표현을 구성하는 AI 시스템 설계를 위한 구체적 원칙을 제안한다. 기존 접근법을 분석하고 그 성공과 실패가 이러한 원칙과의 정렬(alignment)에 어떻게 대응되는지 보이며, 원칙을 보다 체계적으로 실행 가능하게 하도록 설계된 하네스 R3Con을 소개한다. R3Con을 대규모 문서 코퍼스에 대한 추론을 다룬 최근 벤치마크 두 개에서 아홉 개의 최신 기준선과 비교 평가한다. 이 벤치마크에서 R3Con은 가장 강한 기준선보다 각각 20 및 8.4 퍼센트포인트만큼 크게 우수한 성능을 보인다. 또한 더 작은 모델이 훨씬 큰 모델보다 나은 성능을 내도록 한다: 4B 및 9B 모델을 사용한 R3Con은 평가된 모든 35B 기준선을 능가하고, 35B-A3B 모델을 사용한 R3Con은 Claude-Sonnet-5를 사용한 Claude Code보다 3.7배 낮은 비용으로 더 나은 성능을 보인다. 결과는 우리의 원칙적 접근을 따르는 컨텍스트 표현이 모델 규모에 대한 의존을 줄일 수 있음을 보여주며, 더 작은 모델로 구동되는 프론티어 수준 성능의 AI 시스템의 미래를 가리킨다. 코드는 https://github.com/michaeltheologitis/r3con 에서 제공된다.

arXiv:2609.25537v1cs.CL

LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축

Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference

대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.

arXiv:2609.26718v1cs.LG

사이렌의 노래: 근접한 배경 컨텍스트가 멀리 떨어진 증거를 가릴 때

The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence

긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/

arXiv:2609.22939v1cs.AI

선형 컨텍스트를 넘어: 로컬 9B 언어 모델의 장편 소설 추론을 위한 그래프 안내 증거 탐색

Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model

장문 맥락 모델은 소설을 사람이 인쇄물을 읽듯 읽는다. 서사 순서대로 토큰을 하나씩 처리하며, 전체 이력이 고정된 어텐션 예산을 두고 경쟁한다. 탐정은 그렇게 일하지 않는다. 무엇이 언제 일어났는지 정리하고, 누가 누구와 어떻게 연관되는지에 대한 지도를 유지하여, 1장의 단서가 책 끝에서 던진 질문과 만날 수 있게 한다. 우리는 고정(frozen) 지식 그래프가 소규모 로컬 모델에 그와 같은 자유를 줄 수 있는지 검증한다. 탐정 소설 30편과 객관식 문제 234개에 대해, 하나의 고정된 qwen3.5:9b 리더가 아홉 가지 조건에서 답한다. 다섯 가지 그래프 경로, 최근 윈도우 기준선, 전권 압축, 일반 벡터 검색, 문제만 제시하는 대조군이다. 가장 강한 그래프 경로는 53.85%(126/234)로, 최근 윈도우 46.15%, 압축 51.28%, 벡터 검색 51.71%, 문제만 40.17%를 각각 상회한다. 책 없이는 어떤 모델도 답할 수 없는 부분집합에서 그래프 경로는 42.86%에 이른다. 그래프-기준선 대비 15건 중 Holm 보정을 통과한 것은 없으므로, 결과는 설계에 대한 탐색적 증거로 제시한다. 두 가지 구조적 발견은 요약 수치보다 검증에 더 견딘다. 주석된 증거는 이러한 그래프의 위상학적 코어(topological core)에 집중되며(풀링 기준 2.35배 enrichment), 두 그래프 구축 파이프라인은 주석 커버리지(단서 단락의 16% 대 73%)에서 크게 달라, 풀링된 정확도만으로는 어떤 병목이 측정되는지 가려진다.

arXiv:2609.22628v1cs.AI

텍스트, 픽셀, 또는 둘 다? 멀티모달 문서 QA를 위한 입력 표현 평가

Text, Pixels, or Both? Evaluating Input Representations for Multimodal Document QA

모든 문서 QA 시스템은 그 자체로는 드물게 따로 연구되는 선택으로 시작한다. 즉, 모델에 페이지 이미지, 추출된 텍스트, 또는 둘 다를 입력할지 여부이다. 우리는 프롬프트, judge, 채점 파이프라인을 고정한 채 이 선택만 분리하여, 네 개의 상용 모델 엔드포인트, 두 코퍼스, 두 가지 컨텍스트 체제(골드 증거 페이지와 전체 문서)에 걸쳐 평가한다. 이미지 예산에 맞는 문서에서는 두 코퍼스 모두에서 모든 문서 길이에 걸쳐 페이지 이미지가 정확도에서 앞서지만, 이 이점은 커지는 지연과 비용 부담을 동반한다. 문서가 길어질수록 텍스트 지연은 대체로 평탄한 반면 이미지 지연은 꾸준히 증가한다. 텍스트와 이미지는 서로 다른 질문에서 실패하기도 하며, 보고된 셀 전체에서 항목의 19–25%에서 정확히 한 표현만 맞아, 어느 쪽도 다른 쪽을 포괄하지 않는다. 이러한 상보성을 활용하면, 질문 텍스트만 읽는 경량 TF-IDF 라우터가 문서 단위로 분리된 held-out 분할에서 항상 텍스트만 쓰는 방식 대비 2.6포인트를 얻고, 항상 비전만 쓰는 방식 대비 중앙값 지연을 30% 줄인다.

arXiv:2106.16038v3cs.CL공식 코드 · Papers with Code

ChineseBERT: 자형(glyph)과 병음(pinyin) 정보로 강화한 중국어 사전학습

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

최근 중국어 사전학습 모델들은 중국어에 특유한 두 가지 중요한 측면인 자형(glyph)과 병음(pinyin)을 간과하는데, 이는 언어 이해를 위한 중요한 구문 및 의미 정보를 담고 있다. 본 연구에서는 중국어 한자의 자형과 병음 정보를 모두 언어 모델 사전학습에 통합하는 ChineseBERT를 제안한다. 자형 임베딩은 중국어 한자의 서로 다른 글꼴(font)을 기반으로 얻어지며 시각적 특징으로부터 한자의 의미를 포착할 수 있고, 병음 임베딩은 중국어 한자의 발음을 특징화하여 중국어에서 매우 흔한 동음이의어(heteronym) 현상, 즉 같은 한자가 의미에 따라 서로 다른 발음을 갖는 경우를 처리한다. 대규모 비라벨 중국어 말뭉치로 사전학습된 제안 ChineseBERT 모델은 더 적은 학습 단계로 기준선 모델 대비 상당한 성능 향상을 보인다. 제안 모델은 기계 독해(machine reading comprehension), 자연어 추론(natural language inference), 텍스트 분류, 문장 쌍 매칭(sentence pair matching) 등 광범위한 중국어 자연어 처리(NLP) 과제에서 새로운 SOTA 성능을 달성하고, 개체명 인식에서도 경쟁력 있는 성능을 보인다. 코드와 사전학습 모델은 https://github.com/ShannonAI/ChineseBert 에서 공개적으로 이용할 수 있다.

arXiv:1911.02855v5cs.CL공식 코드 · Papers with Code

데이터 불균형 NLP 태스크를 위한 Dice 손실

Dice Loss for Data-imbalanced NLP Tasks

태깅, 기계 독해(machine reading comprehension) 등 많은 자연어 처리(NLP) 태스크는 심각한 데이터 불균형 문제에 직면한다. 부정 예제가 긍정 예제보다 현저히 많으며, 방대한 수의 배경 예제(또는 easy-negative 예제)가 학습을 압도한다. 가장 널리 사용되는 교차 엔트로피(CE) 기준은 실제로 정확도 지향적 목적 함수이며, 따라서 학습과 테스트 사이에 불일치를 만든다. 학습 시에는 각 학습 인스턴스가 목적 함수에 동일하게 기여하지만, 테스트 시에는 F1 점수가 긍정 예제에 더 큰 비중을 둔다. 본 논문에서는 데이터 불균형 NLP 태스크에서 표준 교차 엔트로피 목적 함수 대신 Dice 손실을 사용할 것을 제안한다. Dice 손실은 Sorensen-Dice 계수 또는 Tversky 지수에 기반하며, 거짓 양성과 거짓 음성에 유사한 중요도를 부여하고 데이터 불균형 문제에 더 강건하다. 학습에서 easy-negative 예제의 지배적 영향을 더 완화하기 위해, 학습 예제에 동적으로 조정된 가중치를 부여하여 easy-negative 예제의 비중을 낮추는 방법을 제안한다. 이론적 분석은 이 전략이 평가의 F1 점수와 학습의 Dice 손실 사이의 격차를 줄임을 보여준다. 제안된 학습 목적 함수로 광범위한 데이터 불균형 NLP 태스크에서 유의미한 성능 향상을 관찰하였다. 특히 품사 태깅 태스크에서 CTB5, CTB6, UD1.4에 대해 SOTA 결과를 달성하였고, 개체명 인식 태스크에서 CoNLL03, OntoNotes5.0, MSRA, OntoNotes4.0에 대해 SOTA 결과를 달성하였으며, 기계 독해 및 패러프레이즈 식별 태스크에서도 경쟁력 있는 결과를 얻었다.

arXiv:2607.24276v1cs.CL

토크나이저 세금: 인도 언어를 위한 서브워드 토큰화의 다국어 비용 정량화 및 설명

The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages

대규모 언어 모델(LLM)은 문자나나 단어를 직접 읽기보다 서브워드 토크나이저를 통해 텍스트를 처리한다. 이러한 토크나이저는 주로 영어 중심 코퍼스로 학습되기 때문에, 많은 비영어권 언어에 체계적이면서도 종종 간과되는 불리함을 초래한다. 본 연구에서는 FLORES-200 병렬 코퍼스를 사용하여 인도 언어에 대한 이러한 토크나이저 세금을 정량화하고, 6개의 널리 사용되는 토크나이저와 14개 언어에 걸쳐 토큰화(tokenization) 생성률(fertility)을 측정한다. cl100k_base(GPT-3.5 및 GPT-4에서 사용) 하에서 인도 언어는 영어 대비 평균 8.0배의 토큰화 세금을 겪으며, 말라얄람어에서는 13.0배에 달한다. 이는 동등한 의미 콘텐츠에 대해 영어 사용자에게 제공되는 것의 12%에 불과할 정도로 유효 컨텍스트 윈도우(context window)를 축소시킨다. 이러한 격차의 주요 메커니즘은 바이트-페어 병합(byte-pair merge) 실패로, 텍스트가 단일 바이트 토큰으로 분절되는 현상이며, 병합 실패는 토크나이저 세금과 강한 상관관계를 보인다(Pearson r = 0.89). 또한 이 현상이 인드 스크립트의 고유한 특성이 아니라 토크나이저 설계의 결과임을 보인다. XLM-R 및 OpenAI의 o200k_base와 같은 다국어 토크나이저는 평균 인도 언어 토크나이저 세금을 73% 줄여, 이러한 격차가 대부분 해소 가능함을 입증한다. 토큰 통계를 넘어, 고정된 컨텍스트 예산 하에서 인도 언어 문서가 동등한 영어 문서보다 원본 콘텐츠를 상당히 적게 보존함을 보여 실질적 결과를 정량화한다. 마지막으로 Belebele 벤치마크에서 토큰화 생성률과 독해 성능 간의 관계를 검토한 결과, 겉으로 보이는 상관관계는 토크나이저 동작만이 아니라 언어 자원 가용성에 의해 대부분 설명됨을 발견한다.

arXiv:2307.14544v2cs.CL

ADHD, 난독증, 짧은 주의력을 가진 학생을 위한 인공지능 기반 속독 도구

Speed Reading Tool Powered by Artificial Intelligence for Students with ADHD, Dyslexia, and Short Attention Span

이 논문은 난독증, ADHD, 짧은 주의력을 가진 학생들이 텍스트 기반 정보를 더 효율적으로 처리할 수 있도록 돕기 위해 설계된 인공지능 도구를 제시한다. 제안된 솔루션은 클라우드에 호스팅된 대규모 언어 모델(LLM)과 적응형 타이포그래피 서식을 결합하여 인지적 및 시각적 독서 장벽을 모두 해결한다. 핵심적으로, 이 도구는 Google의 Gemini API에 요청을 스트리밍하여 정확하고 문맥을 인식하는 요약을 실시간으로 생성하며, 로컬 모델을 호스팅하거나 파인튜닝할 필요를 없앤다. 애플리케이션은 붙여넣은 텍스트뿐 아니라 업로드된 .txt, .pdf, .docx 파일도 받아들이며, 각 소스를 독립적으로 추출하고 요약한다. 가독성을 더욱 최적화하기 위해, 시스템은 사용자 정의 반단어 굵게 표시 기법을 품사 태깅과 빈도 순위를 사용하여 진정한 키워드를 식별하고 강조하는 2차 패스와 함께 적용하며, 사용자가 줄, 단어, 글자, 텍스트 간격을 수동으로 조정할 수 있게 한다. Gemini로 요청을 프록시하는 경량 Flask 웹 프레임워크를 통해 배포된 이 시스템은 고도로 개인화되고 접근 가능한 사용자 인터페이스를 제공한다. 초기 결과는 이 통합 접근 방식이 읽기 속도와 이해도를 모두 크게 향상시켜, 대상 학생들이 더 큰 집중력으로 복잡한 텍스트 데이터를 소화할 수 있게 함을 보여준다.

arXiv:2607.20459v1cs.CL

THOR: 멀티홉 QA를 위한 Theta-Gamma 계층적 진동 추론 프레임워크

THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA

멀티홉 질의응답은 여러 맥락에서 증거를 검색하고 통합하는 것을 요구한다. 현재 연구가 빠르게 진전하고 있음에도 불구하고, 멀티홉 추론은 두 가지 지속적인 한계에 의해 제약받는다: 어텐션 감쇠(attention decay), 즉 추론 체인이 길어질수록 주요 질문에 대한 모델의 집중이 저하되는 현상, 그리고 오류 누적(error accumulation), 즉 실수가 홉을 거치며 전파되어 최종 실패로 누적되는 현상이다. 전역 계획을 지역 검색과 분리하고, 홉 간 효율적인 어텐션 전달을 가능하게 하며 잘못된 경로에서의 오류 누적을 차단하는 검증 및 복구 메커니즘을 제공하는 Theta-Gamma 계층적 진동에서 영감을 받아, 우리는 뇌에서 영감을 받은 Theta-Gamma 계층적 진동 추론 프레임워크인 THOR를 제안한다. 멀티홉 QA 벤치마크에 대한 광범위한 비교 실험과 구체적인 검증 실험은 THOR가 한계를 완화하면서 답변 정확도와 견고성을 향상시키며, 다양한 백본에 걸친 일반화 성능을 보여준다는 것을 입증한다.

arXiv:2607.09328v2cs.CL

WILDTRACE: 장문 컨텍스트 추론에서 자연적 증거 흔적 벤치마킹

WildTrace: Benchmarking Natural Evidence Trails in Long-Context Reasoning

긴 문서에서 복잡한 질문에 답하려면, 원문 자체가 멀리 떨어진 구절들에 걸쳐 자연스럽게 분산시킨 증거를 통합해야 하는 경우가 많다. 사고 보고서에서는 재난을 공동으로 설명하는 운영 조건, 설계 결함, 누락된 안전 점검이 수십 개의 섹션에 걸쳐 분산되어 나타날 수 있으며, 소설에서는 등장인물의 진짜 동기가 그것이 연관성을 갖는 순간과는 거리가 먼 장면들을 통해서만 드러날 수 있다. 이러한 원문 내부 증거 통합은 실제 장문서 분석의 핵심이지만, 기존 벤치마크들은 대체로 이를 회피해왔다. 니들 프로브(needle probe), 삽입된 사실(planted facts), 역설계된 다중 홉 체인(multi-hop chain)은 분포, 배치, 또는 어조 면에서 호스트 텍스트와 다를 수 있는 증거를 내장하므로, 높은 성능이 진정한 원문 추론을 반영하는지 아니면 분포적 아티팩트를 반영하는지 불분명하다. 우리는 기술적 사고 보고서 및 잘 알려지지 않은 문학적 서사와 같은 214개의 자연 발생 장문 원문에 걸쳐 481개의 태스크로 구성된 벤치마크인 WILDTRACE를 소개한다. 이 벤치마크에서 모든 증거 흔적은 문서 자체의 인과적·시간적·서사적 논리에서 비롯된다. 펄(Pearl)의 인과 계층 구조와 기존의 다중 홉 추론 유형론을 바탕으로, 장문서에서 분석적 독해의 고유한 관계적 요구를 특징짓는 일곱 가지 원문 내부 증거 기하학(source-internal evidence geometry)을 정의한다. 원문 우선 구성 파이프라인은 질문을 작성하기 전에 문서 구조에서 후보 흔적을 채굴하며, 각 항목은 단서 필요성, 답변 근거성, 루브릭 충실도, 오염 저항성 및 답변 가능성을 다루는 다단계 검증(validation)을 거친다. 모델이 실제 고위험 분석 태스크에 점점 더 많이 활용됨에 따라, 정보 접근과 자연스럽게 분산된 증거에 대한 추론 사이의 이러한 격차가 장문 컨텍스트 연구의 다음 단계를 정의하는 핵심 과제로 부상하고 있다.

arXiv:1905.05529v5cs.CL

다회차 질의응답으로서의 개체-관계 추출

Entity-Relation Extraction as Multi-Turn Question Answering

본 논문에서는 개체-관계 추출 과업을 위한 새로운 패러다임을 제안한다. 우리는 이 과업을 다회차 질의응답(multi-turn QA) 문제로 형식화하며, 즉 개체와 관계의 추출을 문맥에서 답변 스팬(answer span)을 식별하는 과업으로 변환한다. 이러한 다회차 QA 형식화는 여러 핵심 장점을 갖는다. 첫째, 질문 쿼리는 식별하고자 하는 개체/관계 클래스에 대한 중요한 정보를 인코딩한다. 둘째, QA는 개체와 관계를 공동으로 모델링하는 자연스러운 방법을 제공한다. 셋째, 잘 발달된 기계 독해(machine reading comprehension, MRC) 모델을 활용할 수 있다. ACE 및 CoNLL04 코퍼스에 대한 실험은 제안된 패러다임이 이전 최고 모델들을 크게 능가함을 보여준다. 우리는 ACE04, ACE05, CoNLL04 데이터셋 모두에서 최신 최고(state-of-the-art) 결과를 달성하였으며, 세 데이터셋의 SOTA 결과를 각각 49.4(+1.0), 60.2(+0.6), 68.9(+2.1)로 향상시켰다. 또한, 이전 데이터셋의 트리플릿 추출(triplet extraction)에서의 단일 단계 의존성 추출과 달리, 개체 의존성을 구성하기 위해 다단계 추론(multi-step reasoning)이 필요한 중국어 신규 데이터셋 RESUME을 구축한다. 제안된 다회차 QA 모델은 RESUME 데이터셋에서도 최고 성능을 달성한다.

arXiv:2607.11074v1cs.CL

ResearchQA: 과학 논문에서의 인용 근거 기반 질의응답 벤치마킹

ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers

대규모 언어 모델(LLM)은 과학적 읽기를 지원하는 데 점점 더 많이 활용되고 있지만, 기존 평가 방법은 답변이 검증 가능한 인용으로 뒷받침되는지를 탐지하는 데 흔히 실패한다. 우리는 8개 도메인과 4가지 질문 유형—조회(lookup), 이해(comprehension), 다단계 추론(multi-hop), 적대적(adversarial)—에 걸친 494편의 오픈 액세스 논문에서 6,211개의 단일 논문 질의응답 쌍으로 구성된 벤치마크 ResearchQA를 소개한다. ResearchQA는 인용 근거 기반 평가를 위해 설계되었으며, 하나의 주장에 대해 여러 유효한 근거 구절을 허용하고, 출처 논문이 답변을 뒷받침하지 않을 경우 근거 있는 거절(grounded refusal)에 보상을 부여한다. 우리는 결정론적 인용 매처와 LLM 기반 루브릭 평가기를 사용하여 인용 근거 기반 논문 대화 설정에서 8개의 주요 클로즈드 및 오픈 가중치 모델을 평가한다. 인용 기반 지표는 LLM 평가기 점수보다 시스템 간 차이를 더 명확하게 구분한다: 섹션 커버리지와 인용 정확도는 모델 간 상당한 차이를 보이는 반면, 평가기 점수는 좁은 범위로 집중되어 있다. 또한 오픈 가중치 모델이 최고 성능의 클로즈드 모델 인용 정확도에 근접하면서도 예제당 지연 시간을 3~6배 낮출 수 있음을 발견한다. 우리는 벤치마크, 평가 하네스, 평가기 프롬프트를 공개한다.

arXiv:2602.19598v2cs.CL

읽기 중 시선 추적: 오픈 라이브러리 지원을 갖춘 데이터셋의 리빙 서베이

Eye-Tracking-while-Reading: A Living Survey of Datasets with Open Library Support

읽기 중 시선 추적(eye-tracking-while-reading) 코퍼스는 다양한 학문 분야와 활용 사례에 걸쳐 귀중한 자원이다. 활용 사례는 읽기의 기저에 있는 인지 과정 연구부터, 독해 능력의 시선 기반 평가와 같은 머신러닝 응용에 이르기까지 다양하다. 지난 수십 년간 읽기 중 시선 추적 데이터셋의 수와 규모가 증가해 왔으며, 다루는 자극 언어, 참가자의 언어적 배경, 또는 동반되는 심리측정 및 인구통계 데이터 측면에서도 다양성이 높아졌다. 여러 학문 분야에 걸친 데이터의 분산과 커뮤니티 간 데이터 공유 표준의 부재로 인해, 상호운용성 부족 때문에 많은 기존 데이터셋을 쉽게 재사용할 수 없는 상황이다. 본 연구에서는 i) 기존 데이터셋과 그 특성에 대한 광범위한 개요를 제시하고, ii) 각 데이터셋의 55개 이상의 특성을 제공하는 리빙 개요(https://t.uzh.ch/1Yh)를 온라인에 게시하여 새로 생성된 데이터셋의 공유를 간소화하며, iii) 공개적으로 이용 가능한 모든 데이터셋을 시선 추적 데이터셋 라이브러리를 제공하는 파이썬 패키지 pymovements에 통합함으로써, 서로 다른 학문 분야에 걸친 기존 데이터셋과 그 특성에 대한 투명성과 명확성을 높이고자 한다. 이를 통해 읽기 중 시선 추적 연구에서 FAIR 원칙을 강화하고, 연구 재현 및 복제와 같은 바람직한 과학적 실천을 촉진하고자 한다.

arXiv:2607.08152v1cs.CL

LEXIC: 주입된 복잡도를 통한 경량 아이트래킹 확장

LEXIC: Lightweight Eye-tracking eXtension via Injected Complexity

EyeBench 벤치마크에서 언어 모델 없이 시선(gaze) 데이터만으로 읽기 이해도를 예측하기 위해, LEXIC은 GPT-2 surprisal·단어 빈도·단어 길이 등 사전 계산된 단어 난이도 신호를 AhnCNN 기반 모델에 주입하는 두 가지 경량 메커니즘(LEXIC-Concat, LEXIC-Res)을 제안한다. OneStop 과제에서 두 메커니즘 모두 미학습 텍스트 기준 AUROC를 최대 +2.2pp 향상시켰으며, LEXIC-Concat은 미학습 독자에서도 +2.9pp의 통계적으로 유의미한 성능 향상을 달성해 추론 시 언어 모델 실행 없이 BEyeLSTM 수준의 성능에 도달했다.

arXiv:2607.08284v1cs.AI

PredicateLongBench를 통한 장문 컨텍스트 태스크의 난이도 축 이해

Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench

PredicateLongBench은 장문 컨텍스트 추론 능력을 평가하기 위해 모델이 주어진 술어(predicate) 조건(예: 사전순 정렬)을 만족하는 가장 긴 연속 부분 수열을 찾도록 요구하는 새로운 벤치마크로, 연산 복잡도·적대적 디코이·탐색 공간 크기 등 다양한 난이도 축을 체계적으로 탐색한다. 실험 결과 GPT, Opus 등 최전선 모델들도 난이도가 높아질수록 성능이 크게 저하됨을 확인하였으며, 특히 이진 술어 태스크와 전칭 양화사(universal quantifier) 조건에서 어려움을 보였다.

arXiv:2607.04107v2cs.CL

자연스러운 읽기 중 N400 및 P600 역학을 형성하는 의미 통합과 어휘 기대

Contextual Semantic Relevance and Word Surprisal Predict N400 and P600 Dynamics During Naturalistic Reading

자연스러운 읽기(naturalistic reading) 중 단어 수준의 EEG 반응을 예측하는 데 있어 GPT 기반 단어 놀라움(word surprisal)과 어텐션 인식 맥락적 의미 관련성(contextual semantic relevance)의 상보적 역할을 DERCo 코퍼스에서 22명의 참가자를 대상으로 비교 분석하였다. 두 지표 모두 N400 및 P600 구간의 EEG 반응과 유의한 연관성을 보였으나, 맥락적 의미 관련성은 특히 P600 구간에서 어휘 통제 변수와 놀라움을 넘어서는 독립적인 설명력을 제공하여 어휘 기대와 국소적 의미 통합이 언어 이해의 신경 역학에 함께 기여함을 시사한다.

arXiv:2606.28329v1cs.IR

$M^3 QuestionIng$: 멀티모달 멀티스팬 의료 질의응답

$M^3 QuestionIng$: Multi-modal Multi-span Medical Question Answering

의료 분야, 특히 예방 의료에서의 AI 도입이 증가함에 따라 의료 질의응답(MedQA)의 접근성과 정밀도에 대한 필요성이 부각되고 있다. 최근 몇 년간, 쿼리에 대한 답변이 원본 문서의 여러 섹션 또는 단락에 걸쳐 있을 수 있는 멀티스팬 의료 질의응답 시스템 개발에 상당한 노력이 기울여졌다. 그러나 기존 시스템들은 원본 문서에 텍스트와 시각적 콘텐츠가 모두 포함되어 있고 더 나은 이해를 위해 이미지를 포함한 답변이 필요한 실제 시나리오와 부합하지 못한다. 이러한 격차를 해소하기 위해, 우리는 다양한 텍스트 및 시각적 스팬에서 추출된 포괄적인 답변 생성을 강화하기 위해 시각적 단서를 활용하는 멀티모달 멀티스팬 의료 질의응답 프레임워크인 $M^3QAFrame$을 제안한다. 이 모델은 컨텍스트, 쿼리, 이미지를 입력으로 받아 텍스트 답변과 관련 이미지를 모두 포함한 답변을 출력한다. 텍스트 및 이미지 임베딩은 트랜스포머 기반 아키텍처를 통해 처리되어 문장 및 이미지 관련성을 판단한다. 우리는 쿼리, 의료 컨텍스트, 관련 의료 이미지, 추출적 답변을 포함하는 멀티모달 멀티스팬 의료 질의응답($M^3 QuestionIng$) 데이터셋을 구축하였다. 또한, 쿼리와 컨텍스트 이해를 향상시키기 위해 각 쿼리-답변 쌍에 사용자 의도와 쿼리 유형이 레이블링되었다. 광범위한 실험을 통해, 우리의 접근 방식이 다양한 평가 지표에서 기존 방법들을 일관되게 능가함을 확인하였다.