PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11414v1cs.CL

자신 있게 틀리다: LLM 내부 상태로부터 금융 질의응답의 환각 탐지

Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States

금융 애플리케이션에서 대규모 언어 모델(LLM)은 자신 있게 틀릴 때 가장 심각한 실패를 초래한다. 불확실성이 드러난 답변은 검토를 유도하는 반면, 자신감 있는 오류는 경고 없이 하위 의사결정을 조용히 저하시킨다. 본 연구에서는 이러한 자신 있는 오답, 즉 확신에 찬 환각(confident hallucination)을 모델의 내부 활성화(internal activations)로부터 얼마나 신뢰성 있게 탐지할 수 있는지, 그리고 해당 활성화가 관측 가능한 출력 이상의 정보를 담고 있는지를 탐구한다. 우리는 잔류 스트림(residual stream)에 선형 프로브(linear probes)를 학습시키고, 실제 공시 문서 기반으로 구축된 두 가지 기존 질의응답(QA) 벤치마크인 FinQA와 TAT-QA에서 이를 평가한다. 행동적 신뢰도(behavioral confidence)는 동일 질문에 대해 8회 재샘플링된 답변 간의 일치도로 측정하며, 프로브의 효과는 토큰 로그-확률 및 모델 자체의 True/False 자기 평가와 같은 기준선(baseline) 방법과 비교한다. 실험 결과, 8회 재샘플링 결과가 모두 일치하는 확신 있는 답변 중 FinQA에서 15~23%가 오답임을 확인했다. 이 경우 프로브는 환각 탐지에서 기준선 방법에 비해 유의미한 우위를 보였으며, Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 전반에 걸쳐 0.68~0.77 AUROC를 기록한 반면 최상의 기준선은 0.55~0.63에 그쳤다. 본 결과는 프로빙(probing)이 고위험 금융 애플리케이션에서 LLM 답변을 인간 검토 및 품질 관리 절차로 라우팅하기 위한 비용 효율적인 트리아지(triage) 메커니즘이 될 수 있음을 시사한다.

arXiv:2607.11400v1cs.CL

법률 정보 처리를 위한 크로스 아키텍처 LLM 앙상블, 특징 기반 재순위화 및 검색-증강 프롬프팅

Cross-Architecture LLM Ensembles, Feature-Based Reranking and Retrieval-Augmented Prompting for Legal Information Processing

법률 정보 처리는 검색, 함의(entailment), 판결 예측 문제를 포괄하며, 제한된 감독 하에서 텍스트 매칭, 추론, 강건한 일반화를 요구한다. 우리는 Team DU의 COLIEE 2026 전체 5개 태스크 참여 결과를 보고하며, 법률 판례 검색, 판례 함의, 법령 검색 및 함의, 법률 판결 예측에 오픈 가중치 시스템을 사용하였다. 태스크 3과 4의 경우, 모든 모델은 규정에서 요구하는 2025년 7월 15일 마감 기준일 이전의 것이다. 태스크 4(법령 함의)에서, 세 개 계열의 9개 모델로 구성된 크로스 아키텍처 앙상블이 96.3% 정확도를 달성하여 11개 팀의 33개 제출물 중 1위를 기록하였다. 파일럿 태스크(불법행위 예측 및 근거 추출)에서, 5개의 청구 수준 모델을 결합하고 청구 예측에서 도출된 특징을 사용하여 판결을 정제하는 멀티뷰 시스템이 비공식 제출물로서 73.1% TP 정확도와 68.2% RE F1을 달성하여, TP에서 모든 공식 제출물을 상회하고 RE에서 최고 점수와 동등하였다. 태스크 2(법률 판례 함의)에서, 프롬프트를 단일 선택에서 다중 선택으로만 변경하면 공개된 정답 레이블에 대한 대회 후 평가에서 F1이 0.343에서 0.555로 향상되어 최고 공식 제출물(F1 = 0.490)을 초과하였다. 태스크 3(법령 검색 및 함의)에서, 함의 모델을 Qwen3-235B와 구조화된 법률 추론 프롬프트로 교체하면 대회 후 분석에서 정확도가 79.3%에서 91.5%로 향상되었다. 태스크 1(법률 판례 검색)에서, 어휘적 및 의미적 검색을 구조적, 인용 권위, 시간적 특징(총 34개)과 결합한 학습-투-랭크(learning-to-rank) 시스템이 F1 = 0.314를 달성하였다(22개 팀의 54개 제출물 중 11위). 전반적으로, 법률 정보 처리는 태스크별로 서로 다른 귀납적 편향(inductive bias)으로부터 이점을 얻으며, 크로스 아키텍처 앙상블링, 특징 기반 재순위화, 검색-증강 프롬프팅 각각이 서로 다른 환경에서 가장 효과적임이 입증되었다.

arXiv:2607.11399v1cs.CL

에이전틱 라우팅: 하네스 네이티브 데이터 플라이휠

Agentic Routing: The Harness-Native Data Flywheel

대규모 언어 모델(LLM) 에이전트는 단일 모델 호출이 아닌, 관찰, 컨텍스트, 제어, 액션, 상태, 검증을 관리하는 실행 하네스(execution harness)에 의해 점점 더 많이 실행되고 있다. 동시에 프론티어 모델과 오픈 모델은 구조적으로 특화되어 가고 있다: 코드 편집, 장문 컨텍스트 복구(long-context recovery), 도구 사용(tool use), 수학적 추론, 또는 저지연 응답에 강한 모델이 다른 축에서는 우위를 점하지 못할 수 있다. 이는 에이전트 내부에서의 모델 선택을 쿼리별 서빙 기법이 아닌 핵심 시스템 문제로 만든다. 기존 라우팅 방법들은 대부분 단일 턴의 비용-품질 트레이드오프를 최적화하므로, 에이전트를 채팅 완성(chat completion)과 다르게 만드는 실행 상태, 중간 실패, 피드백 루프를 놓친다. 우리는 하네스 네이티브 에이전틱 라우팅(Harness-Native agentic routing)을 제안한다. 이는 전체 하네스 상태를 조건으로, 비용 효율적인 실행을 위한 단일 최적 모델 또는 앙상블 방식의 정확도 향상을 위한 다수의 상호 보완적 모델을 선택하는 단계 수준(step-level) 라우팅 패러다임이다. 핵심 통찰은, 모든 라우팅 결정이 자연스럽게 구조화된 데이터 레코드를 생성한다는 것이다. 이 레코드는 쿼리, 하네스 상태, 모델 선택 또는 모델 집합, 실행 트레이스(execution trace), 결과, 비용으로 구성되며, 레이블은 라우터 자체가 아닌 환경에 의해 제공된다. 이 레코드들은 하네스 네이티브 데이터 플라이휠을 형성한다: 실행 트레이스는 더 나은 라우터와 하네스 네이티브 모델을 학습시키고, 이는 비용-품질 트레이드오프를 개선하며 동일한 예산 하에서 더 많은 트레이스를 생성한다. 우리는 이 아이디어를 OpenSquilla에서 4층 라우팅 스택, 오픈 LightGBM 콜드 스타트 랭커(cold-start ranker), 그리고 로깅된 아레나 레코드를 점진적으로 더 강력한 라우팅 정책으로 전환하는 단계적 라우터-모델 경로로 구현한다. 본 보고서는 DRACO와 PinchBench를 포함한 에이전틱 벤치마크에서 싱글톤(singleton) 및 멀티 모델 라우팅을 연구하고, 에이전틱 라우팅이 단순한 비용 제어가 아니라 에이전트 네이티브 학습을 위한 데이터 엔진임을 주장한다.

arXiv:2607.11363v1cs.CL

샐리-앤을 넘어서: 인식론적 셸링 포인트를 활용한 대규모 언어 모델의 마음 이론 평가

Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

대규모 언어 모델(LLM)의 마음 이론(Theory of Mind, ToM)에 대한 텍스트 기반 평가는 흔히 샐리-앤 과제와 유사한 인지 검사를 수반하는데, 이러한 검사는 사전학습 중 유사한 과제에 대한 노출로 인해 편법이 가능하며, 자연스러운 환경으로 일반화되는 방식으로 모델의 기능적 ToM 능력을 명확히 검증하지 못한다. 이러한 문제를 해결하기 위해, 우리는 강건하고 일반화 가능한 ToM 능력을 벤치마크하기 위해 설계된 2인 대화 게임인 인식론적 비대칭 셸링 과제(EAST, Epistemic Asymmetry Schelling Task)를 소개한다. LLM-LLM 쌍이 다양한 인식론적 투명성 조건 하에서 독립적으로 의미론적 셸링 포인트에 수렴하도록 요구함으로써, 모델이 조율을 달성하기 위해 ToM을 강건하게 적용할 수 있는지를 평가한다. 우리의 결과는 기능적 사회적 추론에서 상당한 능력 격차를 드러내며, 프론티어 모델만이 과제의 다양한 인식론적 요구를 성공적으로 처리하는 것으로 나타났다. 추론 흔적 분석을 통해, 조율 실패가 주로 사적 지식과 공유 지식을 혼동하는 것과 같은 인식론적 추적 오류에 의해 야기됨을 밝혔다. 전통적인 정적 벤치마크에서 높은 성능을 보임에도 불구하고, 본 연구는 강건한 사회적 추론과 인식론적 추적이 여전히 핵심적인 병목으로 남아 있음을 보여주며, 향후 LLM 평가 및 개발을 위한 구체적인 목표를 제시한다.

arXiv:2607.11358v1cs.CL

RefineEvo: 양방향 경험을 활용한 계획 기반 휴리스틱 진화

RefineEvo: Planning-Guided Heuristic Evolution with Bidirectional Experience

자동 휴리스틱 설계(AHD)는 조합 최적화 문제를 해결하기 위한 혁신적인 접근법으로 부상하고 있다. 최근 대규모 언어 모델(LLM) 기반 방법들이 가능성을 보이고 있으나, 이러한 방법들은 주로 고정된 진화 연산자에 의존하며 과거 탐색 경험을 효과적으로 축적하고 재활용하는 데 어려움을 겪는다. 본 논문은 AHD를 정적인 시행착오 과정에서 계획 기반의 경험 중심 시스템으로 전환하는 새로운 진화 프레임워크인 RefineEvo를 제안한다. RefineEvo는 현재 탐색 상태에 따라 진화 연산자를 동적으로 스케줄링하고 정제를 트리거하는 Planner와, 긍정적 통찰과 부정적 함정을 모두 담은 양방향 경험 풀(Bidirectional Experience Pool)에 귀중한 교훈을 증류하는 Reflector를 도입한다. 이 시너지적 프레임워크는 문제의 진화하는 복잡성에 맞게 탐색 도구를 적응시키고, 궤적 인식 및 상황 조건부 통찰을 활용하여 생성을 안내할 수 있게 한다. 여러 고전적 조합 최적화 벤치마크에 대한 실험에서 RefineEvo는 강력한 기준 모델들을 일관되게 능가하는 것으로 나타났다. 특히 RefineEvo는 토큰 효율성을 개선하면서 우수한 솔루션 품질을 제공하여, 보다 효율적이고 자율적인 휴리스틱 설계를 가능하게 한다.

arXiv:2607.11353v1cs.CL

카탈로그 작성을 위한 AI 모델 특성 분석

Characterising AI Models for Cataloguing

디지털 컬렉션의 구축은 콘텐츠의 디지털화뿐만 아니라 해당 콘텐츠에 대한 카탈로그 레코드 생성을 수반한다. 흔히 간과되는 이 작업은 전문가의 수작업을 필요로 하며, 느리고 비용이 많이 든다. 본 프로젝트에서는 이 작업에 대한 AI 모델의 적용을 평가하고, 다양한 구현 방식과 모델을 비교하였다. 본 연구에는 수행된 실험에 대한 정성적·정량적 평가와 함께, 특정 사용 사례를 넘어 AI 모델 활용에 관한 권고 사항이 포함되어 있다.

arXiv:2607.11292v1cs.CY

온정주의적 필터: 소외된 루마니아 학생을 위한 LLM 매개 역사 교육에서의 인식론적 불의와 차등적 거부

The Paternalistic Filter: Epistemic Injustice and Differential Refusal in LLM-Mediated History Education for Marginalized Romanian Students

대규모 언어 모델(LLM)이 대화형 튜터로 점점 더 많이 배포됨에 따라, 구조적 불평등을 제도화할 위험이 제기된다. 본 연구는 역사 튜터 역할을 하는 네 개의 LLM에 대한 체계적인 API 감사를 제시하며, 민족성과 사회경제적 계층에 따라 다른 다섯 가지 학생 페르소나에 걸쳐 1989년 루마니아 혁명에 관한 1,800개의 응답을 평가한다. 우리는 \emph{인식론적 온정주의}의 네 가지 상호 연결된 패턴을 발견한다: (1)~\textbf{차등적 거부(Differential Refusal)}: 안전성 정렬(safety-aligned) 모델이 하위 계층 학생들의 교육적 요청 중 76.7\%를 차단하는 현상; (2)~\textbf{인식론적 문지기 역할(Epistemic Gatekeeping)}: 소외된 학습자의 지정학적 복잡성(예: 논쟁적인 '쿠데타 이론')에 대한 접근이 3$\times$ 감소하는 현상; (3)~\textbf{행위 주체성 박탈(Agency Theft)}: LLaMA와 같은 모델이 로마(Roma) 학생들에 대해 엘리트 동료 대비 5$\times$ 높은 피해화-정치 어휘 비율을 생성하는 어휘적 변화; (4)~\textbf{엘리트 해석학(Elite Hermeneutics)}: AI 튜터가 저자원 인구 통계 프로파일에 대해 인식론적 확신 및 정당화 점수를 불균형적으로 보류하는 현상. 우리는 현재의 안전성 정렬이 온정주의적 필터로 작동하여 대화형 AI를 서사 분리의 에이전트로 변환시킨다고 주장한다 -- 이는 Fricker~\cite{fricker2007}의 의미에서 \emph{해석학적 불의}의 발현으로, 긴급한 교육학적 감사를 요구한다.

arXiv:2607.11276v1cs.CL

다중 에이전트 LLM 시스템을 활용한 자동화된 교과서 감사

Automated Textbook Auditing with Multi-Agent LLM Systems

교육 자료의 품질을 보장하려면 표준적인 교정 이상의 작업이 필요합니다. 교과서는 사실적 정확성, 도메인별 기술적 정확성, 언어적 품질을 동시에 감사해야 하며, 이는 범용 문법 검사기로는 해결할 수 없는 과제입니다. 본 논문에서는 교과 영역에 걸쳐 교육 자료의 자동화된 품질 보증을 위한 모듈식 다중 에이전트 파이프라인인 AI Textbook Auditor를 제안합니다. 이 시스템은 교과서 PDF를 입력받아 두 가지 분석 트랙을 통해 구조화된 인간 검토 가능 보고서를 생성합니다. 첫 번째는 사실 및 기술 트랙(Factual and Technical Track)으로, 특화된 LLM 에이전트 앙상블이 사실 오류, 코드 오류, 잘못된 정의, 개념적 불일치를 탐지하며 인문학 도메인에는 웹 검색이 보강됩니다. 두 번째는 발음 부호 인코딩을 보존하기 위해 PDF 네이티브 방식으로 작동하는 문법 트랙(Grammar Track)입니다. 판정 에이전트(Judge Agent)는 도메인별 규칙을 사용하여 거짓 양성을 필터링한 후 결과를 인간 검토자에게 제시합니다. 파이프라인은 비전 네이티브 페이지 렌더링과 PyMuPDF 텍스트 추출의 두 가지 수집 모드를 지원하며, 주제별 오류 분류 체계를 인코딩한 커스텀 프롬프트를 통해 도메인 적응이 가능합니다. 본 시스템을 루마니아 고등학교 교과서 두 권에 적용하여 시연합니다. CS 교과서에서는 7개 범주에 걸쳐 56건의 기술적 소견이 도출되었으며 전문가 검증 정밀도는 62.5%였고, 역사 및 사회과학 교과서에서는 사실 오류, 이념적 바이어스, 문법을 아우르는 72건의 소견이 도출되었습니다. 이 시스템은 후보 문제를 찾는 수작업 부담을 줄이기 위한 트리아지(triage) 도구로 설계되었으며, 편집 조치 전에 반드시 인간 전문가의 검증이 필요합니다.

arXiv:2607.11267v1cs.IR

인간 피드백을 통한 대규모 언어 모델 향상: 자기 개선을 향한 여정

Enhancing LLMs through human feedback: a journey towards self-improvement

빠르게 진화하는 정보 검색 시스템 환경에서 사용자 피드백을 통해 적응하고 개선하는 능력은 매우 중요하다. 본 연구는 보조 피드백 검색-증강 생성(RAG) 시스템을 전략적으로 통합하여 주 RAG 시스템의 성능을 개선하는 새로운 방법론을 제안한다. 인간이 생성한 피드백을 체계적으로 활용함으로써, 응답의 정확성, 관련성, 전반적인 품질을 향상시키고 시스템이 자기 개선을 향해 나아가도록 한다. 이 방법론의 핵심은 인간 참여 루프(human-in-the-loop) 구현으로, 사용자 피드백이 지속적으로 수집·분류되어 추론 워크플로에 통합됨으로써 시스템이 반복적으로 학습하고 발전할 수 있게 한다. 이 접근법의 효과를 검증하기 위해, 본 연구는 일반 도메인 및 커스텀 도메인 지식에 초점을 맞춘 세 가지 다양한 벤치마크 데이터셋을 대상으로 엄격한 테스트를 수행하며, LLM-as-a-judge 평가 전략을 활용한다. 이 포괄적인 프레임워크는 RAG 시스템에서 피드백 기반 개선의 혁신적 잠재력을 부각시킬 뿐만 아니라, 적응형 정보 검색 기술의 미래 연구를 위한 선례를 제시하며, 사용자 참여를 통한 자율적 개선 및 최적화를 향한 여정에서 중요한 진전을 이룬다.

arXiv:2607.11215v1cs.CL

Q-BridgeNet: 교차 언어 수어 번역을 위한 양자화 네트워크

Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation

대부분의 수어 번역(SLT) 방법은 고립된 단일 언어 수어-음성 언어 쌍(예: 미국 수어 - 영어)에 초점을 맞추고 있다. 언어별 SLT 모델을 다국어 번역으로 확장하면 다양한 수어 및 음성 언어 커뮤니티 간의 의사소통이 가능해져 접근성이 향상될 수 있다. 그러나 기존의 다국어 SLT 접근법은 교차 언어 충돌을 최소화하면서 공유된 교차 언어 의미론을 포착하고 서로 다른 수어에 걸친 언어별 변이를 보존하는 통합 모델을 학습하는 데 여전히 어려움을 겪고 있다. 이에 우리는 수어 측과 음성 언어 측 모두에서 교차 언어 충돌을 공동으로 완화하는 다국어 SLT 통합 프레임워크인 Q-BridgeNet을 제안한다. 수어 측에서는 Q-BridgeNet이 적응적 분할(adaptive segmentation)과 잔차 벡터 양자화(residual vector quantization)를 통해 이산 Q-단위(Q-units)를 학습한다. 공유 기반 코드북(codebook)은 언어 독립적 의미 기본 단위를 제공하고, 언어별 잔차 코드북은 이질적인 수어 의미론을 정제한다. 음성 언어 측에서는 다국어 대규모 언어 모델(LLM)을 Q-단위 공간에서 동작하도록 파인튜닝하여 교차 언어 사전 지식을 활용함으로써 통합 SLT 모델을 구현한다. PHOENIX14T, How2Sign, CSL-Daily에 대한 실험에서 Q-BridgeNet은 교차 언어 충돌을 효과적으로 완화하여 기본 수어-음성 언어 쌍에서 최첨단 성능을 달성하는 동시에 비기본 쌍에 대해서도 강력한 일반화 성능을 보인다. 소스 코드는 https://github.com/FengLiQ/Q-BridgeNet 에서 공개적으로 이용 가능하다.

arXiv:2607.11213v1cs.CL

목표 도메인이 변화할 때: 고부담 영어 언어 평가에서 AI 매개 구인 표류

When the Target Domain Changes: AI-Mediated Construct Drift in High-Stakes English Language AssessmenW

고부담 영어 능숙도 시험은 표준화된 무보조 수행을 학문적 영어 능숙도에 관한 점수 해석의 근거로 취급한다. 이 해석은 여전히 유의미하지만, 목표 언어 사용 도메인이 생성형 AI를 점점 더 많이 포함하게 됨에 따라, 무보조 시험 수행에서 학문적 의사소통 준비도로의 외삽은 자명하지 않게 된다. 이 개념적 타당도 논거는 AI를 고부담 언어 시험에서 점수 해석 문제로 재구성하며, 단순히 채점·피드백·보안·부정행위의 운영적 문제로만 보지 않는다. 세 가지 불균등한 층위에서 현재 문헌을 종합한 이 논문은, 대부분의 연구가 AI를 평가 인프라로 취급하는 반면 AI가 구인 타당도(construct validity)와 외삽 근거에 미치는 함의를 이론화하는 연구는 훨씬 적다는 것을 보여준다. 논문은 AI 매개 구인 표류(AI-mediated construct drift)를, 목표 도메인에서 요구되는 의사소통 능력이 AI 매개를 통해 변화하는 반면 시험 구인은 무보조 수행 모델에 고정된 채로 유지될 때 발생하는 불일치로 정의한다. 또한 타당도 지향 설계 원칙으로서 제한된 AI 매개(bounded AI mediation)를 제안한다. 이는 모든 시험 응시자가 동일한 기관 통제 AI 어시스턴트에 접근하되, 사전 정의된 지원 경계, 기록된 상호작용, 그리고 이해 지원과 답변 생성을 구분하는 과제를 갖는 표준화된 조건이다. 논문은 AI 매개 학문적 의사소통에 관한 주장을 뒷받침하는 데 점수 해석이 활용될 경우, 해당 해석의 범위를 축소하고 보완해야 한다고 주장한다.

arXiv:2607.11207v1cs.CL

ProgramTab: 프로그래밍 패러다임을 통한 LLM의 테이블 추론 향상

ProgramTab: Boosting Table Reasoning of LLMs via Programmatic Paradigm

대규모 언어 모델(LLM)을 활용한 테이블 기반 추론은 자연어 질문과 구조화된 테이블 데이터를 기반으로 추론을 수행하는 작업으로, 최근 广범위한 주목을 받고 있다. 그러나 여러 문제들이 이 작업의 실용화를 여전히 제약하고 있다. 기존 접근법들은 긴 텍스트 모델링의 어려움과 LLM의 입력 길이 제한으로 인해 대형 테이블을 처리할 때 성능이 크게 저하되는 문제를 겪었다. text-to-SQL 방식은 테이블에서 핵심 정보를 효율적으로 추출하고 더 작은 하위 테이블을 생성하는 데 활용되어 왔다. 그러나 테이블 데이터, 특히 웹 테이블은 필요한 구조와 일관성이 부족한 경우가 많아 SQL 쿼리를 통한 수학적 논리 연산 수행에 적합하지 않다. 본 논문에서는 LLM이 문맥 내 학습(in-context learning)을 활용하여 Python 코드로 테이블 데이터 전처리를 수행하고, 행 및 열 추출과 SQL 생성을 통해 중요 내용을 추출하도록 유도하는 ProgramTab 프레임워크를 제안한다. 테이블 추론 데이터셋에 대한 실험 결과, ProgramTab 프레임워크는 테이블 기반 추론 작업을 효과적으로 처리하며 모든 LLM 기반 베이스라인을 능가하는 성능을 보였다.

arXiv:2607.11131v1cs.CL

TIGER: 멀티모달 추측적 디코딩을 위한 수락 정렬 기반 텍스트 조건부 비주얼 게이팅 라우팅

TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding

추측적 디코딩(speculative decoding)은 경량 초안 모델(drafter)이 여러 토큰을 제안하고 더 큰 타겟 모델이 이를 검증하는 방식으로 자기회귀 생성을 가속화한다. 텍스트 전용 대규모 언어 모델(LLM)에서는 효과적이지만, 비전-언어 모델(VLM)에서는 초안 모델이 시각적으로 중요한 내용에서 자주 이탈하기 때문에 추측적 디코딩의 이득이 제한적이며, 기존 멀티모달 가속 방법들은 무관한 시각적 증거를 직접 처리하거나 속도 향상을 결정하는 검증 모델의 수락 접두 문맥 길이를 최적화하지 않는다. 우리는 멀티모달 추측적 디코딩을 위한 텍스트 조건부 비주얼 게이팅 라우팅(Text-conditioned vIsual GatEd Routing) 프레임워크인 TIGER를 제안한다. TIGER는 전체 비주얼 토큰 집합이나 고정된 압축 인터페이스를 노출하는 대신, 초안 모델의 현재 텍스트 상태에 기반하여 컨텍스트와 관련된 희소한 비주얼 토큰 집합을 동적으로 선택한다. 학습과 추론 시 효율성을 더 잘 정렬하기 위해, KL 앵커링을 활용한 증류 워밍스타트 위에서 수락된 접두 문맥 길이 기반 검증 모델 유도 보상을 사용하는 수락 정렬 그룹 기반 정책 학습으로 초안 모델을 최적화한다. 이를 통해 초안 모델이 타겟 모델을 모방하는 것뿐만 아니라, 더 긴 접두 문맥에서 검증을 통과하는 추측적 연속 생성을 만들어내도록 유도한다. 실험 결과, TIGER는 정확한 검증 측 추측적 디코딩 환경에서 수락된 접두 문맥 길이와 추측적 속도 향상에서 일관된 이득을 제공하며, 비주얼 라우팅 분석에서 비교 가능한 다운스트림 정확도로 유리한 품질-지연 시간 트레이드오프를 달성한다.

arXiv:2607.11127v1cs.CL

대규모 언어 모델은 법적 인용을 조작하는가? 사우디 개인정보보호법과 GDPR에 관한 이중언어 벤치마크

Do LLMs Fabricate Legal Citations? A Bilingual Benchmark on Saudi Data Protection Law and the GDPR

조직과 규제 기관이 법규 준수 관련 질문에 대규모 언어 모델(LLM)을 점점 더 많이 활용하고 있지만, 잘못된 법령 인용은 법률 자문, 컴플라이언스 문서, 정책 결정에 조용히 파고들 수 있다. 본 연구는 두 가지 개인정보보호 법제—EU 일반 개인정보보호 규정(GDPR)과 사우디 개인정보보호법(PDPL)—에 대해 자유롭게 접근 가능한 LLM이 조항 인용을 조작하는지 여부를 검증하는 120개 질문으로 구성된 이중언어 벤치마크를 제안한다. 이 벤치마크는 직접 인용 검색 질문과 허위 전제 검증 탐침, 그리고 의도적으로 답할 수 없는 "함정" 질문—폐지된 조항에 관한 질문과 법률 자체가 아닌 시행령에만 존재하는 기한에 관한 질문 포함—을 쌍으로 구성한다. 모든 질문은 아랍어와 영어로 동시에 제시되며, 채점은 수동으로 검증된 정답 기준에 따라 완전 자동으로 이루어진다. 자유롭게 접근 가능한 세 가지 모델(Gemini 2.5 Flash, GPT-OSS-120B, Nemotron-3-Super-120B)을 평가한 결과, 극명한 법적 관할권 격차가 나타났다: GDPR에 대한 인용 정확도는 최고 수준에 근접(직접 검색에서 94~100%)한 반면, 사우디 PDPL에 대해서는 조회 언어와 무관하게 과반수의 조작(60~77%)이 발생했다. 가장 높은 조작 비율(67%)은 법률과 시행령의 혼동에서 비롯되었으며, 조작된 인용의 91%는 신뢰도 0.8 이상으로 단언되었다. 조작 경향은 법률의 관할권을 따르며 질의 언어와는 무관했고, 모델 신뢰도는 어떠한 보호도 제공하지 않았다. 이는 기관이 컴플라이언스 심사에 LLM을 의존할 때 모델 자체 신뢰도가 아닌 원문 검증 안전장치가 반드시 게이트 역할을 해야 함을 시사한다.

arXiv:2607.11109v1cs.IR

생성형 중국 법령 검색

Generative Chinese Statute Retrieval

법령 검색(statute retrieval)은 법률 정보 검색의 핵심 태스크이지만, 기존 접근법은 구어체 법률 질의와 공식 법령 언어 간의 간극을 해소하는 데 어려움을 겪고 있다. 본 논문에서는 법령 검색을 시퀀스 생성 문제로 재정의하고 법령 지식을 생성 모델에 내재화하는 생성형 법령 검색 프레임워크 GCSR을 제안한다. 구체적으로, 법적 계층 구조와 의미 정보를 인코딩하는 다중 세분성 구조화된 문서 ID(docid)와 멀티태스크 학습 전략을 제안한다. 실험 결과, GCSR은 강력한 희소(sparse), 밀집(dense) 및 법률 도메인 기준선 모델들을 일관되게 능가하는 것으로 나타났다. 본 연구의 결과는 법령 검색에 있어 생성형 검색의 효과성을 입증하며, 더 광범위한 법률 정보 접근 및 다운스트림 법률 추론 태스크에 대한 잠재력을 부각시킨다.

arXiv:2607.11074v1cs.CL

ResearchQA: 과학 논문에서의 인용 근거 기반 질의응답 벤치마킹

ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers

대규모 언어 모델(LLM)은 과학적 읽기를 지원하는 데 점점 더 많이 활용되고 있지만, 기존 평가 방법은 답변이 검증 가능한 인용으로 뒷받침되는지를 탐지하는 데 흔히 실패한다. 우리는 8개 도메인과 4가지 질문 유형—조회(lookup), 이해(comprehension), 다단계 추론(multi-hop), 적대적(adversarial)—에 걸친 494편의 오픈 액세스 논문에서 6,211개의 단일 논문 질의응답 쌍으로 구성된 벤치마크 ResearchQA를 소개한다. ResearchQA는 인용 근거 기반 평가를 위해 설계되었으며, 하나의 주장에 대해 여러 유효한 근거 구절을 허용하고, 출처 논문이 답변을 뒷받침하지 않을 경우 근거 있는 거절(grounded refusal)에 보상을 부여한다. 우리는 결정론적 인용 매처와 LLM 기반 루브릭 평가기를 사용하여 인용 근거 기반 논문 대화 설정에서 8개의 주요 클로즈드 및 오픈 가중치 모델을 평가한다. 인용 기반 지표는 LLM 평가기 점수보다 시스템 간 차이를 더 명확하게 구분한다: 섹션 커버리지와 인용 정확도는 모델 간 상당한 차이를 보이는 반면, 평가기 점수는 좁은 범위로 집중되어 있다. 또한 오픈 가중치 모델이 최고 성능의 클로즈드 모델 인용 정확도에 근접하면서도 예제당 지연 시간을 3~6배 낮출 수 있음을 발견한다. 우리는 벤치마크, 평가 하네스, 평가기 프롬프트를 공개한다.

arXiv:2607.11053v1cs.CL

격률 위반은 자기 책임: 인식론적 비대칭 하에서 화용적 협력성에 어려움을 겪는 LLM

Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry

풍성한 협력은 추론에 통합할 맥락적 단서를 포함한 협력적 의사소통에 의존한다. 협력적·에이전트 파이프라인에서 대규모 언어 모델(LLM)의 사용이 증가함에 따라, 특히 협력자와 동일한 정보에 접근하지 못할 수 있는 시나리오에서 LLM이 이러한 화용적 역량을 어느 정도 발휘하는지에 대한 의문이 제기된다. 본 논문에서는 부분 정보 조건하의 다자간 협력 과제에서 LLM의 화용적 추론 역량에 대한 새로운 연구를 수행한다. 우리는 객관적 과제 성공을 그라이스의 협력 원리(Grice's cooperative principle)와 명시적으로 연결하는 협력적 인식론적 비대칭(collaborative epistemic asymmetry) 개념을 형식화하고, 프롬프팅 및 사후 학습 전략을 포함하여 화자와 청자 모두로서 협력적으로 행동하는 다양한 LLM의 능력을 실증적으로 평가한다. 우리의 결과는 LLM이 협력적 환경에서 특정 화용적 역량을 발휘하며 이를 프롬프팅과 사후 학습을 통해 이끌어낼 수 있음을 보여주지만, 불완전한 정보 하의 화용적 의사소통에서는 여전히 어려움에 직면하며, 특정 실패 양상은 인식되지 못한 채 넘어가는 그라이스의 격률(Grice's maxims) 위반과 상관관계가 있음을 보여준다.

arXiv:2607.11026v1cs.CL

만족도 평가의 다차원성

Dimensionality in Satisfaction Ratings

우리는 대규모 언어 모델(LLM)(GPT-4.1)을 활용하여 글로벌 소비재 기업의 약 9,000건 고객 지원 대화 텍스트를 어노테이션하였으며, 고객 케어 만족도를 구성 축(전반, 에이전트, 결과, 제품, 고객 노력)으로 분해한 뒤 LLM 어노테이션을 고객이 직접 부여한 만족도 평가와 비교 검증하였다. 5개 축 중 4개(전반, 에이전트, 결과는 미조정 상관계수 0.65 근방; 노력은 -0.54)가 자기 보고 만족도를 밀접하게 추적하는 반면, 제품 만족도는 사용 가능한 대리 지표에 대해 약한 상관관계를 보였다. 미조정 상관관계는 또한 실제 일치도를 과소평가하는데, 불일치가 전반적인 편향이 아니라 소수의 판독 가능한 이탈 세션에 집중되어 있으며, 심각한 이탈을 제외하면 전체 상관계수가 0.811로, 이탈 꼬리 전체를 제외하면 0.914로 상승한다. 각 축은 또한 높은 다중공선성을 지니며, 이를 전체 점수에 추가해도 고객 평가 예측이 개선되지 않는다. 분해의 가치는 증분적 예측이 아니라 귀인(attribution)과 커버리지에 있다. 커버리지가 확대되면 데이터의 양상도 달라진다. 설문에 응답하는 소수가 아닌 모든 접촉에서 측정하면, 만족도는 설문 보고보다 현저히 낮게 나타난다(5점 척도에서 전수 조사 2.91 대 설문 응답 3.62). 방법론으로서 분해된 만족도의 가능성은 대화 데이터에서 고객 경험의 보다 세밀한 동인을 식별할 수 있는 능력에 있다.

arXiv:2607.10911v1cs.CL

자연어-SQL 번역의 핵심 요소: 모델 파이프라인 최적화 접근법과 그 상호작용에 대한 체계적 분석

The Nuts and Bolts of Natural Language to SQL Translation: A Systematic Analysis of Model Pipeline Optimisation Approaches and their Interactions

대규모 언어 모델(LLM)의 시대에도, 자연어-SQL(NL2SQL) 번역은 다양한 유용한 응용 분야를 갖는 미해결 문제로 남아 있다. 우리는 더 경량화된 모델 개발에 영감을 주기 위해 여러 NL2SQL 파이프라인 확장 기법들 간의 상호작용을 탐구한다. 구체적으로, NatSQL 중간 표현을 통합하고, 합성 데이터 기반의 전처리 단계와 미세조정(fine-tuning) 단계를 포함하며, 최종 빔에서 SQL 선택을 개선하기 위한 새로운 리랭커(reranker) 모델을 개발한다. 우리는 SmBoP와 RASAT 두 가지 백본 아키텍처와 통합된 이러한 다양한 구성 요소들에 대해 Shapley 분석으로 보완된 절제 연구(ablation study)를 수행한다. 단순히 이들 모두를 결합하는 것이 최상의 결과로 이어지지 않으며, 각 구성 요소의 영향은 기준선(baseline) 시스템과의 상호작용뿐만 아니라 서로 간의 상호작용에도 의존함을 발견한다.

arXiv:2607.10849v1cs.CL

생의학 챌린지 문제에서 Claude Fable 5의 능력

Capabilities of Claude Fable 5 on Biomedical Challenge Problems

프론티어 언어 모델은 생의학 벤치마크에서 점점 더 많이 평가되고 있지만, 두 가지 문제가 대부분의 공개 평가를 약화시킨다: 기존 벤치마크가 포화 상태에 근접해 있고, 개방형 응답이 다른 언어 모델에 의해 채점된다는 점이다. 우리는 Anthropic의 가장 강력한 공개 모델인 Claude Fable 5를 텍스트 4개, 멀티모달 4개로 구성된 8개의 생의학 벤치마크에서 평가하며, 전 과정에서 고정된 정답 키에 대한 결정론적 채점 방식을 사용한다. Claude 전작 모델 두 개와 GPT-5를 기준선으로 포함한다. 거부(Refusal)는 모든 결과 표에서 별개의 결과 유형으로 추적된다. 이 결정이 본 논문의 핵심 발견을 이끌어낸다. Fable 5는 벤치마크에 따라 질문의 8.0%에서 99.4%를 거부하는데, 이 패턴은 전작 모델과 GPT-5 모두에서는 나타나지 않는다. 거부된 항목을 분모에서 제외하면, Fable 5의 정확도는 이 연구의 모든 벤치마크에서 다른 모든 모델을 능가하거나 동등한 수준을 보인다. 우리는 두 가지 구별 가능한 거부 패턴을 식별한다: 하나는 MedQA와 MedXpertQA MM 전반에 걸쳐 기초과학 및 메커니즘 관련 내용에 집중되며, 각 벤치마크 자체의 카테고리 레이블을 활용한 두 벤치마크에서 독립적으로 확인된다; 다른 하나는 RareBench에서 나타나는 별개의 질환 영역 패턴으로, 선천성 대사 질환 사례는 거의 전면적으로 거부되는 반면 성인 발병 자가면역 사례는 거부되지 않는다. Fable 5의 생의학적 유용성을 제한하는 주된 요인은 실제로 참여했을 때의 능력이 아니라 참여하려는 의지이다.