PyTorchKR Papers

최신 논문

총 1,297편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24625v1cs.AI

글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류

Custom Named Entity Recognition and Topic Classification for Global Health Publications

주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.

arXiv:2607.22699v2cs.AI

유사성은 끝까지: LLM의 다국어 일반화는 언어 수준 유사성 구조에 의존한다

Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

대규모 언어 모델(LLM)이 다양한 작업에서 더욱 유능해질수록, 그들의 일반화 (불)능력은 여전히 정량화하기 어렵고 제한된 영역을 넘어서는 이해가 부족하다. 특히 LLM은 다국어적으로 일반화하는 데 어려움을 겪는 것으로 알려져 있으며, 영어 외의 언어, 그리고 학습 데이터에서 충분히 드러나지 않은 언어로의 일반화에서 특히 그렇다. 이 원인과 어떤 모델이 다른 모델보다 더 잘 수행하는지를 이해하기 위해, 우리는 인지과학 전반에 걸친 오랜 연구에 주목하며, 성공적인 일반화는 유사성 공간(similarity space)에서의 적절한 표현(representation)에서 비롯된다고 주장한다. 우리는 LLM의 표현이 서로 다른 언어 간의 계층적 유사성 구조를 얼마나 잘 포착하는지 살펴본다. 놀랍게도, 우리는 LLM의 잠재 표현(latent representations)이 인도-유럽어족 언어 계통수의 계층적 구조를 대체로 복원함을 보인다 — 같은 하위어족(subfamily)에 속하는 언어들을 표현 공간에서 밀접하게 묶는다. 또한 모델이 언어의 유사성 구조를 반영하는 정도가 XNLI(다국어 자연어 추론 벤치마크)에서의 성능과 상관관계가 있음을 보인다. 이는 유사성 기반 일반화에 관한 고전적 연구를 대규모로 확장하며, 유사한 언어를 유사하게 표현하는 모델이 한 언어에서 다른 언어로 더 잘 일반화함을 보여준다.

arXiv:2106.16038v3cs.CL공식 코드 · Papers with Code

ChineseBERT: 자형(glyph)과 병음(pinyin) 정보로 강화한 중국어 사전학습

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

최근 중국어 사전학습 모델들은 중국어에 특유한 두 가지 중요한 측면인 자형(glyph)과 병음(pinyin)을 간과하는데, 이는 언어 이해를 위한 중요한 구문 및 의미 정보를 담고 있다. 본 연구에서는 중국어 한자의 자형과 병음 정보를 모두 언어 모델 사전학습에 통합하는 ChineseBERT를 제안한다. 자형 임베딩은 중국어 한자의 서로 다른 글꼴(font)을 기반으로 얻어지며 시각적 특징으로부터 한자의 의미를 포착할 수 있고, 병음 임베딩은 중국어 한자의 발음을 특징화하여 중국어에서 매우 흔한 동음이의어(heteronym) 현상, 즉 같은 한자가 의미에 따라 서로 다른 발음을 갖는 경우를 처리한다. 대규모 비라벨 중국어 말뭉치로 사전학습된 제안 ChineseBERT 모델은 더 적은 학습 단계로 기준선 모델 대비 상당한 성능 향상을 보인다. 제안 모델은 기계 독해(machine reading comprehension), 자연어 추론(natural language inference), 텍스트 분류, 문장 쌍 매칭(sentence pair matching) 등 광범위한 중국어 자연어 처리(NLP) 과제에서 새로운 SOTA 성능을 달성하고, 개체명 인식에서도 경쟁력 있는 성능을 보인다. 코드와 사전학습 모델은 https://github.com/ShannonAI/ChineseBert 에서 공개적으로 이용할 수 있다.

arXiv:2605.03534v2cs.CL

SURE-RAG: 선택적 검색-증강 생성을 위한 충분성 및 불확실성 인식 증거 검증

SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation

검색-증강 생성(RAG)은 검색된 구절에 답변을 그라운딩(grounding)하지만, 관련성이 충분성을 보장하지는 않는다. 주제적으로 관련된 구절이라도 여전히 답변을 정당화하지 못할 수 있다. 우리는 선택적 RAG 답변을 위한 증거 충분성 검증을 연구한다. 여기서 검증기는 질문, 후보 답변, 검색된 증거를 받아 증거가 답변을 지지하는지, 반박하는지, 아니면 불충분한지를 판단하고, 지지가 확립된 경우에만 답변한다. 우리는 SURE-RAG를 제안한다. 이는 증거 충분성을 집합 수준(set-level) 속성으로 취급하는 집계 프로토콜이다. 누락된 홉(missing hops)과 미해결 충돌은 각 구절을 독립적으로 점수화하는 방식으로는 탐지할 수 없다. 공유 claim-evidence 검증기는 각 (claim, passage) 쌍에 대해 지역 관계 분포를 생성하며, SURE-RAG는 이를 네 가지 해석 가능한 답변 수준 특징 블록(커버리지, 관계 강도, 불확실성, 검색)으로 집계하여 삼원 결정과 감사 가능한 선택적 점수를 산출한다. HotpotQA-RAG v3, 제어된 다중 홉(multi-hop) 벤치마크에서 아티팩트 인식(artifact-aware) 프로토콜(숏컷 기준선, 반사실적 교환, 오라클 없음 검사, GPT-4o 감사) 하에 평가한다. 보정(calibrated)된 SURE-RAG는 0.9075 Macro-F1(원시 0.8951 +/- 0.0069)을 달성하여 DeBERTa 평균 풀링(0.6516)과 GPT-4o 판정기(0.7284)를 크게 상회하며, 강력한 concat cross-encoder(0.8888 +/- 0.0109)와 대등한 수준이면서 완전히 감사 가능하다. 30% 커버리지에서 위험(risk)은 0.2588에서 0.1642로 감소하여 상대적으로 37% 감소한다. 경계 매핑(boundary-mapping) 실험으로, HaluBench의 unsafe 탐지에서 SURE-RAG와 GPT-4o를 대조한다. 순위가 역전된다(0.3343 vs. 0.7389 unsafe-F1). 이는 제어된 충분성 검증과 자연적 환각(hallucination) 탐지가 서로 다른 문제임을 시사한다.

arXiv:2607.21933v1cs.AI

LLM 논리 추론을 위한 기호학적 논리 육각형 이론

Semiotic logical hexagon theory for LLM logical reasoning

대규모 언어 모델(LLM)은 언어 이해와 논리적 추론을 위한 강력한 도구가 되었다. 그러나 문제가 의미 이해와 논리적 따름을 모두 요구할 때 여전히 실수를 한다. 핵심 이유는 자연어 진술이 형식적 추론이 시작되기 전에 종종 암묵적 의미 관계를 담고 있기 때문이다. 이러한 숨겨진 의미가 적절히 조직되지 않으면, 이후 추론 과정이 논리적으로 타당해 보이더라도 모델이 잘못된 결론에 도달할 수 있다. 기존 방법들은 분해, 기호적 번역, 외부 솔버, 또는 자기 검증을 통해 추론을 개선하지만, 추론이 의존하는 의미 구조에는 상대적으로 덜 주목한다. 본 논문에서는 의미 조직이 LLM에서 논리적 추론에 어떻게 영향을 미치는지를 추가로 조사한다. 이를 위해 우리는 자연어 진술의 의미를 먼저 조직한 다음 구조화된 검증을 통해 논리적 추론을 안내하는 프레임워크인 HexLogicAgent를 제안한다. 조사 과정에서 우리는 또한 두 가지 관찰을 한다. 첫째, 연역적 추론 자체보다는 불완전한 의미 표현이 LLM에서 논리적 추론 실패의 주요 원인이다. 둘째, 의미적 대립의 완전한 구조를 명시적으로 모델링하면 논리적 복잡성이 증가함에 따른 추론 성능 저하가 상당히 지연된다. 어려운 논리적 추론 벤치마크에서의 실험은 HexLogicAgent가 여러 LLM에서 추론 신뢰성을 일관되게 향상시킴을 보여준다. 핵심 아이디어는 대립하는 의미의 완전한 구조가 신뢰할 수 있는 추론에 왜 필요한지를 설명하는 논리 육각형 이론에 의해 뒷받침된다.

arXiv:2505.20161v2cs.LG

프리스매틱 합성: 그래디언트 기반 데이터 다양화가 LLM 추론 일반화를 향상시킨다

Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning

언어 모델의 효과적인 일반화는 학습 데이터의 다양성에 크게 의존한다. 그러나 기존 다양성 지표는 종종 이 목표에 미치지 못하며, 모델 행동과 분리된 표면 수준의 휴리스틱에 의존한다. 이는 우리로 하여금 다음 질문을 던지게 한다: 학습 데이터의 어떤 종류의 다양성이 실제로 언어 모델의 일반화를 이끄는가 — 그리고 이를 어떻게 측정하고 증폭할 수 있는가? 300회 이상의 학습 실행에 걸친 대규모 실증 분석(데이터 규모와 품질을 신중하게 통제)을 통해, 우리는 데이터 다양성이 LLM 추론에서의 일반화를 강력하게 예측할 수 있음을 보인다 — 이는 보지 못한 분포 외(out-of-distribution) 벤치마크에서의 평균 모델 성능으로 측정된다. 우리는 모델 유도 그래디언트의 엔트로피를 통해 다양성을 정량화하는 지표 G-Vendi를 제안한다. 그래디언트 계산에 소형 기성(off-the-shelf) 프록시 모델을 사용함에도 불구하고, G-Vendi는 대안적 측정법을 지속적으로 능가하며, 자연어 추론(NLI)과 수학 추론 과제 모두에서 분포 외(OOD) 성능과 강한 상관관계(Spearman's $ρ\approx 0.9$)를 달성한다. 이 통찰을 바탕으로, 우리는 그래디언트 공간에서 과소 대표된 영역을 표적으로 다양한 합성 데이터를 생성하는 프레임워크인 프리스매틱 합성(Prismatic Synthesis)을 제안한다. 실험 결과는 프리스매틱 합성이 합성 데이터를 확장할수록 모델 성능을 지속적으로 향상시킴을 보여준다 — 분포 내(in-distribution) 테스트뿐만 아니라 보지 못한 분포 외 벤치마크 전반에서 — 우리보다 20배 더 큰 데이터 생성기에 의존하는 최신(state-of-the-art) 모델들을 크게 능가한다. 예를 들어, 32B LLM으로부터 지식 증류(distillation)한 우리 모델 PrismMath-7B는 671B R1이 생성한 독점 데이터로 학습된 동일 기반 모델인 R1-Distill-Qwen-7B를 7개의 도전적인 벤치마크 중 6개에서 능가한다.

arXiv:2607.14528v1cs.CL

대규모 언어 모델의 논리적 일관성을 위한 통제된 재표현 테스트

Controlled Reformulation Testing for Logical Consistency in Large Language Models

대규모 언어 모델(LLM)은 논리적으로 동등한 질문의 표면 형태가 바뀔 때 자주 스스로 모순된다. 우리는 논리적 불변성(logical invariance)을 평가하기 위해 Controlled Reformulation Testing(CRTBench)용 350개 질문 패밀리(총 1,750개 질문) 벤치마크를 제시한다. 이 벤치마크에서 우리는 역명제 재작성(contrapositive rewriting), 이중 부정(double negation), 부정 전환(negation flipping), 수동태(passive voice) 등 통제된 재표현에 걸쳐 일관된 답변을 유지하는 LLM의 능력을 조사한다. 여러 최신 LLM을 평가한 결과 정확도-일관성 격차를 관찰했는데, GPT-5.4-mini는 기본 정확도 $98.9\%$를 달성하지만 패밀리 수준 일관성은 $60.3\%$에 그친 반면, 추론 최적화 o4-mini는 $96.9\%$ 일관성을 달성한다. 실험 결과, GPT-5.4-mini의 경우 역명제 재작성($72.4\%$) 및 이중 부정($84.6\%$)과 같이 논리적으로 비자명한 변환 주변에 실패가 집중되는 반면, 표면 수준의 재구문화는 견고하게 유지된다($94-100\%$). 추론 노력(reasoning effort)을 늘리면 GPT-5.4-mini의 일관성이 $85.4\%$로 향상되지만, 중첩 부정에서의 이득이 양화사(quantifier) 패밀리에서의 실패로 상쇄되어 GPT-5.4는 전반적으로 변하지 않는다. 이러한 결과는 LLM의 논리적 추론을 평가할 때 정확도만으로는 충분하지 않음을 보여준다.

arXiv:2607.14349v1cs.CL

SemEval-2026 Task 11의 HABIB_TAZ: 합성 학습과 다목적 최적화를 통한 내용과 형식 논리의 분리

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

대규모 언어 모델(LLM)은 많은 일반 자연어 처리(NLP) 작업에서 뛰어난 성능을 보이지만, 형식적 추론 능력은 종종 내용 효과(content effects)로 인해 훼손되며, 실세계 타당성에 대한 측정 가능한 바이어스를 보인다. 본 논문에서는 SemEval-2026 Task 11을 위한 우리 시스템을 제시한다. 이 과제는 방해 전제(distractor premises) 유무에 관계없이 12개 언어에 걸쳐 형식 논리와 내용을 분리하는 모델의 능력을 평가한다. 우리는 LLM 증강 데이터의 의미적 노이즈를 피하기 위해 삼단논법(syllogistic) 양식의 합성 규칙 기반 데이터셋으로 파인튜닝된 mDeBERTa-v3 네트워크를 사용하여 이 과제에 대응한다. 타당성과 논리적 구조를 명시적으로 분리하기 위해, 우리 학습 파이프라인은 Adaptive Group Distributionally Robust Optimization(DRO), 스케줄된 미분 가능 바이어스 페널티, KL 발산(KL-Divergence) 일관성 정규화를 결합한 다목적 손실 함수를 사용한다. 우리 시스템은 Subtask 1(영어), Subtask 2(노이즈 영어), Subtask 3(다국어)에서 1위를 차지했으며, Ranking Score 100.0, 바이어스 0.00%, 정확도 100.0%의 완벽한 결과를 기록했다. 매우 복잡한 Subtask 4(노이즈 다국어)에서는 6위를 기록했으며, 정확도 및 F1-score 89.06%, 제한적인 2.89% 바이어스, Ranking Score 37.78을 달성했다. 우리의 데이터셋 생성 엔진과 코드베이스는 견고한 논리 추론에 관한 향후 연구를 촉진하기 위해 공개되어 있다.

arXiv:2607.13423v1cs.LG

온도 스케일링만으로는 부족하다: 인간 레이블 분포 하의 보정 격차

Temperature Scaling Is Not Enough: Calibration Gaps Under Human Label Distributions

온도 스케일링(temperature scaling)은 현대 심층 학습에서 지배적인 사후(post-hoc) 보정(calibration) 방법이다. 그 이론적 정당성은 드물게 명시되는 가정, 즉 정답(ground-truth) 레이블이 one-hot이며 결정론적(deterministic)이라는 것에 기반한다. 실제로 레이블은 종종 소프트(soft), 크라우드소싱(crowd-sourced), 또는 진정한 분포적(distributional) 형태이며, 이는 어노테이션 노이즈가 아니라 인간 어노테이터 간의 실제 불일치를 반영한다. 우리는 이 가정이 위반될 때 온도 스케일링이 보정 특성을 유지하는지, 그리고 그로 인한 성능 저하가 모델 규모에 따라 달라지는지를 연구한다. 인간 어노테이션 소프트 레이블 분포를 제공하는 공개 데이터셋인 CIFAR-10H와 ChaosNLI를 사용하여, hard one-hot 레이블과 soft 분포적 레이블 타깃 모두에서 모달리티당 세 가지 모델 규모를 평가한다. 아홉 가지 구성 전반에 걸쳐 양의 소프트 레이블 보정 격차를 발견한다: hard 레이블로 보정된 온도 스케일링은 soft 레이블로 직접 보정된 오라클(oracle)보다 일관되게 열위이며, Brier Score 격차는 0.002에서 0.134까지 범위에 있다. 격차는 비전(vision) 도메인과 ChaosNLI의 SNLI 유래 split에서 모델 규모에 따라 단조적으로 증가하며, 언어(language) 도메인(평균 격차 0.079)에서 비전(평균 격차 0.003)보다 실질적으로 더 크다. MNLI 유래 split에서의 규모 순서 역전은 동일 도메인(matched-domain) 학습 후에도 남아 있으며, 이를 규모 가설에 대해 결론적이지 않은(inconclusive) 것으로 간주하고 주로 해당 split에서의 거의 우연 수준(near-chance) 정확도에 기인한다고 본다. 두 번째 사후 기준선으로, 다중 클래스 isotonic regression은 동일한 정성적 결론을 보인다: 아홉 가지 구성 모두에서 양의 소프트 레이블 격차, 그리고 비전보다 언어에서 더 큰 격차. 이러한 발견은 다수결 투표(majority-vote) 레이블에 기반한 보정 프로토콜이 레이블 모호성이 구조적인 곳 어디에서든 모델 신뢰성을 체계적으로 왜곡함을 시사하며, 안전성이 중요한(safety-critical) 환경에서의 배포에 직접적인 영향을 미친다.

arXiv:2511.09008v2cs.CL

자연어 형식화 및 검증을 위한 뉴로심볼릭 접근

A Neurosymbolic Approach to Natural Language Formalization and Verification

대규모 언어 모델(LLM)은 자연어 해석과 추론에 뛰어나지만, 형식적 정확성에 대한 보장이 없어 엄격한 정책 하에서 운영되는 금융 및 헬스케어와 같은 규제 산업에서의 채택을 제한한다. 이 한계를 해결하기 위해 우리는 Automated Reasoning checks(ARc)를 출시했다. ARc는 (1) 선택적 인간 지도 하에 LLM을 사용해 자연어 정책을 형식화하고 형식화 과정에 대한 세밀한 제어를 가능하게 하며, (2) 추론 시 자동 형식화(inference-time autoformalization)를 사용해 해당 정책에 대해 자연어 진술의 논리적 정확성을 검증하는 공개 서비스이다. ARc는 추론 시 여러 중복 형식화 단계를 수행하고, 형식화 결과의 의미적 동등성을 검사한다. 벤치마크 결과 ARc는 99% 이상의 건전성(soundness)을 달성하며, 논리적 타당성 식별에서 거의 0에 가까운 위양성(false positive) 비율을 보인다. 우리 접근법은 검증 결과를 뒷받침하는 감사 가능한 산출물을 생성하며, 원문을 개선하는 데 활용할 수 있다. ARc는 주요 클라우드 제공업체가 생성형 AI 가드레일에 자동화된 추론(automated reasoning)을 통합한 최초의 상용 서비스이다.

arXiv:2607.11400v1cs.CL

법률 정보 처리를 위한 크로스 아키텍처 LLM 앙상블, 특징 기반 재순위화 및 검색-증강 프롬프팅

Cross-Architecture LLM Ensembles, Feature-Based Reranking and Retrieval-Augmented Prompting for Legal Information Processing

법률 정보 처리는 검색, 함의(entailment), 판결 예측 문제를 포괄하며, 제한된 감독 하에서 텍스트 매칭, 추론, 강건한 일반화를 요구한다. 우리는 Team DU의 COLIEE 2026 전체 5개 태스크 참여 결과를 보고하며, 법률 판례 검색, 판례 함의, 법령 검색 및 함의, 법률 판결 예측에 오픈 가중치 시스템을 사용하였다. 태스크 3과 4의 경우, 모든 모델은 규정에서 요구하는 2025년 7월 15일 마감 기준일 이전의 것이다. 태스크 4(법령 함의)에서, 세 개 계열의 9개 모델로 구성된 크로스 아키텍처 앙상블이 96.3% 정확도를 달성하여 11개 팀의 33개 제출물 중 1위를 기록하였다. 파일럿 태스크(불법행위 예측 및 근거 추출)에서, 5개의 청구 수준 모델을 결합하고 청구 예측에서 도출된 특징을 사용하여 판결을 정제하는 멀티뷰 시스템이 비공식 제출물로서 73.1% TP 정확도와 68.2% RE F1을 달성하여, TP에서 모든 공식 제출물을 상회하고 RE에서 최고 점수와 동등하였다. 태스크 2(법률 판례 함의)에서, 프롬프트를 단일 선택에서 다중 선택으로만 변경하면 공개된 정답 레이블에 대한 대회 후 평가에서 F1이 0.343에서 0.555로 향상되어 최고 공식 제출물(F1 = 0.490)을 초과하였다. 태스크 3(법령 검색 및 함의)에서, 함의 모델을 Qwen3-235B와 구조화된 법률 추론 프롬프트로 교체하면 대회 후 분석에서 정확도가 79.3%에서 91.5%로 향상되었다. 태스크 1(법률 판례 검색)에서, 어휘적 및 의미적 검색을 구조적, 인용 권위, 시간적 특징(총 34개)과 결합한 학습-투-랭크(learning-to-rank) 시스템이 F1 = 0.314를 달성하였다(22개 팀의 54개 제출물 중 11위). 전반적으로, 법률 정보 처리는 태스크별로 서로 다른 귀납적 편향(inductive bias)으로부터 이점을 얻으며, 크로스 아키텍처 앙상블링, 특징 기반 재순위화, 검색-증강 프롬프팅 각각이 서로 다른 환경에서 가장 효과적임이 입증되었다.

arXiv:2607.09932v1cs.CL

설계부터 충실하게: 다중 이해관계자 대상 LLM 생성 임상시험 요약의 평가 및 개선

Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences

대규모 언어 모델(LLM)은 의료 제공자, 환자, 보험사를 대상으로 임상시험 결과를 요약하는 데 점점 더 많이 활용되고 있으나, 환각(hallucination) 경향은 이처럼 위험 부담이 높은 맥락에서 심각한 위험을 초래한다. 본 연구는 세 가지 이해관계자 대상별로 LLM이 생성한 임상시험 요약의 충실도(faithfulness)를 측정하기 위한 벤치마크 평가 프레임워크를 제시한다. 해당 프레임워크는 ClinicalTrials.gov 통합 분석 데이터베이스에서 층화 추출된 200개의 임상시험으로 구성되며, 대상별 프롬프트 템플릿과 6개 차원의 충실도 어노테이션 스키마를 사용하여 평가된다. GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash를 대상으로 총 1,800개의 생성 요약에 대해 크로스 인코더 자연어 추론(NLI) 모델을 활용한 기준선 측정값이 수립되었다. 근거 없는 주장(Unsupported Claims)이 세 모델 모두에서 주요 실패 유형으로 확인되었으며, 평균 어노테이션 점수는 3점 만점에 1.55점이었다. 지식 그래프 증강 검색 시스템을 개발하여 기준선과 비교 평가한 결과, NLI 기반 충실도 점수에서 통계적으로 유의미한 향상이 나타났다(함의(entailment) +0.0125, 충실도 +0.0130, p < 0.0001). 개선 양상은 모델에 따라 달랐으며, GPT-4o는 주로 모순 감소를 통해 개선된 반면 Claude Sonnet 4.6과 Gemini 2.5 Flash는 함의 증가를 통해 개선되었다.

arXiv:2607.09099v1cs.AI

L-MAD: 법률 추론에서 멀티-에이전트 토론 구조의 체계적 평가

L-MAD: A Systematic Evaluation of Multi-Agent Debate Structures in Legal Reasoning

멀티-에이전트 토론(MAD) 프레임워크는 일반적인 추론에서 상당한 가능성을 보여왔지만, 고도로 구조화되고 지식 집약적인 법률 도메인에서의 효과는 충분히 탐구되지 않은 상태다. 본 연구에서는 법률 텍스트 함의(Legal Textual Entailment) 과제 내에서 다양한 토론 구조와 집계 방법을 체계적으로 평가하기 위해 법률 멀티-에이전트 토론(L-MAD) 프레임워크를 소개한다. 여러 에이전트에 서로 다른 전문가 페르소나를 부여함으로써, L-MAD는 강력한 단일 에이전트 기준선 대비 최대 8%까지 성능을 향상시킨다. 또한 토론이 확장되는 방식을 분석한 결과 명확한 트레이드오프가 드러났다: 에이전트 수를 늘리면 불일치가 줄고 정확도가 향상되는 반면, 토론 라운드를 늘리면 에이전트들이 서로의 실수를 강화하는 유해한 과잉 숙의 드리프트(over-deliberation drift)가 유발된다. 최종적으로, 본 연구의 결과는 고위험 법률 추론 환경에서 협력적 멀티-에이전트 시스템을 배포할 때의 실질적 한계와 안전 마진을 제시한다.

arXiv:2607.02885v2cs.CL

LLM은 CBT 기반 감정 추론에서 어디에 취약한가?

Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

기본 상태의 대규모 언어 모델(LLM)이 인지행동치료(CBT) 이론 지식(면허 시험 96% 정확도)을 갖추고도 실제 대화에서는 상황에 무관하게 검증·반영 패턴으로 수렴하는 문제를 다루며, 사용자 서술을 Beck의 인지 개념화 구조로 분해하고 SNOMED CT 개념으로 근거를 마련한 뒤 다중 사고의 연쇄(MCoT) 전략 선택을 적용하는 지식 유도 프레임워크를 제안한다. 행동 변화 측정을 위한 새로운 지표 Protocol Leverage Force(F)를 도입하여 평가한 결과, MCoT가 단일 Chain-of-Thought 프롬프팅보다 전략 선택을 개선하지만 효과는 1% 이내에 그치며 모든 모델이 여전히 검증·반영 편향을 유지함을 보였다.

arXiv:2607.05069v1cs.CL

MIRAGE: 허위정보 오염에 대한 장문형 RAG 방어

MIRAGE: Defending Long-Form RAG Against Misinformation Pollution

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)을 외부 증거에 그라운딩하여 사실성을 향상시키지만, 실세계 검색은 종종 오염되어 있다. 의미적으로 관련된 단락이 미묘한 허위정보, 오해를 유발하는 프레이밍, 또는 날조된 내용을 포함할 수 있다. 우리는 장문형 RAG를 위한 학습이 필요 없고 모델에 구애받지 않는 방어 기법인 MIRAGE를 소개한다. MIRAGE는 자연어 추론(NLI) 기반의 교차 문서 주장 그래프를 구축하고, Defended-Claims Gate를 적용하여 일관되고 다중 출처로 지지되는 부분 집합을 조건으로 생성하거나, 검색을 차단하고 파라메트릭 방식으로 답변하도록 한다. 또한 네 가지 변형 유형(명확한 오류, 상충되는 정보, 오해 유발, 날조)에 걸쳐 최소 편집 오염 프로토콜을 공개하여, 일치하는 정결한, 혼합된, 완전히 오염된 평가 체계를 구성한다. 네 가지 장문형 QA 벤치마크와 여러 상용 및 오픈 가중치 LLM에 걸쳐, 오염은 기본 RAG의 성능을 심각하게 저하시키는 반면, MIRAGE는 혼합 및 완전히 오염된 증거 환경에서 일관되게 사실성을 회복하고 기존의 강건한 RAG 방법들을 능가한다. 구현 코드와 데이터셋은 https://github.com/SaadElDine/MIRAGE 에서 공개된다.

arXiv:2607.02507v1cs.AI

What LLM Agents Say When No One Is Watching: Social Structure and Latent Objective Emergence in Multi-Agent Debates

명시적인 목표 없이 사회적 관계 구조만으로 대규모 언어 모델(LLM) 에이전트의 공개 발화가 달라지는지 연구하기 위해, 공개 채널과 비공개(off-the-record) 채널을 동시에 생성하는 이중 채널 토론 프레임워크를 도입했다. 10개 모델과 3가지 시나리오 실험에서 정렬 유도(alignment-inducing) 관계 맥락 하에 에이전트의 공개-비공개 응답 불일치율이 기준선 약 3%에서 최대 40%까지 상승했으며, 이는 사회적 구조가 명시적 지시 없이도 잠재적 목표(latent objective)를 창발시킬 수 있음을 시사한다.

arXiv:2607.01762v1cs.LG

Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning

방향성 관계(어휘 포함 관계, 문장 함의, 온톨로지 계층, 인용 링크 등)를 위한 비대칭 표현 학습(asymmetric representation learning)에서, 기존 대칭 거리 함수의 한계를 극복하고자 소스·타겟 역할 투영(role projection)을 ICNN 기반 Bregman 발산에 결합한 역할 인식 신경 볼록 발산 헤드(role-aware neural convex divergence head)를 제안한다. 주요 의미론 및 온톨로지 벤치마크에서 10개의 랜덤 시드 실험 결과, 제안 방법은 음의 발산 없이 일반 ICNN-Bregman 헤드 대비 방향 정확도를 일관되게 향상시키는 플러그인 모듈로 활용될 수 있음을 보인다.

arXiv:2510.09340v2cs.AI

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

소규모 트랜스포머 언어 모델을 처음부터 학습시켜 수평적 추론(자기회귀적 중간 단계 생성)과 수직적 추론(레이어 간 암묵적 추론)의 메커니즘을 분석한 결과, 사고의 연쇄(Chain-of-Thought) 지도학습이 전자에서는 단계별 규칙 기반 추론 회로를 형성하고 후자에서는 커리큘럼 학습 효과를 유발함을 밝혔다. 귀납 헤드(induction head) 메커니즘과 절단 유사역행렬(truncated pseudoinverse) 기법을 통해 모델이 통계적 편향이 아닌 실제 논리 규칙을 학습함을 해석 가능성(mechanistic interpretability) 관점에서 저수준으로 규명했다.

arXiv:2605.23701v2cs.CL

메타데이터 예측 가능성은 근거 의존성의 증거가 아니다: 약한 라벨 벤치마크를 위한 개입 기반 감사

Metadata Predictability Is Not Evidence Dependence: An Intervention-Based Audit for Weak-Label Benchmarks

약한 라벨 �ench마크가 근거 개입에 실제로 민감한지 검증하기 위해 메타데이터 선별 통계 MPDS와 항목 간 근거 셔플링 기반 ΔEvi를 결합한 프로토콜 수준 감사 절차를 제안한다. 합성 HotpotQA는 MPDS가 중간(0.643)인데 ΔEvi가 0인 반례를 보여 메타데이터만으로는 부족하며, SNLI·FEVER·재구성 HotpotQA 결과는 메타데이터 선별, 근거 개입, 리더 강도 보정을 함께 보고해야 한다는 실무적 교훈을 제시한다.

arXiv:2606.26454v1cs.AI

데이터 기반 기계 학습은 상징 수준의 논리적 추론에 도달할 수 없다 — 스케일링 법칙의 한계

Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

데이터 기반 지도 학습이 스케일링만으로 상징 수준의 삼단논법(syllogistic) 추론에 도달할 수 있는지 검토하며, 학습 데이터가 24가지 유효 형태를 모두 구분하지 못하고 전제-결론 end-to-end 매핑이 패턴 인식과 논리 추론 목표를 충돌시키는 두 가지 한계를 제시한다. Euler Net 실험과 GPT-5 계열 평가에서 100% 정확도에도 설명 오류가 남을 수 있음을 보여, 지도 기계 학습은 상징적 논리 추론의 엄밀성에 이르지 못한다고 결론짓는다.