arXiv:2606.22375v1 cs.AI

ARIA: 신뢰성 있는 재료 발견에서 LLM 추론을 회복하는 인과 인식 프레임워크

ARIA: A Causal-Aware Framework for Rescuing LLM Reasoning in Trustworthy Materials Discovery

Yi Cao, Liaoyaqi Wang, Jieneng Chen, Benjamin Van Durme, Alan Yuille, Paulette Clancy

제출 2026-06-21

한국어 초록

생성 모델은 재료 발견 과정을 혁신했지만, 근본적인 물리적 인과성을 충족하지 못하는 경우가 많다. 현행 문헌에서 파생된 지식 그래프(knowledge graph)로 보강된 대규모 언어 모델(LLM)을 분석한 결과, 모델이 좁게 검색된 증거에 '과도하게 고정(over-anchor)'하면서 전역적인 물리적 추론을 억압하는, 문맥적 터널링(contextual tunneling)이라고 명명한 현상을 밝혀냈다. 이 문제를 해결하기 위해, 지식 사용을 기전적 완전성(mechanistic completeness)에 조건화하는 인과 인식 프레임워크인 ARIA를 제안한다. ARIA는 각 쿼리를 3단계 계단식으로 라우팅한다: (i) Process-Structure-Property(PSP)의 완전한 증거 사슬이 이용 가능할 때 직접적 인과 추론, (ii) 희소하거나 새로운 재료 계에 대한 물리학 기반 유추 전이, (iii) 외부 증거가 불완전할 때 명시적 파라메트릭 폴백. 개념 증명으로, 재료 문헌의 동료 심사 논문에서 추출한 2,839개의 PSP 관계를 포함하는 지식 그래프(KG)를 구축하고, 2차원(2D) 재료에 대한 순방향 예측 및 역설계(inverse design) 작업에서 ARIA를 평가한다. ARIA는 문맥적 터널링을 완화하고, 보강되지 않은 기준선 및 단순 KG 보강 기준선 대비 성능을 개선하며, 온라인 문헌 검색으로 증거를 풍부하게 할 때 추가 이득을 제공한다. 무엇보다 ARIA는 감사 가능한 인과 추적을 생성하여, 물리적으로 근거 있는 신뢰할 수 있는 AI 지원 재료 발견을 가능하게 한다.

원문 초록

Generative models have revolutionized the process of materials discovery, yet they often fail to satisfy underlying physical causality. Through an analysis of Large Language Models (LLMs) augmented with knowledge graphs derived from current literature, we uncover a phenomenon termed contextual tunneling, where models "over-anchor" on narrow, retrieved evidence while suppressing global physical reasoning. To address this problem, we introduce ARIA, a causal-aware framework that conditions knowledge use on mechanistic completeness. ARIA routes each query through a three-tier cascade: (i) direct causal reasoning when complete evidence chains of Process-Structure-Property (PSP) are available, (ii) physics-informed analogical transfer for sparse or novel material systems, and (iii) explicit parametric fallback when external evidence is incomplete. As a proof of concept, we construct a Knowledge Graph (KG) containing 2,839 extracted PSP relations from peer-reviewed articles in the materials literature and evaluate ARIA on forward prediction and inverse design tasks for two-dimensional (2D) materials. ARIA mitigates contextual tunneling, improves over unaugmented and naive KG-augmented baselines, and provides further gains when an online literature search is used for evidence enrichment. Crucially, ARIA produces auditable causal traces, enabling physically grounded and trustworthy AI-assisted materials discovery.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.22375v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15921v1cs.LG공통 태그 RAG, Large Language Model, Retrieval-augmented Generation

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.02070v3cs.AI공통 태그 Causal Inference, Large Language Model, Retrieval-augmented Generation

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

arXiv:2610.02267v1cs.AI공통 태그 RAG, Large Language Model, Retrieval-augmented Generation

빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.

arXiv:2610.02373v1cs.CR공통 태그 Knowledge Graphs, RAG, Retrieval-augmented Generation

홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점

Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM

GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.

arXiv:2610.02510v1cs.AI공통 태그 RAG, Large Language Model, Retrieval-augmented Generation

경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프

On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor

검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.

arXiv:2610.02542v1cs.AI공통 태그 RAG, Large Language Model, Retrieval-augmented Generation

월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)

How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.