검색-증강 생성(RAG)은 외부 컨텍스트에 생성을 그라운딩함으로써 언어 모델을 개선한다. 그러나 검색된 컨텍스트가 모델의 파라메트릭 지식과 충돌할 때 취약해질 수 있다. 이러한 충돌은 신뢰할 수 있는 증거, 부분적으로 신뢰할 수 있는 증거부터 적대적 컨텍스트까지 신뢰성 스펙트럼에 걸쳐 있다. 기존 방법들은 이러한 이질적 충돌을 레짐 비인식 감독으로 처리하는 경우가 많아, 신뢰성 레짐 전반에 걸쳐 양립 불가능한 학습 신호를 혼재시킬 수 있다. 이러한 신호를 분리하기 위해, 우리는 두 가지 상호 보완적 단위에서 충돌을 해결하는 레짐 인식 피어 특화 프레임워크인 RAPS-DA를 제안한다. 샘플 수준에서 충돌은 그라운딩(Grounding), 중재(Arbitration), 저항(Resistance)의 세 가지 레짐으로 구분되며, 공유된 기반 모델로부터 레짐별로 동일 규모의 피어 전문가 모델이 하나씩 학습된다. 각 샘플은 온-정책(on-policy) 역방향 KL 감독을 위해 해당 레짐에 일치하는 피어로 하드 라우팅된다. 토큰 수준에서 이중 층(dual-layer) 선택기는 교사 간 불일치, 학생-교사 발산, 학생 엔트로피를 활용하여 비정보적이거나 불안정한 토큰을 걸러내고, 확실하게 잘못 정렬된 토큰의 가중치를 높이며, 학생이 성숙해짐에 따라 점차 고충돌 토큰에 감독을 집중시킨다. 성능 향상은 더 강력한 교사가 아닌 고정된 모델 규모에서의 특화에서 비롯되며, 피어 전문가들은 학습 중에만 존재하므로 배포된 학생 모델은 레짐 레이블이나 피어 접근이 필요하지 않다. 다섯 가지 충돌 시나리오와 두 가지 분포 외(out-of-distribution) 벤치마크에 대한 실험에서 RAPS-DA는 모든 프롬프팅, 디코딩, 미세조정(fine-tuning), 강화학습(RL), 단일 교사 기준선을 능가함을 보인다.
RAG 시스템에서 검색된 컨텍스트와 파라미터 지식 간의 충돌을 완화하기 위해, SHIFT는 백본 LLM을 고정한 채 각 Transformer 레이어의 FFN 브랜치에 경량 게이트 모듈을 삽입하여 입력에 따라 내부 활성화를 적응적으로 조절하는 프레임워크를 제안한다. 학습 가능한 파라미터의 0.01% 미만만을 GRPO로 최적화함으로써 기존 뉴런·레이어 수준 개입의 부작용 없이 6개 데이터셋에서 경쟁 기준선 대비 우수한 지식 충돌 완화 성능을 달성했다.
대규모 언어 모델(LLM)은 방대한 파라메트릭 지식과 문맥 내 학습(ICL) 능력을 모두 활용하여 입력 프롬프트에 제공된 외부 정보를 통합함으로써 다양한 언어 기반 작업에서 강력한 성능을 달성했습니다. 그러나 외부 지식의 통합은 모델의 내부 파라메트릭 지식과 외부 정보 사이뿐만 아니라 여러 외부 문맥 간에도 충돌을 야기할 수 있습니다. 기존 접근 방식은 일반적으로 모델이나 제공된 문맥 중 하나가 신뢰할 수 있다고 가정하며, 두 소스 모두 오류를 포함할 수 있다는 가능성을 간과합니다. 또한 불일치를 적극적으로 해결하기보다는 한 소스를 다른 소스보다 우선시하여 충돌을 회피합니다. 이러한 한계를 해결하기 위해, 우리는 기존의 이진 선택 패러다임을 넘어서고 멀티 에이전트 추론 접근법에 기반한 명시적 충돌 해결 메커니즘을 통합하는 LLM 지식 충돌 해결을 위한 새로운 프레임워크인 MACR을 제안합니다. 구체적으로, 우리는 먼저 수정된 의미론적 엔트로피 측정을 사용하여 주어진 질의에 대한 LLM의 답변 신뢰도를 정량화하는 적응형 지식 평가 및 검색 접근법을 제안합니다. 이 신뢰도 추정을 기반으로, MACR은 내부 지식이 불충분할 때 모델의 내부 지식을 텍스트 표현으로 외부화하거나 관련 외부 지식을 검색하여 후속 추론을 위한 기본 문맥을 생성합니다. 그런 다음 우리는 각각 명시적 규칙을 유도하고, 잠재적 충돌을 분석하며, 사용 가능한 모든 문맥에서 불일치를 해결하는 세 가지 전문화된 에이전트를 포함하는 귀납적 멀티 에이전트 추론 프레임워크를 도입합니다. 실험 결과에 따르면 MACR은 벤치마크 전반에서 최신 기준(SOTA) 모델보다 유의미하게 우수한 성능을 보이며, 명시적 충돌에 대한 해석 가능한 해결책을 제공합니다.