검색-증강 생성(RAG) 시스템은 조밀 검색기(dense retriever)와 언어 모델을 결합하여 외부 문서에 출력을 그라운딩(grounding)합니다. 그러나 이러한 구성 요소 간의 상호작용은 여전히 불투명하여, 중요도가 높은 고위험 영역에서의 배포에 어려움을 초래합니다. 본 논문에서는 수학적으로 근거를 둔 속성 분석(attribution) 방법을 통해 검색기-생성기 정렬(alignment)을 정량화하는 엔드투엔드 설명 가능성 프레임워크인 RAG-E를 제시합니다. 본 연구의 접근 방식은 검색기 분석을 위해 Integrated Gradients를 적용하고, 생성기 속성 분석을 위해 몬테카를로 안정화 샤플리 값(Shapley Value) 근사법을 제안하며, 생성기의 문서 사용이 검색기 순위와 얼마나 잘 정렬되는지 측정하는 WARG(Weighted Alignment between Retriever and Generator) 지표를 도입합니다. PopQA, QAMPARI, TREC CAST 데이터셋에 대한 실험 결과 상당한 오정렬(misalignment)이 드러났습니다. 모델과 설정에 따라 생성기는 상위 순위 문서를 무시하고 관련성이 낮은 것으로 평가된 문서에 의존하는 경우가 빈번했습니다. WARG가 피어슨(Pearson) 및 스피어만(Spearman) 상관계수보다 검색기-생성기 정렬을 더 잘 포착하며 RAG 성능의 지표로 활용될 수 있음을 보여줍니다. RAG-E와 WARG는 이러한 상호작용을 감사(audit)하기 위한 실용적인 프레임워크를 제공하여, 더욱 신뢰할 수 있고 투명한 RAG 시스템을 구축할 수 있도록 합니다.
그래프 신경망(GNN)에 대한 특징 수준 및 노드 수준 설명을 Aumann-Shapley 어트리뷰션 관점에서 연구한다. Integrated Gradients와 같은 경로 적분(path-integral) 방법은 어트리뷰션에 대한 공리적 공식화를 제공하지만, 심층 GNN에서의 실용적 사용은 일반적으로 경로 적분에 대한 유한 표본 수치 근사에 의존하며, 구적(quadrature) 오차와 계산 비용 사이의 트레이드오프가 필요하다. 본 논문은 다항식 GNN 아키텍처 하에서 어트리뷰션 적분을 정확히 계산 가능하게 만드는 모델-어트리뷰션 공동 설계 프레임워크인 APEX를 제안한다. 핵심 구성 요소는 PolyGIN으로, 메시지 전달(message-passing), 정규화, 및 변환 연산이 사전 소프트맥스 로짓과 같은 스칼라 모델 점수에 대해 유계 다변량 다항식 형태를 보존하는 GIN 스타일 그래프 네트워크이다. PolyGIN이 $L$개의 다항식 변환 블록을 갖는 경우, 어트리뷰션 경로를 따른 도함수의 차수는 최대 $2^L-1$임을 보인다. 따라서 Gauss-Legendre 구적은 $2^{L-1}$개의 결정적 평가 지점으로 Aumann-Shapley 경로 적분을 부동소수점 정밀도까지 정확히 계산할 수 있다. 이렇게 얻은 어트리뷰션은 특징 수준에서 계산한 뒤 완전성(completeness)을 유지하면서 노드 수준 점수로 집계할 수 있다. 합성 및 실세계 그래프 벤치마크에 대한 실험은 PolyGIN이 경쟁력 있는 예측 성능을 유지함을 보여주며, 완전한 APEX 프레임워크는 비교 기준선(baseline) 대비 더 높은 어트리뷰션 충실도를 달성하고 경로 적분에 필요한 평가 횟수를 크게 줄인다.
추론 시간 조정(inference-time steering) 방법은 모델 가중치를 업데이트하지 않고 테스트 시간에 내부 활성화를 수정함으로써 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 미세조정에 대한 경량 대안을 제공한다. 그러나 기존 접근법의 대부분은 고정된 전역 개입 벡터에 의존하고, 개별 입력 토큰의 인과적 영향을 간과하며, 특히 시각적 입력과 텍스트 입력이 불균등하게 기여하는 멀티모달 환경에서 모델 로짓(logits)의 유익한 그래디언트를 활용하지 못한다. 이러한 한계를 해결하기 위해, 우리는 언어 전용 모델과 비전-언어 모델 및 태스크 모두에 걸쳐 작동하는 추론 시간 조정 접근법인 GrAInS를 제안한다. GrAInS는 통합 그래디언트(Integrated Gradients)를 통한 대조적(contrastive) 그래디언트 기반 어트리뷰션을 사용하여, 선호 출력 대비 비선호 출력에 대한 기여도를 기준으로 긍정적 및 부정적으로 귀속된 상위-k개의 가장 영향력 있는 토큰을 식별한다. 이 토큰들은 바람직하지 않은 행동에서 바람직한 행동으로의 의미론적 전환을 포착하는 방향성 조정 벡터(directional steering vector)를 구성하는 데 사용된다. 추론 과정에서 GrAInS는 토큰 수준 어트리뷰션 신호에 따라 트랜스포머 레이어의 은닉 활성화를 조정하고, 표현적 스케일을 보존하기 위해 활성화를 정규화한다. 이를 통해 재학습이나 보조 지도(auxiliary supervision) 없이 모델 행동에 대한 세밀하고 해석 가능하며 모듈식 제어가 가능해진다. 실험적으로, GrAInS는 미세조정 및 기존 조정 기준선 모두를 지속적으로 능가한다: Llama-3.1-8B를 사용하여 TruthfulQA에서 13.22%의 정확도 향상을 달성하고, LLaVA-1.6-7B를 사용하여 MMHal-Bench의 환각 비율을 0.624에서 0.514로 감소시키며, SPA-VL에서 정렬 승률을 8.11% 향상시키면서 모델의 유창성과 일반적 능력을 보존한다.
디코더 전용 트랜스포머에서 예측 토큰의 확률이 실제로 어느 층에서 생성되는지 정확히 귀인(attribution)하기 위해, 기존 방법들이 로짓 공간에서만 가산성을 보장하거나 층별 합산이 전체 예측 변화량과 불일치하는 문제를 해결하는 IG-Lens를 제안한다. 단일 경로를 따라 망원경식으로 Integrated Gradients를 적용하여 각 층의 기여값 합이 확률 공간에서 정확히 목표 확률 변화량과 일치하며, 역전파 호출 없는 단일 패스 배치 구현으로 전체 토큰×층 귀인 맵을 효율적으로 계산한다.
Integrated Gradients(IG)와 같은 경로 기반 속성 귀attribution 방법은 강한 공리적 성질과, 기준선에서 입력까지의 경로를 따라 그래디언트를 적분하여 모델 예측을 입력 특징에 귀속하는 효과성 때문에 널리 채택된다. 그러나 속성 귀attribution 경로의 선택은 설명의 품질에 크게 영향을 미치며, 기존 접근법은 고정되거나 수작업으로 설계된 경로에 의존하여 종종 노이즈가 많거나 왜곡된 속성 귀attribution을 만든다. 이 한계를 해결하기 위해, 우리는 경로 생성을 조건부 생성 모델링 문제로 재구성하는 새로운 방법인 Diffusion Integrated Gradients(DiffIG)를 제안한다. DiffIG는 먼저 Stick-Breaking Process로 생성된 경로들에 대한 분포를 학습하기 위해 확산 모델을 학습하고, 샘플링 절차 중 사용자 안내를 내장하기 위해 guided sampling을 사용한다. 우리는 DiffIG가 정량적으로 기존 경로 기반 방법들과 동등하거나 더 나은 성능을 보이며, 지각적으로 정렬된 설명을 달성함을 보여준다. 이 연구는 유연하고 추론 시점에 제어 가능한 설명 가능한 인공지능(XAI) 방법을 위한 새로운 생성적 관점을 제시한다.
트랜스포머는 강력한 성능을 달성하지만 내부 연산은 여전히 불투명하다. 우리는 각 트랜스포머 층을 동적 그래프로 보며, 그 노드는 토큰 표현과 헤드별 어텐션 출력이고 Multi-Head Attention(ATT)과 MLP를 모듈 경계로 둔다. 이 그래프 위에서 우리는 LIG(Layer-wise Integrated Gradients)를 사용하며, 이는 비선형 모듈 경계에서 집합-대-집합 통합 그래디언트(IG)를 적용한다. 집합-대-집합 IG는 입력 토큰 표현의 집합에서 출력 표현의 집합으로의 사상에 IG를 적용하여 토큰-대-토큰 기여도를 평가하며, 이는 기존 IG 적용에서 표준이 아니다. 이는 L2 스칼라화를 통해 IG를 통상의 스칼라 목적함수 설정에서 집합-대-집합 사상으로 확장하고, Layer-wise Relevance Propagation(LRP)의 정신에 따라 층 내 기여도를 구성하며, IG 완전성(completeness)이 각 경계에서 LRP 스타일 보존의 역할을 한다. 우리는 LIG를 사용하여 (i) L2 기준 하에서 모듈별 구성과 층 전체 귀속(attribution) 간의 일치, 그리고 (ii) 분리된 ATT와 MLP 기여도를 추적함으로써 층 내 정보 흐름을 분석한다. BERT-base와 PTB에서 층 내 일관성을 가장 잘 보존한 구성은 ATT 기준선으로 대상 토큰의 임베딩을, MLP 기준선으로는 a=0에서의 ATT 출력 또는 Zero를 사용했다. 따라서 우리는 LIG를 모델별 재학습이나 연산별 해석기 설계 없이 모듈 경계 수준의 진단용 XAI 도구로 제시한다. 코드는 https://github.com/eightsuzuki/layer-wise-integrated-gradients 에서 이용할 수 있다.
감정을 넘어선 사회심리학적 의미 마커 분류에 통합 그래디언트(IG)를 적용해 단어별 기여도를 설명 가능하게 분석하고, 검증된 RoBERTa 기반 BERTAgent의 에이전시 예측에서 IG 파라미터를 최적화한 뒤 대안 기법과 비교해 성능과 계산 복잡도 측면에서 IG를 채택한다. 소규모 레이블 데이터셋에서는 과적합을 유도하는 학습으로 클래스별 핵심 단어를 추출해 사전 구축에 활용할 수 있음을 보였으며, 집단행동 의도 텍스트 하이라이트 등 사회심리학적 적용 시나리오에서 결과의 유용성을 검증한다.