PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25518v1cs.CL

마트료시카 어트리뷰션: 언어 모델의 출력을 표현과 가중치에 귀속시키는 학습

Matryoshka attribution: Learning to attribute language model outputs to representations and weights

언어 모델의 출력을 내부 연산에 귀속(attribution)시키는 것은 해석 가능성(interpretability) 분야의 미해결 문제이다. 인과적 개입(causal intervention), 그래디언트, 또는 학습 가능한 마스크를 사용하는 기존 방법들은 비용이 현실적으로 감당하기 어렵거나, 실제로 인과적으로 중요한 내부 연산을 식별하는 데 어려움을 겪는다. 우리는 어트리뷰션을 다운스트림 손실을 최소화하는 내부 구성 요소의 중첩된 부분집합을 식별하는 문제로 정식화할 것을 제안한다. 이 과제를 학습하기 위해, 간단하고 미분 가능한 시그모이드 top-$k$ 연산자로 마스크를 매개변수화하는 마스크 학습 방법인 Matryoshka Attribution(MAttr)을 소개한다. 학습 과정에서 $k$를 무작위로 바꾸어 모든 희소도(sparsity)에 대해 동시에 지도함으로써, 어트리뷰션 점수에 따라 구성 요소를 정렬한 순서를 학습한다. MAttr는 Mechanistic Interpretability Benchmark(Mueller et al., 2025)의 공식 리더보드에서 1위를 차지했으며, 우리의 방법은 다양한 회로 기저(circuit basis)에 걸쳐 희소하고 과제 간 전이 가능한 회로를 식별한다. 실용적인 응용으로서, MAttr를 강화학습으로 학습시켜 LLM 파인튜닝에서 다운스트림 행동의 원인이 되는 가중치 변화를 식별할 수 있음을 보인다. 거절(refusal) 판정 점수를 기반으로 MAttr를 학습시킨 결과, Llama 3.1 8B Instruct 가중치의 $1\%$를 베이스 모델 상태로 되돌리는 것만으로도 성능을 유지하면서 거절 응답을 제거할 수 있음을 확인했다. 우리는 MAttr를 해석 가능성을 경사하강법으로 다룰 수 있는 학습 가능한 목적 함수로 성공적으로 정식화한 사례로 보며, 이러한 방향의 후속 연구를 권장한다.

arXiv:2607.24236v2cs.CL

CAGE: 장문 질의응답에서 충실한 인라인 인용 생성을 위한 인지적 귀속 그래프

CAGE: Cognitive Attribution Graphs for Faithful Inline Citation Generation in Long-Form Question Answering

장문 질의응답은 대규모 언어 모델(LLM) 출력을 검증 가능하게 만들기 위해 검색된 근거에 점점 더 의존하고 있으며, 인라인 인용이 주장을 원본 문서에 연결한다. 그러나 기존 시스템은 주제적으로는 관련 있지만 주장을 뒷받침하기에 불충분한 인용을 붙이는 경우가 많다. 우리는 귀속 모호성(attribution ambiguity)을 구조적 과제로 식별한다. 종단 간(end-to-end) 생성은 조합론적 주장-문서 할당을 암묵적으로 해결해야 하며, 이는 증거적 경계를 모호하게 하고 주장이 인용된 근거를 초과하는 증거-경계 초과(evidence-boundary overrun) 위험을 높인다. 이 과제를 해결하기 위해, 우리는 CAGE(Cognitive Attribution Graphs for Citation Generation)를 제안한다. 이는 답변 생성 전에 명시적인 인지적 귀속 맵을 도입하는 2단계 프레임워크이다. CAGE는 먼저 플러그 앤 플레이(plug-and-play) 인지 맵 유도 모델(Cognitive Map Induction Model)을 학습하여 답변 중심 지원 서브그래프를 구성하고, 명시적 관계를 통해 각 의미적 답변 단위를 지원 문서와 정렬한다. 그다음 구조화된 인용 추론 모델(Structured Citation Reasoning Model)이 이러한 단위를 맵에 정렬된 인용과 함께 문장 수준 주장으로 구현한다. ASQA, ELI5, ExpertQA에서의 실험은 CAGE가 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 귀속 공간 수축(attribution-space contraction)과 맵 기반 인용 생성(map-guided citation generation)의 효과를 입증한다.

arXiv:2607.23835v1cs.CV

일관된 증거, 견고한 인식: 기하 변환 하에서의 충실한 어트리뷰션 정규화

Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

어트리뷰션(attribution) 방법은 모델 예측의 근거가 되는 증거를 특성화하는 데 널리 사용되지만, 모델 동작을 개선할 수 있는 잠재력은 아직 충분히 탐구되지 않았다. 레이블을 보존하는 기하 변환 하에서의 어트리뷰션 불일치는 변환에 민감한 증거 의존을 나타낼 수 있으며, 이는 어트리뷰션 정규화를 동기 부여한다. 그러나 이러한 지도는 어트리뷰션이 예측을 유도하는 증거를 충실하게 반영할 때에만 유효하다. 기존 자기지도(self-supervised) 방법은 일반적으로 Grad-CAM과 같은 그래디언트 기반 맵을 정렬하는데, 이들의 제한된 충실성(faithfulness) 때문에 어트리뷰션 일관성이 반드시 근본적인 의사결정 과정의 일관성을 의미하지는 않으며, 변환 견고성 문제가 해결되지 않은 채로 남는다. 우리는 이미지 영역에 대한 부분모듈러(submodular) 탐색을 기반으로 한 주석 없는(annotation-free) 어트리뷰션 정규화 프레임워크를 제안한다. 후보 부분집합이 모델 출력에 미치는 영향을 측정함으로써, 탐색은 탐색 유도 지도(search-derived supervision)로서 간결하고 클래스 판별적인 증거를 추출한다. 우리는 추가로 경로 일관성(path-consistency) 및 종료 정렬(termination-alignment) 항을 갖춘 부분모듈러 순위 손실(submodular ranking loss)을 도입하는데, 이들은 각각 짝을 이룬 탐색 궤적을 따라 공간적으로 대응하는 후보 순위를 정렬하고, 변환된 궤적이 목표 종료 단계에서 정지 기준(stopping criterion)을 만족하도록 장려한다. 이 손실은 최종 어트리뷰션과 원래는 이산적인 증거 선택 과정 모두를 정규화하기 위한 미분 가능한 대리(surrogate)를 제공한다. ImageNet-100 실험에서 우리 방법은 ViT-B/16에서 정확도 하락을 0.28 포인트로 제한하면서 어트리뷰션 안정성, Insertion, Deletion을 크게 개선했으며, ViT-L/16에서도 유사한 향상을 보였다. ImageNet-1K에서는 ResNet-50과 ConvNeXt-B에서 변환된 입력 정확도를 개선하면서 클린 정확도(clean-accuracy) 하락을 0.30 포인트로 제한하여, 최소한의 성능 손실로 더 일관된 증거 의존을 보여준다. 코드는 곧 공개될 예정이다.

arXiv:2602.07008v3cs.CV

어디에서 학습하지 말아야 하는가: 신뢰할 수 있는 의사결정을 위한 선험 정렬 학습과 부분집합 기반 귀속 제약

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

신뢰할 수 있는 모델은 올바르게 예측하는 것뿐 아니라, 수용 가능한 근거로 의사결정을 정당화해야 한다. 그러나 기존 지도 학습은 일반적으로 클래스 수준의 레이블만 제공하여, 모델이 의도된 근거가 아닌 지름길 상관관계(shortcut correlations)를 통해 높은 정확도를 달성할 수 있게 한다. 인간 선험(human priors)은 이러한 행동을 제약하는 데 도움이 될 수 있지만, 학습된 표현이 종종 인간의 지각과 어긋나기 때문에 모델을 이러한 선험에 정렬하는 것은 여전히 어렵다. 이 문제를 해결하기 위해, 우리는 귀속(attribution) 기반 인간 선험 정렬 방법을 제안한다. 우리는 인간 선험을 모델이 의존할 것으로 기대되는 입력 영역(예: 바운딩 박스)으로 인코딩하고, 학습 중 모델의 의사결정 근거를 드러내기 위해 매우 충실한 부분집합 선택 기반 귀속 접근법을 활용한다. 귀속 영역이 선험 영역에서 상당히 벗어날 때, 우리는 선험 밖 근거에 대한 의존에 패널티를 부과하여 모델이 귀속을 의도된 영역 쪽으로 이동하도록 유도한다. 이는 인간 선험이 유도한 귀속 제약을 부과하는 학습 목적함수를 통해 달성된다. 우리는 MLLM 기반 GUI 에이전트 모델에서 이미지 분류와 클릭 의사결정 작업 모두에 대해 방법을 검증한다. 기존 분류 및 자기회귀 생성 설정 전반에 걸쳐, 인간 선험 정렬은 과제 정확도를 지속적으로 향상시키는 동시에 모델의 의사결정 합리성도 높인다.

arXiv:2607.02903v1cs.CR

TIER: 멤버십 프라이버시를 위한 궤적 불변 설명 정규화

TIER: Trajectory-Invariant Explanation Regularization for Membership Privacy

설명 가능성(Explainability)은 신뢰할 수 있는 AI를 구축하는 데 핵심적이지만, 설명 인터페이스는 의도치 않게 적대자에게 확장된 프라이버시 관련 공격 표면을 제공할 수 있다. 최근 연구에 따르면, 고급 멤버십 추론 공격(membership-inference attack)은 신뢰도 점수나 설명 벡터를 직접 사용하는 대신, 어트리뷰션 기반 섭동을 통해 유도된 신뢰도 하락 궤적(confidence-drop trajectory)을 판별적 특징으로 활용함으로써 성공한다는 것이 밝혀졌다. 멤버십 추론에 대한 기존 방어 기법들은 이러한 설명 기반 공격을 직접적으로 완화하지 못한다. 본 연구에서는 학습 과정에서 모델 자체의 그래디언트를 이러한 공격에 대한 방어 신호로 활용하여 멤버(member)와 비멤버(non-member) 간의 설명 프로파일을 정렬할 수 있는지 탐구한다. 이를 위해, 그래디언트 기반 섭동을 통해 시뮬레이션된 신뢰도 하락의 불규칙한 변동에 패널티를 부과하는 동시에 KL 발산(KL-divergence)을 통해 분포적 이동(distributional shift)을 최소화하는 궤적 불변 설명 정규화(TIER, Trajectory-Invariant Explanation Regularization) 방어 기법을 제안한다. 레이블 견고성을 강조하는 기존의 적대적 학습(adversarial training)과 달리, 본 접근법은 KL 발산을 통한 자기 일관성(self-consistency)을 강제하고 멤버와 비멤버 간 신뢰도 하락의 분산을 줄임으로써 설명 견고성(explanation robustness)을 목표로 한다. 광범위한 실험을 통해 본 방법이 이러한 공격을 효과적으로 완화하며, 모델 유용성과 설명 충실도를 유지하면서 프라이버시 보호를 제공함을 확인하였다.

arXiv:2606.26449v1cs.CL

ProvenAI: 생성 답변에서의 출처 기반 증거 추적

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI는 검색-증강 생성(RAG) 다중 홉 질의응답에서 답변 정확도, 벤치마크 지원 증거 대비 인용 충실도, leave-one-resource-out 개입 기반 문서별 영향력을 독립 계층으로 측정하는 7단계 평가 프레임워크를 제안한다. HotpotQA distractor 검증 7,405건에서 답변 정확도 53.53%, 평균 인용 충실도 71.55%를 기록했으며, 인용 감사는 양호하지만 인용된 출처의 영향은 약하고 인용되지 않은 출처가 출력을 바꾸는 인용-영향력 격차를 보여준다.

arXiv:2606.23915v1cs.CL

Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs

RAG 귀속(attribution) 자동 평가 지표 8종을 세 가지 평가 구성과 다중 데이터셋에서 비교 감사한 결과, 생성 답변 귀속에서는 데이터셋마다 최적 지표 순위가 뒤집혀 어떤 자동 채점기도 교차 이전(transfer)하지 않고 AttributedQA 최고 NLI 채점기(AUROC 0.90)는 LFQA에서 0.53(우연)으로 붕괴한다. 평균 성능으로 평가기를 고르는 방식은 leave-one-dataset-out에서 실패하므로 지표 선택은 대상 데이터셋에서 검증해야 하며, 프롬프트 LLM 판정은 붕괴는 줄이지만 비용이 약 100배 높고 비결정적이다.

arXiv:2606.20532v1cs.AI

지시는 음성을 어떻게 형성하는가? 스타일 캡션 기반 텍스트 음성 변환을 위한 크로스 어텐션 귀인

How Do Instructions Shape Speech? Cross-Attention Attribution for Style-Captioned Text-to-Speech

스타일 캡션 기반 텍스트 음성 변환(TTS) 시스템은 자연어를 사용하여 음성 특성을 제어하지만, 개별 단어가 음향 출력에 미치는 영향은 여전히 불분명합니다. 이를 이해하는 것은 표현력 있는 TTS의 실패 모드를 진단하고 제어 가능성을 개선하는 데 중요합니다. 본 연구에서는 음성 확산 모델을 위한 크로스 어텐션 귀인(cross-attention attribution)을 제안하며, DAAM 프레임워크를 처음으로 음성 도메인에 적용하여 CapSpeech-TTS에 활용합니다. 제안하는 방법은 25개 층과 24개 ODE 단계에 걸쳐 토큰당 히트맵을 추출합니다. 30개의 텍스트 대본 생성을 각각 조건화하는 120개의 스타일 캡션으로 구성된 총 3,600개의 (스타일 캡션, 텍스트 대본) 조합을 분석하여, 캡션 토큰이 파형을 형성하는 방식을 규명합니다. 결과는 다음을 보여줍니다: (1) 스타일 토큰은 내용/기능 토큰보다 시간적 분산이 낮아 전역적 조건화를 확인하며; (2) 스타일 어텐션은 F0(기본 주파수) 및 에너지와 상관관계가 있고; (3) 스타일 조건화는 초기 단계와 깊은 층에서 정점을 이루며; (4) 어텐션 엔트로피는 층 17에서 최소가 되는데, 이는 스타일 중요도의 정점과 일치하며 가장 스타일이 중요한 단계에서 네트워크 선택성이 최대임을 나타냅니다. 이는 자연어가 음성 확산 모델 내 크로스 어텐션에 미치는 영향을 연구한 첫 번째 사례입니다.