PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28273v2cs.CL

비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘

Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

비전-언어 모델(VLM)이 시각적 입력과 사전학습된 세계 지식이 충돌할 때 이를 어떻게 해결하는지 인과적 메커니즘을 규명하기 위해, activation patching과 ablation 연구를 결합한 결과 시각적 그라운딩이 기본 경로로 작동하는 반면, 사전 지식 기반 응답은 네트워크 후반부에 집중된 소수의 어텐션 헤드(2.5–4.8%)에 의존하는 비대칭 인과 구조가 Qwen-VL, LLaVA-NeXT, PaliGemma 등 세 가지 VLM 계열에서 일관되게 나타남을 밝혔다. 이 헤드들은 정보 흐름을 조절하는 라우팅 헤드와 답 토큰을 잔차 스트림에 직접 투사하는 쓰기 헤드로 구분되며, 이를 절제하면 사전지식 프롬프트 조건에서 68–96%의 예측이 시각적 그라운딩 답변으로 전환된다.

arXiv:2610.13895v1cs.CL

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

arXiv:2605.13156v2cs.CV

비전-언어 모델의 객체 환각에 대한 이중 경로 회로

Dual-Pathway Circuits of Object Hallucination in Vision-Language Models

비전-언어 모델(VLM)은 시각적 지각과 자연어 이해를 연결하는 뛰어난 능력을 입증하며 다양한 멀티모달 추론 작업을 가능하게 해왔습니다. 그러나 이들 모델은 입력 이미지에 없는 내용을 설명하는 객체 환각(object hallucination)을 빈번히 발생시켜 신뢰성과 해석 가능성을 저해합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 기계론적 이해(mechanistic understanding) 및 인과적 탐색을 목적으로 VLM 내 환각 관련 회로를 식별하고 특성화하는 프레임워크인 이중 경로 회로 분석(Dual-Pathway Circuit Analysis)을 제안합니다. 먼저 구조적으로 다양한 5개의 VLM에 활성화 패칭(activation patching)을 적용하여 올바른 예측을 뒷받침하는 시각적 그라운딩(visual grounding) 경로와 오류 출력을 유발하는 환각 경로를 식별합니다. 이어 경로 수준 상호작용을 특성화하기 위한 조건부 경로 분석(CPA)을 도입하여, 그라운딩 구성요소가 정답 및 환각 샘플 모두에서 강한 중복성을 유지하지만 일관된 극성 반전(polarity flip)을 겪으며 정답 샘플에서는 실제 정답(ground truth)을 지지하던 것에서 오류 샘플에서는 환각된 답변과 일치하도록 전환됨을 밝혀냅니다. 나아가 환각 경로 구성요소에 대한 표적 억제를 수행하여, 이러한 구성요소를 스케일링함으로써 정확도 손실을 최소화하면서도 객체 환각을 최대 76%까지 줄일 수 있음을 보이고, 동일한 회로가 관계 환각에는 선택적으로 전이되지만 속성 환각에는 전이되지 않음을 검증합니다. POPE-adversarial 및 AMBER 평가 결과, 식별된 회로가 여러 아키텍처 전반에 걸쳐 일관되고 인과적 개입을 지원하며 환각 유형에 따라 선택적으로 전이됨을 보여줍니다. 코드는 https://github.com/jiaxin26/DualPath-VLM 에서 확인할 수 있습니다.

arXiv:2610.03389v1cs.CV

패칭에서 가지치기로: 비전-언어 모델에서의 시각적 연산 가지치기

From Patching to Pruning Visual Computation in Vision Language Models

비전-언어 모델(VLM)은 여러 깊이에서 토큰별 시각 연산이 불필요한 경우에도 모든 시각 토큰이 모든 디코더 층의 어텐션 및 MLP 프로젝션을 거쳐 처리되기 때문에 상당한 추론 비용을 발생시킵니다. 본 논문에서는 기계론적 해석가능성(Mechanistic Interpretability)에서 영감을 받아, 활성화 패칭(activation patching)을 진단 도구에서 추론 시점의 연산 우회 방식으로 전환하는 학습 불필요(training-free) 프레임워크인 Patch-to-Prune(P2P)을 제안합니다. P2P는 검증 기반 전방향 및 역방향 층 스윕을 수행하여, 사용자가 지정한 정확도 허용 범위 내에서 시각 토큰 프로젝션 출력을 고정된 중립 대리 활성화 벡터로 대체할 수 있는 디코더 영역을 식별합니다. 기존의 토큰 가지치기 방법과 달리, P2P는 시퀀스 길이, 토큰 순서, 위치 정보, 어텐션 마스크 및 잔차 경로를 보존하므로 토큰을 제거하거나 사전학습된 모델 가중치를 수정하지 않고도 연산을 가지치기합니다. 우리는 상호 배타적인 캘리브레이션, 검증 및 테스트 분할을 사용하여 7개의 멀티모달 벤치마크에 걸쳐 Qwen2.5-VL 및 LLaVA 계열의 4개 VLM에서 P2P를 평가합니다. 3% 허용 오차에서 P2P는 고밀도(dense) 정확도의 약 94%를 유지하면서 FLOP을 55% 줄입니다. 이러한 효율성 향상 외에도, 층별 분석을 통해 VLM의 시각적 처리가 디코더 깊이에 걸쳐 불균일하게 분포되어 있음을 시사합니다. 초기 및 후기 층은 토큰별 시각 연산을 거의 필요로 하지 않는 반면, 중간 층은 대부분의 과제 관련 시각적 통합을 수행하여 이후의 추론이 공유된 잔차 및 텍스트 표현에 이미 임베딩된 시각 정보에 크게 의존할 수 있도록 합니다. 이는 P2P를 효율적인 추론 프레임워크인 동시에 VLM의 시각 정보 처리를 들여다보는 인과적 렌즈로 만들어 줍니다.

arXiv:2610.00024v1cs.CV

인코딩되었으나 단절됨: 패칭 널 조건에서 비전-언어 모델 실패 분해하기

Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null

세 가지 비전-언어(vision-language) 모델 구조(LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) 전반에 걸쳐, 중간층 해석 가능성에 대한 보편적인 부정적 결과를 보고합니다. 세 모델 모두에 공통적인 벤치마크인 POPE에서, 중간층은 오류의 68-91%에서 정답(ground-truth)을 인코딩하고 있으나, 이 신호는 최종 예측에 인과적으로 작용하지 않습니다. 즉, 잔차 스트림(residual-stream) 패칭은 세 가지 구조 모두에서 층(layer) 수준의 비자명한 전환(flip)을 0% 나타냈으며, 세 개 중 두 개 구조에서는 헤드(head) 수준에서도 동일했습니다(Qwen: 0/12,600회 패칭된 순전파). 유일한 예외인 InternVL3의 20번 층 2번 헤드는 어휘 외(non-vocab) 자기 어텐션(self-attending) 헤드로, 그 효과는 해당 특정 헤드에 국한됩니다(p < 1e-4). 이러한 널(null) 결과에도 불구하고, 오류는 조작적으로 인식 실패(Perception Failure), 인코딩되었으나 단절됨(Encoded-but-Disconnected), 사전확률 우선(Prior-Override)이라는 세 가지 실패 모드로 구분되며, 세 구조 모두에서 60% 이상의 정확도로 학습 가능합니다. 또한 구조의 사전확률 방향은 두 가지 개입 중 어느 것이 범주별 특화 반응을 이끌어내는지 예측합니다. 우리는 오라클 라벨 하에서의 이러한 완화 효과를 실제 배포 가능한 방법이 아니라, 해당 범주들이 기저 메커니즘 차원에서 실재함을 입증하는 증거로서 보고합니다.

arXiv:2605.16023v4cs.CL

판사 회로를 통해 설명하는 LLM-as-a-judge의 포맷 유발 비일관성

Judge Circuits Explain Format-Induced Inconsistency in LLM-as-a-Judge

LLM-as-a-judge는 대규모로 모델 출력을 평가하는 지배적인 패러다임이 되었지만, 동일한 모델임에도 출력 포맷이 변경되면(예: 1~5점 척도 평가 vs. 참/거짓 라벨) 체계적으로 서로 다른 점수를 부여합니다. 이러한 포맷 유발 비일관성에 대한 기존 진단은 입력-출력 수준에 머물러 있습니다. 본 연구에서는 위치 인식 엣지 귀속 패칭(Position-aware Edge Attribution Patching, PEAP)을 사용하여 5개의 판정 태스크에 걸쳐 5개의 공개 가중치 인스트럭션 튜닝(instruction tuning) 모델(Gemma-3, Qwen2.5, Llama-3.1)의 내부 메커니즘을 인과적으로 조사합니다. 그 결과, 구조화된 이해 및 개방형 선호도 태스크 전반의 판정이 중간-후반부 레이어에 위치한 희소한 잠재 평가자(Latent Evaluator) 하위 그래프를 공유함을 발견했습니다. 아키텍처적으로 모듈화된 모델에서 이를 제로 제거(zero-ablation)하면 판정 기능은 붕괴하지만, 동일한 크기의 무작위 제거에 비해 지식 프로브 손상은 실질적으로 훨씬 적었습니다. 추상적 판정과 출력 포매팅을 구조적으로 분리함으로써, 본 연구는 연구 대상 공개 가중치 모델들에서 나타나는 포맷 유발 비일관성에 대한 기제론적 설명을 제공합니다. 즉, 공유된 트렁크에서 계산된 연속적인 판정 신호가 취약하고 포맷에 특화된 말단 브랜치를 거쳐 매핑됩니다. 따라서 판정 자체는 요청된 출력 포맷과 무관하게 독립적으로 읽어낼 수 있습니다. 본 연구의 결과는 포맷 간 판사 신뢰도에 대한 벤치마크(benchmark) 비교가 취약한 포매팅 단계를 부분적으로 측정하며, 기저에 있는 평가의 품질을 과소평가할 수 있음을 시사합니다.

arXiv:2609.27038v1cs.AI

서술된 추론 단계는 인과적으로 부하를 지는가?

Are Stated Reasoning Steps Causally Load-Bearing?

사고의 연쇄(CoT) 모니터링은 모델이 적어 낸 추론이 답을 직접 생성하는 계산을 반영한다고 가정한다. 이전 충실성(faithfulness) 지표는 대부분 행동적(behavioral)이었는데, 추론 텍스트를 편집한 뒤 그에 따른 답만 관찰하는 방식이었다. 본 연구의 방법론은 자기 생성(self-generated) 추론에 대해 활성(activation) 수준에서 충실성을 인과적으로 측정하는 것을 목표로 한다. 성능 저하(degradation)를 측정하는 기존 인과 감사(causal audit)와 달리, 여기서의 개입(intervention)은 알려진 예측 타깃을 갖는다. 따라서 각 패치(patch)는 구성상(construction) 도출 가능한 특정 반사실(counterfactual) 개체로 답이 바뀌어야 한다. 구체적으로 합성 다중 홉(multi-hop) 조회(lookup) 과제(2–6홉)를 사용한다. 모델이 각 중간 단계를 서술하는 토큰 구간에서, 반사실 실행의 해당 활성으로 잔차 스트림(residual stream)을 패치한다. Qwen3-4B의 경우, 가장 반응이 큰 네트워크 중간 층에서 서술된 단계의 76.9%±2.8%가 인과적 부하 부담(causally load-bearing, CLB)이다(무작위 위치 null: 11.3%; 기본 프롬프트 사실 패치: 83%, 따라서 서술된 단계는 달성 가능한 효과의 약 96%를 담는다). 더욱이 동일 항목에 대한 표준 행동적 검사는 88.2%를 내어 인과적 충실성을 11.4퍼센트포인트 과대평가한다(항목 일치; 불일치 쌍 111:14, p < 1e-15), 가장 쉬운 항목에서는 최대 20퍼센트포인트까지 과대평가한다. 이 격차에는 뚜렷한 역량(capability) 차원도 있다. Qwen3-1.7B는 전반적으로 인과적 충실성이 훨씬 낮다(54.8%), 추론 깊이가 깊어질수록 충실성이 무너진다(2홉 68%에서 6홉 30%), 반면 Qwen3-4B는 상대적으로 평탄하다. 서술된 추론이 인과적으로 의미 있을 수 있지만, 표준 행동적 검사는 특히 모델 추론이 가장 유창해 보이는 쉬운 예에서 그 인과적 충실성을 과대평가하는 경향이 있다.

arXiv:2606.28358v2cs.IR

LLM은 어떻게 인용하는가? 검색-증강 생성에서 귀속(attribution)의 메커니즘적 해석

How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 외부 문서에 출력을 그라운딩하고 검증 가능성을 위해 인라인 인용을 활용함으로써 대규모 언어 모델(LLM)의 신뢰성을 높이는 것을 목표로 한다. 그러나 이러한 인용의 충실성, 즉 모델이 답변 생성 시 실제로 해당 출처를 활용하는지 여부는 중요하지만 검증되지 않은 가정으로 남아 있다. 본 논문은 대규모 언어 모델이 사실형 질문에 답변할 때 인라인 인용을 첨부할지 여부를 결정하는 방식에 대한 최초의 메커니즘적 설명을 제시한다. PopQA 데이터셋을 기반으로 한 통제된 실험 환경에서 Llama-3.1-8B-Instruct 모델을 사용하여 활성화 패칭(activation patching) 방법을 적용하였다. 인용을 담당하는 내재 메커니즘을 분석한 결과, 이는 단일하고 국소적인 구성 요소가 아니라 어텐션 헤드와 MLP 레이어로 구성된 분산된 다단계 귀속(attributional) 앙상블임을 확인하였다. 해당 핵심 헤드와 MLP만을 증폭 또는 약화시킴으로써 PopQA에서 누락된 인용의 90% 이상을 복원하고 허위 인용의 69%를 제거하면서도 답변 정확도를 해치지 않음을 보였다. 다중 문서 벤치마크인 HotpotQA에서의 성능 향상은 제한적이나, 동일한 구성 요소 집합이 의도한 방향으로 인용률을 변화시켜 해당 내재 메커니즘이 특정 데이터셋에 종속되지 않음을 시사한다. 이 결과는 모델의 외견상 추론과 내부 계산 경로 사이의 잠재적 괴리를 드러내며, 인라인 인용이 허위 안전감을 조성할 수 있음을 시사한다.

arXiv:2607.08349v1cs.LG

인증된 개입적 충실도: 메커니즘적 해석 가능성에서 인과적 주장의 언제든 유효한 적응형 평가

Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability

메커니즘적 해석 가능성(Mechanistic interpretability) 평가에서 점 추정치만 보고하는 관행의 통계적 불확실성 문제를 해결하기 위해, 인증된 개입적 충실도(CIF, Certified Interventional Fidelity)라는 프레임워크를 제안한다. CIF는 개입 평가 결과를 인과적 추정량으로 명식화하고 언제든 유효한 신뢰 수열(anytime-valid confidence sequences)과 적응형 샘플링을 지원하며, 분산 적응형 베팅 수열을 통해 인증 비용을 10~30배 절감하는 성능을 MNIST 추상화 및 GPT-2 Small IOI 회로 실험으로 검증했다.

arXiv:2607.04640v1cs.CL

옳기 전에 틀림: 정렬된 언어 모델에서의 후반 구출과 인터페이스 실패

Wrong Before Right: Late Rescue and Interface Failure in Aligned Language Models

우리는 최종 답변이 옳은지 여부뿐만 아니라, 정렬된 언어 모델 내부에서 정확성이 어떻게 조립되는지를 연구한다. 극성 제어 최소쌍에 대한 층별 이중차분법(DiD) 궤적을 사용하여, 우리는 오답 딥(wrong-dip)을 식별한다: 중간 층(전체 깊이의 25~90%)에서 내부 선호도가 일시적으로 오답에 편향되었다가 후반 층 보정에 의해서만 구출된다. 우리는 이를 17개 모델, 3개 모델 계열, 64배 스케일(0.5B~32B)에 걸쳐 patchscope 방식의 활성화 이식을 통해 인과적으로 검증한다. 네 가지 발견이 도출된다. (1) 인과적 오답 딥의 정렬 증폭은 학습 레시피에 따라 다르며 창발적이다: Qwen2.5에서는 3B에서 창발하여 높은 수준을 유지하며 32B에서 최고조에 달하고(대응표본 t 최대 9.7), Llama-3-8B에서는 역전되며(t=-2.31), Mistral-7B에서는 그 중간 수준이다. (2) 딥은 실제 압축 실패를 예측한다: 딥이 높은 항목은 후반 층 저순위 압축, 블록 제거, 구조적 가지치기 하에서 3~7배 더 높은 확률로 답이 뒤집히는 반면, 양자화에 의한 뒤집힘은 딥과 무관하며, 이는 후반 층 절제 실험으로 확인된 이중 해리다. (3) 딥은 학습 가능하다: 중간 층 오답 마진 패널티를 적용한 LoRA 파인튜닝은 출력 전용 SFT와 동등한 정확도를 달성하면서 인과적 딥을 67~70% 줄이고 압축 강건성을 향상시킨다; 출력 전용 SFT는 완벽한 표면 정확도에서 인과적 딥을 최대 2.8배 악화시킨다. (4) 제어된 판독값을 통해, 이 현상은 자연어 입출력에서도 유지된다: 구조적 손상 실패의 딥 계층화는 자연주의적 시나리오에서 유의미하며, 자유형식 취약성은 딥 감사 가능한 후반 구출 층과 딥-무감지 인터페이스 층으로 분리된다. 종합하면, 출력 수준의 정확성은 압축 위험, 사후 학습 품질, 평가 왜곡을 지배하는 후반 구출 과정을 은폐할 수 있다.

arXiv:2606.27510v1cs.LG

다중 매개 요인의 저주: Activation Patching에서의 숨겨진 상호작용 효과

The Curse of Multiple Mediators: Hidden Interaction Effects in Activation Patching

Activation patching은 기계론적 해석가능성(mechanistic interpretability)의 핵심 도구이다. 이는 자연 간접 효과(NIE, natural indirect effect)를 추정하여 모델 행동에 대한 인과적 책임을 각 개별 구성 요소에 귀속한다. 인과 매개 분석(causal mediation analysis) 관점에서 activation patching 추정량을 재유도한 결과, NIE는 특정 구성 요소를 통한 인과 효과만 포착하지 않음을 밝혔다. NIE에는 또한 구성 요소의 인과 효과 자체가 모델 내 다른 구성 요소의 상태에 얼마나 의존하는지를 측정하는 상호작용 효과(INT, interaction effects)가 포함된다. 추정량이나 분석 단위를 조정하여 INT를 제거하려는 시도가 자연스러운 대응일 수 있으나, 이러한 잠재적 해결책 각각은 예측 가능한 실패 양상을 갖는다. GPT-2 IOI 회로에서 이러한 실패 양상을 입증한다. 다른 구성 요소의 상태에 조건부인 인과적 중요성을 갖는 구성 요소는 탐지되지 않거나 인위적으로 부풀려지며, INT 분산이 이전에 보고된 충실도(faithfulness) 점수의 불안정성을 설명한다. INT는 clean 활성화와 patched 구성 요소 활성화 사이의 거리에 비례하여 증가하고, 모델이 국소적으로 아핀(affine)일 때는 무시할 수 있는 수준이며, 조합적으로 쌍(pairwise) 및 고차(high-order) 그룹 상호작용으로 분해됨을 증명한다. INT는 불가피하지만 제거해야 할 잡음이 아니라, 해석가능성 연구를 위한 진단 지표이다. INT의 개별 및 그룹 수준의 크기와 부호는 인과 결론이 프롬프트에 의존하는 경우와, 탐욕적(greedy) NIE 기반 구성 요소 순위가 조합적 탐색(combinatorial search)을 통해서만 발견 가능한 메커니즘을 놓치는 경우를 알려준다.