PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.08348v3cs.CL

서킷은 우리에게 얼마나 많은 것을 말해주는가? 언어 모델 서킷의 일관성과 특이성 측정

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

기계론적 해석가능성(mechanistic interpretability)의 서킷(circuit) 프레임워크는 특정 동작의 인과적 원인이 되는 모델 컴포넌트의 희소 하위 그래프를 식별하는 것을 목표로 하며, 일반적으로 필요성과 충분성을 측정하여 평가합니다. 그러나 이러한 기준은 서킷이 모델이 과업을 수행하는 방식을 일관되게 포착하는지, 또는 해당 과업에 특이적인지(specific)에 대해서는 거의 설명하지 못합니다. 본 연구에서는 6개 과업과 5개 모델에 걸쳐 일관성(consistency)과 특이성(specificity)이라는 두 가지 특성을 조사하며, 컴포넌트 수준(어텐션 헤드 및 MLP 블록)과 개별 MLP 뉴런 수준에서 서킷을 추출합니다. 그 결과 컴포넌트 수준의 서킷은 대부분의 과업에서 높은 일관성을 보이고 인과적으로 중요하지만, 특이적이지는 않다는 점을 발견했습니다. 즉, 주어진 과업에서 자체 서킷을 절제(ablation)했을 때의 정확도 하락은 다른 과업의 서킷을 절제했을 때와 거의 비슷했습니다. 반면 뉴런 수준 서킷은 과업 간에 더 높은 특이성을 보이지만, 과업 내 일관성은 훨씬 낮았습니다. 이는 서킷의 중첩으로 설명됩니다. 컴포넌트 수준 서킷은 관련 여부와 무관하게 과업 전반에 걸쳐 대부분의 컴포넌트를 공유하지만, 뉴런 수준 서킷은 밀접하게 관련된 과업 간에만 중첩됩니다. Llama-3.2-3B의 과업 서킷이 공유하는 컴포넌트에 대한 사례 연구를 통해, 이들이 주로 MLP 블록으로 구성되어 있으며 소수의 어텐션 헤드는 범용적인 역할을 수행함을 보입니다. 전반적으로 본 연구 결과는 서킷이 모델 동작에 대한 표적화된 이해와 개입을 얼마나 뒷받침할 수 있는지에 대해 의문을 제기합니다.

arXiv:2605.13156v2cs.CV

비전-언어 모델의 객체 환각에 대한 이중 경로 회로

Dual-Pathway Circuits of Object Hallucination in Vision-Language Models

비전-언어 모델(VLM)은 시각적 지각과 자연어 이해를 연결하는 뛰어난 능력을 입증하며 다양한 멀티모달 추론 작업을 가능하게 해왔습니다. 그러나 이들 모델은 입력 이미지에 없는 내용을 설명하는 객체 환각(object hallucination)을 빈번히 발생시켜 신뢰성과 해석 가능성을 저해합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 기계론적 이해(mechanistic understanding) 및 인과적 탐색을 목적으로 VLM 내 환각 관련 회로를 식별하고 특성화하는 프레임워크인 이중 경로 회로 분석(Dual-Pathway Circuit Analysis)을 제안합니다. 먼저 구조적으로 다양한 5개의 VLM에 활성화 패칭(activation patching)을 적용하여 올바른 예측을 뒷받침하는 시각적 그라운딩(visual grounding) 경로와 오류 출력을 유발하는 환각 경로를 식별합니다. 이어 경로 수준 상호작용을 특성화하기 위한 조건부 경로 분석(CPA)을 도입하여, 그라운딩 구성요소가 정답 및 환각 샘플 모두에서 강한 중복성을 유지하지만 일관된 극성 반전(polarity flip)을 겪으며 정답 샘플에서는 실제 정답(ground truth)을 지지하던 것에서 오류 샘플에서는 환각된 답변과 일치하도록 전환됨을 밝혀냅니다. 나아가 환각 경로 구성요소에 대한 표적 억제를 수행하여, 이러한 구성요소를 스케일링함으로써 정확도 손실을 최소화하면서도 객체 환각을 최대 76%까지 줄일 수 있음을 보이고, 동일한 회로가 관계 환각에는 선택적으로 전이되지만 속성 환각에는 전이되지 않음을 검증합니다. POPE-adversarial 및 AMBER 평가 결과, 식별된 회로가 여러 아키텍처 전반에 걸쳐 일관되고 인과적 개입을 지원하며 환각 유형에 따라 선택적으로 전이됨을 보여줍니다. 코드는 https://github.com/jiaxin26/DualPath-VLM 에서 확인할 수 있습니다.

arXiv:2609.37731v2cs.LG

가중치는 특징을 읽고 쓴다: 활성화 공간에 기반한 확장 가능한 매개변수 분해

Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space

활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.

arXiv:2606.08236v2cs.CL

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

대규모 언어 모델(LLM)의 내부 계산을 감사하기 위해, 기존 회로 분석(circuit analysis)이 단일 목표 출력에만 의존하는 한계를 극복하고자 의미론적 임베딩(semantic embedding)과 트랜스코더(transcoder) 기반 기계론적 어트리뷰션(mechanistic attribution)을 결합한 비지도 분포-수준 특징 발견(distribution-level unsupervised feature discovery) 프레임워크를 제안한다. rate-distortion 목적함수로 두 관점을 동시에 최적화해 클러스터링하면, 단일 관점 기준선이 포착하지 못하는 연속 모드를 발견하고 클러스터 서명이 인과적으로 유효한 기계론적 요인에 대응함을 스티어링 실험으로 검증하였다.