PyTorchKR Papers

최신 논문

총 77편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.03031v3cs.LG

Step-Level Sparse Autoencoder for Reasoning Process Interpretation

Large Language Models (LLMs) have achieved strong complex reasoning capabilities through Chain-of-Thought (CoT) reasoning. However, their reasoning patterns remain too complicated to analyze. While Sparse Autoencoders (SAEs) have emerged as a powerful tool for interpretability, existing approaches predominantly operate at the token level, creating a granularity mismatch when capturing more critical step-level information, such as reasoning direction and semantic transitions. In this work, we propose step-level sparse autoencoder (SSAE), which serves as an analytical tool to disentangle different aspects of LLMs' reasoning steps into sparse features. Specifically, by precisely controlling the sparsity of a step feature conditioned on its context, we form an information bottleneck in step reconstruction, which splits incremental information from background information and disentangles it into several sparsely activated dimensions. Experiments on multiple base models and reasoning tasks show the effectiveness of the extracted features. By linear probing, we can easily predict surface-level information, such as generation length and first token distribution, as well as more complicated properties, such as the correctness and logicality of the step. These observations indicate that LLMs should already at least partly know about these properties during generation, which provides the foundation for the self-verification ability of LLMs. Our code is available at https://github.com/Miaow-Lab/SSAE.

arXiv:2606.29951v1cs.LG

로컬 피델리티 정규화를 활용한 메소모픽 신경망의 예측 성능 및 해석 가능성 향상

Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

해석 가능한 메소모픽 신경망(IMN)은 선형 출력 층의 가중치가 단일 값에 편중되는 퇴화 문제로 신뢰할 수 없는 해석을 생성할 수 있는데, 이를 해결하기 위해 로컬 피델리티 정규화(LFR)를 도입하여 선형 출력 가중치를 로컬 데이터 변동에 정렬시키는 구조적 제약을 추가하였다. OpenML 벤치마크 평가에서 LFR은 해석 가능성을 보장하면서도 기존 IMN 대비 AUROC를 향상시키고 CatBoost, TabNet 등 최신 블랙박스 모델과 경쟁력 있는 예측 성능을 달성하였다.

arXiv:2606.28287v1nucl-th

해석 가능한 신경망으로 일원론적 대칭성과 전역 핵 질량을 연결

Bridging Ab Initio Symmetries and Global Nuclear Masses with Interpretable Neural Networks

일원론(ab initio) 모델링은 가벼운 핵과 중간 질량 핵에서 핵력의 주요 대칭성으로 위그너(Wigner)의 SU(4)와 엘리엇(Elliott)의 SU(3)를 확립했다. 우리는 이들이 핵종 표 전역에서 핵 결합도 또한 주도하는지 묻는다. 우리의 목적은 높은 정밀도 예측이 아니라 해석 가능한 대칭 기반 모델을 통해 물리적 통찰을 얻는 것이다. SU(3) 및 SU(4) 카시미르(Casimir) 연산자에서 세 가지 신경망(NN) 질량 모델을 구성한다: 점 예측을 위한 특징 정보 NN(FINN), 불확실성 정량화를 추가한 가우시안 정보 NN(GINN), 카시미르를 연산자 기저로 사용하는 질량 공식인 위그너 정보 NN(WINN). 모두 AME2016에서 학습하고 AME2020에 새로 추가된 핵종에 대해 검증한다. SU(4) 연산자만으로 학습 및 테스트 데이터에서 RMSE를 거의 절반으로 줄이고, 외삽에서는 액적-드롭 기준선 대비 약 5분의 1을 줄인다—이는 위그너 대칭이 벌크 특성 이상의 예측 정보를 담고 있다는 것을 보여준다. 간결한 형태임에도 WINN은 최저 검증 RMSE 0.430 MeV에 도달하여 최신 질량 모델과 견줄 수 있다—우리는 이를 벤치마크보다는 그 대칭 기저가 중요한 물리를 포착한다는 증거로 해석한다. WINN은 또한 i) 중성자 드립라인 근처에서 이차 SU(4) 카시미르의 강화를 보여 위그너 대칭의 복원을 시사하고, ii) 초중원소 영역에서 사차 연산자의 예상치 못한 이득을 드러낸다. 이를 통해 우리는 개별 핵 내부의 숨겨진 질서 내 창발적 대칭성을 전체 핵종 표의 지배 원리로 승격한다.

arXiv:2606.28194v1cs.LG

COCOLogic-V2: 진정한 Hard-Negative를 통한 논리적 불일치 식별

COCOLogic-V2: Identifying Logical Inconsistencies via Truly Hard-Negatives

개념 병목 모델(concept bottleneck model, CBM)과 프로그램 합성(program synthesis) 방법과 같은 해석 가능한 모델은 모델의 결정을 검증할 수 있게 하지만, 평가는 일반적으로 단순한 과제에 국한되어 실제 이미지에 대한 복잡한 추론은 대부분 탐구되지 않은 채로 남아 있다. 우리는 일계 논리(first-order logic)의 넓은 부분집합을 다루는 실제 이미지에 대한 시각적 귀납 추론(visual inductive reasoning)을 위한 객체 중심(object-centric) 데이터셋인 COCOLogic-V2를 제안한다. 샘플을 긍정 변형(positive variants), 경계 근처(near-boundary, NB), 경계 원거리(far-from-boundary, FB) 음성 예시로 분류함으로써, COCOLogic-V2는 모델 책임성(model accountability)에 대한 세밀한 진단을 가능하게 한다. 우리의 평가 결과, 모델은 긍정 샘플과 FB 샘플을 잘 분리하는 경향이 있으나 NB 샘플에서는 실패하며, 지각적 노이즈(perceptual noise)와 규칙으로 유발된 큰 탐색 공간(rule-induced search spaces)은 퓨샷(few-shot) 설정에서 추가적인 도전 과제가 된다. 종합하면, 이러한 결과는 시각적 귀납 추론이 여전히 미해결 과제(open challenge)임을 강조하며, COCOLogic-V2가 이 방향의 방법 발전을 위한 구체적인 기반을 제공함을 보여준다.

arXiv:2605.17482v3cs.CL

RSD: 언어 모델 은닉 상태 감사를 위한 이동 국소 삼각 차트

RSD: Moving Local Triangular Charts for Auditing Language-Model Hidden States

우리는 언어 모델 은닉 상태에 대한 이동 국소 삼각 차트 감사(audit)로서 관계적 의미 분해(Relational Semantic Decomposition, RSD)를 연구한다. 하나의 목표 단어가 반복 등장할 때, RSD는 층 또는 토큰 시간 $t$에서 공유된 세 앵커 멤버십 차트 $S_t$를 적합한다. 은닉 상태 채널은 $X_t\approx S_tC_t$를 사용한다; 불변 판독값(readout) $M_t=S_tS_t^\top$은 유도된 등장 공-멤버십 관계이며, $R_t=X_t-S_tC_t$는 적합된 루트 차트가 차트 밖에 남기는 것을 기록한다. 더 넓은 공동 감사(joint audit)는 어텐션에서 유도된 등장 관계와 같은 관계 데이터 $A_t\approx S_tB_tS_t^\top$에 동일한 멤버십 차트를 재사용한다. 현재 GPT-2 증거는 Word-in-Context(WiC) 레이블을 외부 동의어 대 이의어 참조 관계로 사용하는 $X$-채널 은닉 상태 감사이다. 전체 WiC train에서 루트 차트는 자격을 갖춘 53개 목표 단어 중 16개를 통과한다; 이는 GPT-2 과제 정확도가 아니라 감사 커버리지(audit coverage)이다. 토큰 시간 및 쌍(pair) 수준 진단은 주요 영역(regime)을 보여준다: \texttt{make}와 \texttt{break}는 목표 상태에서 정렬(align)되고, \texttt{drive}와 \texttt{stay}는 소규모 탐색적 사례에서 오른쪽 문맥 이후 개선되며, \texttt{play}는 최종 동의어 쌍이 더 가깝지 않고 잔차(residual) 불일치가 더 큰 국소화된 루트 차트 실패로 남아 있다. 그 결과 주장은 진단적이다: RSD는 의미(sense) 관계가 루트 공-멤버십에서 어디에 가시적인지, 그리고 어떤 실패가 잔차 분기 후보 또는 어텐션 채널 의무(attention-channel obligations)가 되는지 보고한다.

arXiv:2606.27947v1cs.CV

토큰 활성화 맵을 이용한 MLLM의 예술 작품 묘사 방식 이해

Understanding How MLLMs Describe Artworks Using Token Activation Maps

멀티모달 대규모 언어 모델(MLLM)은 예술 작품을 놀랄 만큼 유창하게 묘사하지만, 그 출력 이면의 시각적 추론은 여전히 불투명하다. MLLM이 스타일을 명명하거나, 피사체를 식별하거나, 상징학적(iconographic) 기호를 인식할 때, 각 주장을 캔버스의 해당 영역에 그라운딩(grounding)하는지, 구분되지 않은 시각 신호에 의존하는지, 아니면 주로 텍스트적 사전 지식(priors)에 의존하는지? 우리는 Token Activation Map(TAM)을 사용하여 이를 연구한다. TAM은 각 생성 토큰에 대해, 이전 문맥 간섭으로부터 해당 토큰에 특화된 시각적 증거를 분리한 히트맵을 생성한다. 여러 시대와 장르에 걸친 선별된 그림 집합에 TAM을 적용하여, 다섯 가지 의미적으로 구별되는 토큰 범주—일반 시각 객체, 스타일 서술어, 메타데이터, 상징학적(iconographic) 토큰, 정서적(affective) 표현—에 걸친 그라운딩 패턴을 분석한다. 시각적 그라운딩은 토큰 의미에 따라 상당히 달라진다는 것을 발견했다. 또한 MLLM이 예술 작품과 화가를 식별하려 시도하며, 제목 예측보다 화가 귀속(attribution)에서 더 높은 정확도를 달성하고, 제목 예측에서는 환각(hallucination)이 더 빈번하게 나타난다는 것을 보인다. 마지막으로 TAM을 SAM~3 open-vocabulary segmentation과 비교한다. 재현성을 위해 코드, 실험 설정, 프롬프트, 정성적 결과를 프로젝트 페이지 https://nicolafan.github.io/tamart/ 에 공개한다.

arXiv:2606.26620v1cs.LG

희소 오토인코더로 수백만 개의 해석 가능한 특징 발견

Discovering Millions of Interpretable Features with Sparse Autoencoders

Qwen3 인스트럭션 튜닝 모델(Qwen3-1.7B, 4B, 8B)의 잔차 스트림·MLP·어텐션 출력 등 주요 활성화 지점에서 학습한 Qwen3-Instruct SAE 희소 오토인코더(SAE) 모음을 공개하고, 재구성 및 모델 복원 지표로 층·구성 요소별 희소성-충실도 트레이드오프를 체계적으로 평가한다. 거부(refusal) 스티어링 사례 연구에서는 선택된 SAE 특징이 인과적으로 거부 행동을 유도할 수 있음을 보여, 인스트럭션 튜닝된 언어 모델의 희소 표현·특징 수준 메커니즘·행동 개입 연구를 위한 실용 자원을 제공한다.

arXiv:2606.26228v1physics.data-an

물리학의 기계학습에서 '해석 가능성'의 해석과 '설명 가능성'의 설명

Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics

물리학에서 기계학습의 해석 가능성(interpretability)과 설명 가능성(explainability)을 구조적 투명성과 도메인 지식 대응으로 구분해 검토하며, 표현력·적응성과의 트레이드오프와 내재적·사후(post-hoc) 방법을 정리한다. 기계학습 모델도 고전 모델과 동일한 과학적 질문의 대상이며, 해석·설명 가능성은 고유 속성이 아니라 작업 명세와 개입 계획을 포함한 의도적 모델링 선택으로 이해해야 한다고 강조한다.

arXiv:2606.27226v1cs.AI

판단하지 말고 질문하라: 해석 가능한 LLM 평가와 자기 개선을 위한 이진 질문

Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement

BINEVAL은 평가 기준을 원자적 이진 질문으로 분해하고 LLM이 각 출력에 대해 독립적으로 답해 해석 가능한 다차원 점수로 집계하는 학습 불필요 평가 프레임워크이다. SummEval, Topical-Chat, QAGS에서 UniEval·G-Eval 등 강력한 베이스라인과 동등하거나 더 나은 인간 상관을 보이며 QAGS 같은 사실적 일관성 벤치마크에서 특히 우수하고, 질문 수준 피드백은 천장 효과를 줄여 경계 출력 구별을 개선하며 요약 평가자 프롬프트와 IFBench 생성 프롬프트의 반복적 최적화에도 활용된다.

arXiv:2606.26942v1cs.CV

TraMP-LLaMA: 표정 품질 평가를 위한 분리형 지시 미세조정 기반 생성적 해석 가능성

TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

표정 품질 평가(FEQA)가 심각도 점수만 내고 얼굴 움직임 근거를 설명하지 못하는 한계를 줄이기 위해 TraMP-LLaMA는 RGB 외관과 랜드마크 궤적을 통합해 점수와 구조화된 텍스트 보고서를 함께 생성하고, 분리형 인스트럭션 튜닝(instruction tuning)으로 심각도 예측과 언어 생성 간 과제 간섭을 완화한다. PFED5-plus에서 보고서 생성은 경쟁 비디오-언어 베이스라인을 능가했고, 공동 다중 표정 학습에서는 비교 방법 중 최고의 심각도 예측을 달성하며 Spearman 순위 상관계수를 최소 4.39% 향상했다.

arXiv:2606.25268v1stat.AP

구조적 응답을 위한 해석 가능한 텍스트 신호 학습

Learning Interpretable Text Signals for Structured Responses

구조적 응답 변수와 함께 수집된 텍스트에서 예측과 해석을 함께 다루기 위해, 비음수 행렬 분해(NMF)와 이항 회귀를 결합한 Joint Binomial NMF 모델을 제안하고 문서-토픽 표현을 텍스트 재구성과 평점 예측으로 동시에 학습한다. 시뮬레이션과 실제 리뷰 데이터에서 응답 관련 텍스트 신호를 안정적으로 복원하며 선형·릿지 회귀 기준 모델과 비슷한 예측 성능을 달성한다.

arXiv:2606.25201v1cs.LG

FDN: Interpretable Spatiotemporal Forecasting with Future Decomposition Networks

Spatiotemporal systems comprise a collection of spatially distributed yet interdependent entities each generating unique dynamic signals. Highly sophisticated methods have been proposed in recent years delivering state-of-the-art (SOTA) forecasts but few have focused on interpretability. To address this, we propose the Future Decomposition Network (FDN), a novel forecast model capable of (a) providing interpretable predictions through classification (b) revealing latent activity patterns in the target time-series and (c) delivering forecasts competitive with SOTA methods at a fraction of their memory and runtime cost. We conduct comprehensive analyses on FDN for multiple datasets from hydrologic, traffic, and energy systems, demonstrating its improved accuracy and interpretability.

arXiv:2606.24953v1cs.LG

How Complexity Contributes to Learning Opacity in Machine Learning

신경망(NN) 학습 과정이 불투명한 이유를 복잡계 동역학의 관점에서 분석하며, 가중치 초기화 민감성, 경사 기반 최적화의 피드백, 학습 데이터 민감성이라는 세 가지 훈련 복잡도의 핵심 속성이 학습 불투명성(learning opacity)에 어떻게 기여하는지를 규명한다. 이 속성들은 학습 과정에 본질적으로 내재되어 있어 일부 불투명성의 원인은 근본적으로 제거 불가능할 수 있음을 논증한다.

arXiv:2606.24716v1cs.CV

Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations

Sparse autoencoders (SAEs) are increasingly used to extract interpretable concepts from vision and vision language models, yet existing evaluation methods largely rely on proxy metrics or qualitative inspection rather than measuring semantic correspondence. We present a human-grounded evaluation framework that quantifies alignment between SAE latents and human-annotated concepts, without requiring user studies, and validate this matching through targeted attribute perturbations. To enable this intervention-style evaluation in vision, we construct synCUB and synCOCO, synthetic benchmarks of paired images that differ in exactly one attribute. We introduce Fully-Binary Matching Pursuit (FBMP), a coalition-based matching procedure that supports many-to-one mappings between SAE latents and annotated concepts, and consistently outperforms one-to-one baselines. For functional validation, we propose a Targeted Attribute Perturbation Alignment Score (TAPAScore), which tests whether matched concepts respond selectively and in the expected direction under targeted image-level attribute perturbations. Under sanity checks, our matching and TAPAScore are the only evaluated metrics that reliably distinguish trained SAEs from untrained ones. Across SAEs trained on CLIP and DINOv2 embeddings, we find that increased overcompleteness can reduce perturbation alignment, indicating a reduction in interpretability. Our evaluation framework suggests that moderate dictionary sizes provide the best trade-off, yielding the most interpretable SAEs. Code and datasets are available at https://github.com/JonasKlotz/sae-concept-eval.

arXiv:2606.23763v1cs.CV

듣기가 VLM의 시각을 명확하게 한다

Listening makes Vision Clear for VLMs

최근 연구들은 일반적으로 답변 측 토큰의 어텐션 분포를 사용하여 비전-언어 일관성을 평가한다. 그러나 우리는 어텐션이 가장 높은 영역이 항상 의도된 의미 토큰과 일치하지 않는다는 것을 관찰하였다. 이는 아마도 디코딩 드리프트(decoding drift)에서 비롯된 것으로, 이전에 생성된 답변 토큰의 언어 사전(language prior)이 누적되면서 시각적 어텐션과 불일치가 발생한다. 이전 답변 토큰의 사전 외에도, 모달리티 경계 마커(modality boundary marker)와 같은 구조적 토큰이 전체 컨텍스트를 포괄하여 목표와 무관한 영역에 높은 어텐션을 생성할 수 있음을 발견하였다. 이러한 왜곡을 방지하고 대규모 VLM에 대한 일관성 평가를 제공하기 위해, 우리는 프롬프트 측 의미론을 채택하고 프롬프트-비전 토큰 활성화 맵(PV-TAM, Prompt-Vision Token Activation Map)을 제안한다. PV-TAM은 모달리티 경계 마커에 의해 유발되는 체계적 바이어스를 제거하는 필터를 추가로 통합한다. 마스크만을 통해 겹침을 평가하고 활성화 강도를 무시하는 기존 방법과 달리, 우리의 메트릭은 어텐션의 피크 분포를 활용하여 프롬프트와 시각적 영역 간의 정렬을 측정한다. 실험에서 PV-TAM은 다양한 데이터셋에서 답변 측 기준선 대비 어텐션 기반 및 IoU 방식의 로컬라이제이션(localization) 메트릭 모두를 일관되게 향상시킨다.

arXiv:2503.21321v2stat.AP

자동차 보험에서 청구 심각도 및 빈도 예측을 위한 설명 가능 부스팅 머신

Explainable Boosting Machine for Predicting Claim Severity and Frequency in Car Insurance

머신러닝과 심층 학습 기법의 급속한 발전과 함께, 보험계리사와 보험 업계 전반은 예측 정확도와 해석 가능성 사이의 지속적인 트레이드오프에 직면하고 있다. 본 논문은 자동차 보험 프레임워크에서 청구 빈도 및 심각도 모델링에 초점을 맞춰 Explainable Boosting Machines(EBM)에 대한 포괄적인 응용 평가를 제공한다. EBM은 일반화 가법 모델(GAM)의 가법적 구조와 순환 그래디언트 부스팅 알고리즘을 결합하여, 예측이 설계상 해석 가능한 glass-box 모델을 만든다. 실제 데이터를 사용하여 실용적 관련성을 실증적으로 보여주고, 손해보험 요율 산정에 사용되는 현대 벤치마크 모델들과 EBM을 비교한다. 평가에서는 (i) Murphy diagram과 Bregman dominance test를 포함한 표본 외 예측 정확도, (ii) T-reliability diagram과 Murphy score 분해를 이용한 보정(calibration) 평가를 고려한다. 마지막으로 EBM 예측과 Shapley value 사이의 연관성을 강조하며, 예측을 정확한 주효과와 쌍별 상호작용 효과로 투명하게 분해할 수 있음을 보여 예측 성능을 넘어 실행 가능한 통찰을 제공한다.

arXiv:2606.06735v1cs.AI

각도-노름 분해를 통한 활성화 스티어링의 기하학적 분석

A Geometric Account of Activation Steering through Angle-Norm Decomposition

선형 활성화 스티어링(activation steering)은 언어 모델의 동작을 제어하는 간단하면서도 경험적으로 효과적인 방법으로 널리 사용되고 있다. 최근에는 가산적 개입의 한계를 해결하기 위해 구면 스티어링(spherical steering) 패러다임이 제안되었으며, 이는 종종 은닉 상태(hidden-state)의 노름(norm)이 개념과 관련된 정보를 담지 않는다는 가정에 기반한다. 본 연구에서는 각도(angular) 성분과 반경(radial) 성분의 역할을 분리하기 위해 설계된 통제된 실증 연구를 통해 이 가정을 재검토한다. 우리는 스티어링 방법이 주로 두 가지 기하학적 효과를 어떻게 결합하는지—토큰의 개념 방향과의 각도 정렬을 바꾸는 것과 은닉 상태의 노름을 바꾸는 것—에 따라 달라짐을 보인다. 7개의 언어 모델에 걸쳐 개념은 주로 각도 구조에 표현되어 구면 방법의 동기를 뒷받침하지만, 노름은 스티어링의 안정성과 하위 효과에 여전히 중요하다는 것을 확인한다. 우리의 결과는 개념 수준에서 유사한 효과를 가진 개입이 서로 다르게 작동하는 이유를 설명하며, 활성화 스티어링은 두 효과를 뒤섞는 단일 가산 계수가 아니라 개입의 해석 가능한 각도 및 반경 성분으로 매개변수화되어야 함을 시사한다.