PyTorchKR Papers

최신 논문

총 77편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23658v1cs.CV

비디오 확산 모델은 왜 물리를 위반하는가? 어텐션 메커니즘의 결함 규명

Why Do Video Diffusion Models Violate Physics? Unveiling the Flaws in Attention Mechanisms

뛰어난 시각적 품질에도 불구하고, 최신 비디오 확산 모델은 종종 실세계 물리 법칙을 위반하는 콘텐츠를 생성한다. 기존 해결책은 외부 사전(prior)이나 특화 데이터에 의존하는 반면, 우리는 이러한 모델의 내부 메커니즘을 탐구하여 근본 원인을 조사한다. 구체적으로, text-to-video 확산 모델의 ''motion planning'' 과정에 대한 최초의 해석 가능성(interpretability) 연구를 제시하며, 초기 디노이징(denoising) 단계에서 움직임 궤적(motion trajectory)이 어떻게 형성되는지 밝힌다. ''first shape, then details'' 발견을 바탕으로, cross-attention 궤적 패턴과 인과적 헤드(causal head) 기여를 결합하여 motion planning을 주도하는 어텐션 헤드의 특정 부분집합을 식별한다. 또한 self-attention 분석은 Rotary Position Embedding(RoPE)이 과도한 공간 어텐션 감쇠(attention decay)를 유발함을 보여준다. 이로 인해 초기 후보 영역이 물리적으로 불가능한 위치에 조기 고정되어, 인접 프레임의 합리적인 궤적을 억압하고 생성 실패 모드를 유발한다. 이 근본적 결함을 해결하기 위해, 서로 다른 디노이징 단계에서 RoPE의 주파수를 조절(scale)하는 경량 아키텍처 수정을 제안한다. 이 전략은 과도한 어텐션 감쇠를 줄여, 모델이 일관된 물리적 움직임을 확립하기 위해 더 나은 후보 영역을 탐색하도록 돕는다. 마지막으로, 학습 없는(training-free) 및 학습 기반(training-based) 실험이 생성된 비디오의 물리 상식(physical commonsense) 향상에서 우리 접근법의 효과를 확인한다.

arXiv:2607.22494v2cs.MM

CARA: 해석 가능한 충돌 예측을 위한 개념 인식 위험 어텐션

CARA: Concept-Aware Risk Attention for Interpretable Collision Anticipation

자율주행에서 충돌 예측은 정확한 조기 경고뿐 아니라, 어떤 위험 요인을 추적하고 있는지, 그리고 위험이 시간에 따라 어떻게 변화하는지에 대한 해석 가능한 추론도 필요하다. 기존 방법은 이 점에서 부족하다. 특징 기반 모델은 불투명하고, 사후 설명은 종종 충실도가 부족하며, 개념 기반 방법은 대부분 동적 주행 장면이 아닌 정적 인식을 위해 설계되어 있다. 우리는 충돌 예측을 위한 본질적으로 해석 가능한 시공간 프레임워크인 CARA(Concept-Aware Risk Attention, 개념 인식 위험 어텐션)를 제안한다. CARA는 사고 서사로부터 도메인에 기반한 위험 개념을 도출하고, 비전-언어 유사도를 통해 이를 비디오 프레임과 정렬하며, 이를 진화하는 개념 궤적으로 구성한다. 이러한 궤적은 공간 어텐션, 시간 어텐션, 예측을 안내하는 명시적인 위험 증거를 제공하여, 의미적 개념이 모델이 어디에 어텐션하는지와 시간에 따라 위험을 어떻게 예측하는지 모두에 직접 영향을 미치게 한다. 의미적 위험 요인을 보조적인 사후 설명이 아닌 동적 중간 증거로 취급함으로써, CARA는 해석 가능성과 예측 과정을 긴밀히 결합한다. 세 벤치마크에 대한 광범위한 실험은 CARA가 강력한 기준선 대비 예측 정확도와 경고 조기성을 일관되게 개선하면서, 희소하고 의미적으로 기반된 개념 증거를 제공함을 보여준다.

arXiv:2606.27237v2cs.CL

태스크 특화 지식 베이스로서의 언어 모델: 해석 가능성 분석

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

행동·기계론적 분석을 통해 언어 모델(LM)이 사실적 지식을 태스크 불변 저장소가 아닌 태스크 특화 방식으로 인코딩함을 보였으며, 한 태스크에서 획득한 사실이 다른 태스크로 공동 출현하지 못하는 경우가 빈번하고 동일 사실마다 태스크별로 구분되는 매개변수 부분집합이 존재한다. 사고의 연쇄(Chain-of-Thought) 추론은 평가 태스크와 다른 태스크 특화 매개변수를 활용하는 경향이 있어, 모델이 아는 것과 질문 방식이 매개변수 공간에서 얽혀 있다는 점에서 지식 베이스(knowledge base) 유추를 약화시키고 사실적 지식의 신뢰성·제어 가능성에 시사점을 준다.

arXiv:2607.22546v1cs.CL

GAND 설명: 성별 모호 자연 데이터 및 대조적 속성 분석 리소스

Explaining GAND: A Resource on Gender-Ambiguous Natural Data & Contrastive Attribution

기계 번역(MT) 시스템은 여전히 성별 편향 번역을 생성한다. 자기 표현이 매우 중요한 시대에, 기본 동작과 고정관념에 기반한 오역은 이러한 시스템 사용자에게 해를 끼칠 수 있다. 명확한 성별 단서가 없을 때 이러한 시스템이 성별을 어떻게 번역하는지 더 잘 이해하려면, 성별 모호 시나리오를 자연스럽게 반영하는 벤치마킹 리소스가 필요하다. 이를 위해 우리는 GAND를 제시한다. GAND는 영어 원문 문장으로 구성된 MT용 성별 모호 자연 데이터 벤치마킹 리소스로, 번역에서 문맥 단서가 성별에 미치는 영향을 분석하도록 특별히 설계되었다. 우리는 GAND를 활용하여 해석 가능성 분석을 수행한다: GAND의 부분집합을 두 개의 문법적 성별 언어로 번역하고, 이를 수작업으로 작성한 대조적 번역으로 확장한다. 이어진 특징 기여도(feature attribution) 분석을 통해, 대상 번역에서 모호한 지시 대상 엔티티의 성별 번역에 영향을 미치는 문맥 속 원문 단어를 밝혀낸다.

arXiv:2607.21774v1cs.CL

Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜롬비아 정체성 추론 프로빙

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.

arXiv:2607.22367v1cs.LG

어텐션 롤아웃을 이용한 내부 해석 가능성: 트랜스포머에서의 수축 및 전파 프로파일

Interior interpretability with attention rollout: contraction and propagation profiles in Transformers

특징 기여(feature-attribution) 방법은 입력 변수와 모델의 출력 간 관계에 점수를 부여하지만, 그 자체로는 명시적으로 정의된 상호작용 연산자가 중간 레이어에서 어떻게 합성되는지 특성화하지는 않는다. 우리는 내부 모델 구조에 대한 전파 기반 관점인 \emph{interior interpretability}(내부 해석 가능성)을 제안하고, 어텐션 롤아웃을 사용하여 표 형식(tabular) 트랜스포머에 이를 구현한다. 롤아웃을 특징 토큰 간 어텐션 매개 전파를 인코딩하는 행 확률적(row-stochastic) 연산자로 해석한다. 고전적인 Doeblin--Dobrushin 수축 이론을 적용함으로써, Dobrushin 계수가 작은 롤아웃 연산자가 정규화된 열 합으로 결정되는 공통 행을 갖는 rank-one 확률 행렬에 정량적으로 가깝다는 것을 보인다. 이 결과는 해당 롤아웃 전파 프로파일에 구조적 해석을 제공한다. 대사체학적(metabolomic) 나이 예측을 위해 학습된 트랜스포머에서, 측정된 롤아웃 수축은 깊이에 따라 강화된다. 학습된 모델과 무작위 초기화 모델은 서로 다른 전파 프로파일을 보이기도 하지만, 본 실험은 개별 롤아웃 순위 변수의 예측적 관련성을 입증하지는 않는다. PCA 및 SHAP에 대한 GradientExplainer 근사와의 탐색적 비교는, 높은 순위의 변수들 사이에서는 국소적 일치를 보이지만 전체 순위에 걸친 일치는 약함을 드러낸다. 따라서 어텐션 롤아웃은 여기서 완전한 트랜스포머에 대한 인과적 설명이나 충실한 기여(attribution)가 아니라, 어텐션 매개 전파의 진단 도구로 사용된다.

arXiv:2607.21941v1cs.LG

LatentFlow: 분자 그래프 신경망의 잠재 공간 분석을 위한 시각 분석

LatentFlow: Visual Analytics for Latent Space Analysis in Molecular Graph Neural Networks

화학자와 재료 과학자들은 분자의 성질과 반응 결과를 예측하기 위해 그래프 신경망(GNN)과 같은 머신러닝 모델을 점점 더 많이 사용하고 있다. 예측 성능을 넘어, 이러한 모델이 잠재 공간, 즉 분자의 임베딩(embedding) 내부에서 화학 정보를 어떻게 조직하는지 이해하는 것이 중요하다. 잠재 공간 분석은 모델 동작을 진단하고, 학습된 임베딩이 의미 있는 화학적 관계를 반영하는 방식으로 조직되어 있는지 평가하는 데 도움이 된다. 불행히도, 기존 방법들은 층과 다양한 모델 상태(예: 학습 에포크, 모델 구성, 입력 데이터)에 걸친 잠재 공간 분석을 제한적으로만 지원하여, 이러한 잠재 공간이 모델 전반에 걸쳐 어떻게 진화하는지 또는 화학적 개념과 어떻게 연관되는지 이해하기 어렵다. 우리는 분자 GNN의 잠재 공간을 분석하기 위해 도메인 전문가와 협력하여 개발한 시각 분석 시스템인 LatentFlow를 제시한다. LatentFlow는 임베딩을 클러스터로 그룹화하고, 수정된 Sankey 다이어그램을 사용하여 층과 모델 상태에 걸쳐 이러한 클러스터가 어떻게 변하는지 추적함으로써 잠재 공간의 탐험을 지원한다. 해석을 지원하기 위해 LatentFlow는 이러한 클러스터를 대표 분자와 그들의 공유 부분구조에 연결하고, 과학자들이 자신의 도메인 지식을 도입하여 잠재 공간에서 발견된 패턴과 비교할 수 있게 한다. 우리는 두 가지 사례 연구를 통해 LatentFlow를 평가한다. 결과는 LatentFlow가 과학자들이 잠재 공간이 어떻게 진화하는지 이해하고, 의미 있는 분자 패턴을 식별하며, 모델 동작을 더 잘 해석하도록 돕는다는 것을 보여준다.

arXiv:2505.00473v2cs.LG

공간 강화 Temporal Fusion Transformer: 시변 입력을 갖는 매개변수 동적 시스템의 해석 가능한 다중 출력 예측

Spatially-Enhanced Temporal Fusion Transformer: Interpretable Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs

본 연구는 외부 시변 입력 신호를 갖는 매개변수 동적 시스템의 출력을 예측하는 데 있어 트랜스포머 모델의 유망한 성능을 탐구한다. 이러한 시스템의 출력은 물리적 매개변수뿐 아니라 외부 시변 입력 신호에 따라 달라진다. 이러한 시스템의 역학을 정확히 포착하는 것은 어렵다. 우리는 단일 출력 예측을 위한 기존 트랜스포머 모델인 temporal fusion transformer(TFT)를 개조·확장하여, 이러한 시스템의 다중 출력 응답을 예측할 수 있는 다중 출력 트랜스포머인 Spatially-Enhanced Temporal Fusion Transformer(SE-TFT)를 제안한다. SE-TFT는 원래 TFT 모델의 해석 가능성을 일반화한다. 일반화된 해석 가능한 어텐션 가중치 행렬은 시퀀스 내 시간적 상관뿐 아니라 다중 출력 간 상호작용도 탐색하여, 출력 영역의 공간적 상관에 대한 설명을 제공한다. 제안된 SE-TFT는 시스템의 비선형성과 매개변수 공간의 차원과 무관하게 다중 출력의 시퀀스를 정확히 예측한다.

arXiv:2607.20652v1cs.LG

Parity Bottleneck 층을 활용한 해석 가능 Transformer의 스케일링

Scaling Interpretable Transformers with Parity Bottleneck Layers

언어 모델은 중첩(superposition) 현상을 보이는 것으로 여겨지며, 잔차 스트림(residual stream)의 차원 수보다 훨씬 많은 특징을 표현한다. 희소 오토인코더(SAE)는 이러한 특징을 사후적으로 복원하도록 설계되었지만, 구조적으로 해석 가능한 모델을 학습하는 것은 층별 과완전(over-complete) 병목이 메모리와 연산 모두에서 지나치게 비용이 많이 들기 때문에 여전히 비현실적이다. 이 문제를 극복하기 위해, 중간 표현이 설계상 효율적이고 넓으며 희소한 GPT-2 규모 아키텍처인 ParityTransformer를 제안한다. 각 층에서 Deep Parity Bottleneck(DPB)은 학습된 과완전 기저를 매개변수 없는 대수적 사전으로 대체하여, 결정론적 비일관(incoherence) 보장을 제공하고 대규모에서 층별 해석 가능 병목을 막아온 메모리 요구사항을 제거한다. DPB는 다수준 전문가 혼합(MoE) 접근법을 사용하여 희소성을 효율적으로 강제하는 계층적으로 구조화된 희소 병목으로, 활성화 희소 학습과 밀집 학습 간의 비용 격차를 관리 가능한 해석 가능성 부담으로 줄이는 하드웨어 인식 구현이다. 실험적으로 ParityTransformer는 희소 프로빙(sparse probing) 과제에서 사후 SAE 이상의 성능을 보이며, 특징 흡수(feature absorption), 스티어링(steering) 효과, 세밀한 인과적 개입 측정에서 더 우수하다. 후속 연산은 희소 병목을 통과한 특징에만 작용하므로, ParityTransformer의 특징은 구조적으로 모델의 순전파(forward pass)에 내재하며, SAE가 모델이 실제 계산 중 사용하는 특징을 프로빙하는지에 대한 질문을 다룬다. 이를 사후 복원이 아닌 설계상 해석 가능한 내부 표현을 갖는 모델을 학습하는 방향으로의 한 걸음으로 본다.

arXiv:2607.21437v1cs.AI

에이전트 기반 관계형 개념 발견: 해석 가능한 수술 마진 평가를 향하여

Agent-Guided Relational Concept Discovery: Toward Interpretable Surgical Margin Assessment

심층 학습 모델은 수술 마진 평가를 위해 급속 증발 이온화 질량 분석(Rapid Evaporative Ionization Mass Spectrometry, REIMS) 데이터를 효과적으로 활용할 수 있다. 그러나 수술실 환경에 대한 일반화가 제한적이어서 임상 적용은 여전히 어렵다. 이는 모델이 일반적으로 절제된 조직 시료에서 수집된 라벨이 있는 스펙트럼으로 학습되는 반면, 수술 중 직접 획득한 노이즈가 많은 비라벨 데이터에서 동작해야 하기 때문이다. 또한 심층 학습 모델의 블랙박스 특성은 그 동작을 이해하고 체계적으로 개선하기 어렵게 만든다. 개념 기반 학습(concept-based learning)은 원시 측정값을 사람이 이해할 수 있는 개념으로 매핑함으로써 이러한 과제를 해결할 유망한 방법을 제공한다. 그러나 지도 개념 기반 접근법은 복잡한 질량 분석 워크플로에서 얻기 어려운 개념 주석에 의존한다. 우리는 사전 정의된 개념 라벨 없이 데이터로부터 의미 있는 개념을 직접 학습하는 프레임워크인 에이전트 기반 개념 발견(Agent-Guided Concept Discovery)을 제안한다. 학습 중 추론 에이전트가 학습된 개념의 의미적 설명을 정제하고 진단적 관련성에 따라 가중치를 적응적으로 조정한다. 이러한 개념은 알려진 대사 관계와의 일관성을 보장하기 위해 생화학 지식 그래프를 사용하여 추가로 그라운딩(grounding)된다. 피부암 및 유방암 데이터셋에서 우리 모델은 기준선 대비 균형 정확도(balanced accuracy)와 민감도(sensitivity)를 개선한다. 대표적인 수술 중 사례에서 더 적은 위양성(false positive)을 보여 수술 환경에 대한 더 나은 일반화를 나타낸다.

arXiv:2607.20820v1cs.AI

경량 시간 합성곱 네트워크를 이용한 효율적이고 해석 가능한 신체 기반 감정 인식

Efficient and Interpretable Body-Based Emotion Recognition with Lightweight Temporal Convolutional Networks

신체 기반 감정 인식은 실시간 정서(affective) 시스템에 중요하지만, 그래프 기반 골격(skeleton) 모델은 계산 비용이 많이 들 수 있다. 본 논문은 경량 시간 합성곱 네트워크(TCN)가 신체 기반 감정 분류를 위한 효율적이고 해석 가능한 대안을 제공할 수 있는지 조사한다. DIEM-A에서 TCN 모델군을 평가하고, 정확도, macro-F1, 매개변수 수, 추론 지연시간을 기준으로 그래프 기반 시계열 그래프(G-TSG) 기준선과 비교한다. G-TSG가 최고 평균 성능을 달성하지만, TCN-Base는 정확도 $1.58$점, macro-F1 $1.25$점 이내를 유지하면서 매개변수를 $79.18\%$ 줄이고 분류기 지연시간을 약 $12.5\times$ 감소시킨다. 또한 영역별 TCN 모델, zero-based occlusion, G-TSG 그래디언트 saliency를 사용하여 신체 영역 기여도를 분석한다. 결과는 상체 움직임이 독립적인 영역 단서 중 가장 강력함을, 신체 영역의 유용성이 감정에 따라 달라짐을, 그리고 서로 다른 해석 가능성 방법이 모델 동작의 서로 다른 측면을 포착함을 보여준다. 이러한 결과는 경량 TCN이 효율적인 신체 기반 감정 인식을 지원하면서, 움직임 단서가 분류에 어떻게 기여하는지에 대한 실용적 통찰도 제공할 수 있음을 시사한다.

arXiv:2607.20524v1cs.AI

어텐션 저하, 기능 토큰 앵커링, 그리고 대규모 언어 모델에서 어텐션 기반 개입의 한계

Attention Degradation, Function Token Anchoring, and the Limits of Attention-Based Intervention in Large Language Models

트랜스포머 해석 가능성 연구에서 평균 교차 위치 어텐션 저하는 널리 보고되지만, 이것이 문맥 검색을 인과적으로 제한하는지는 아직 검증되지 않았다. 우리는 GPT-2, LLaMA-3.2-1B/3B, OPT-1.3B, distilgpt2에 걸친 6개의 연계 실험을 제시한다. 먼저 단기(5–100 토큰) 어텐션 저하를 특성화한 결과, 속도가 깊이와 역상관하는 보편적인 지수-후-정체 패턴과 아키텍처별로 구별되는 층별 엔트로피 특성을 발견했다. 기능 토큰 앵커링은 아키텍처에 따라 달라짐이 드러났다: OPT-1.3B(절대 위치 인코딩)는 거리 의존적 전치사 특이성을, GPT-2는 균일한 비특이적 의존성을, LLaMA(RoPE)는 장거리에서의 역전을 보인다. 절 경계에서의 전략적 쉼표 삽입은 40–80 토큰 구간에서 예측 저하를 인과적으로 줄이며, 그 이점은 토큰 밀도보다는 구문 경계 정렬과 연관된다. 그런 다음 메커니즘을 인과적으로 검증했다: 기능 토큰 위치로 어텐션 로짓을 편향시키는 Relay-Aware Attention(RAA)은 어텐션 질량을 16–24% 확실히 증가시키지만, GPT-2와 LLaMA-1B에서는 효과가 없고, LLaMA-3B에서는 예비적으로 해를 끼치며, OPT-1.3B에서는 혼재된 효과로 대략 0에 수렴한다. 다중 사실 검색 프로브는 추가로, 저하율이 모델 간 검색 정확도를 예측하지 않음을 보여준다. 우리는 평균 어텐션 저하가 대체로 서술적이지 규범적이 아님을 결론짓는다: 기능 토큰은 받는 어텐션이 아니라 은닉 상태가 계산하는 내용을 통해 기여한다 — 이는 해석 가능성 방법론과 KV-cache eviction과 같은 어텐션 점수 기반 추론 최적화에 함의를 갖는다.

arXiv:2602.00462v5cs.CV

LatentLens: LLM 내 고도로 해석 가능한 시각적 토큰 밝혀내기

LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs

대규모 언어 모델(LLM)을 비전-언어 모델(VLM)로 변환하는 것은 비전 인코더의 시각적 토큰을 LLM의 임베딩 공간으로 매핑함으로써 달성할 수 있습니다. 흥미롭게도, 이 매핑은 단순한 얕은 MLP 변환만큼이나 간단할 수 있습니다. LLM이 시각적 토큰을 그토록 쉽게 처리할 수 있는 이유를 이해하기 위해, 우리는 LLM 처리의 모든 레이어에서 시각적 토큰 표현에 무엇이 인코딩되어 있는지를 밝혀내는 해석 가능성 방법이 필요합니다. 본 연구에서는 잠재 표현을 자연어 설명으로 매핑하는 새로운 접근법인 LatentLens를 소개합니다. LatentLens는 대규모 텍스트 코퍼스를 인코딩하고 해당 코퍼스 내 각 토큰에 대한 문맥화된 토큰 표현을 저장합니다. 그 후 시각적 토큰 표현을 이 문맥화된 표현들과 비교하며, 상위 최근접 이웃 표현들이 시각적 토큰의 설명으로 사용됩니다. 우리는 15가지의 서로 다른 VLM에서 이 방법을 평가했으며, LogitLens와 같은 널리 사용되는 방법들이 시각적 토큰의 해석 가능성을 상당히 과소평가한다는 것을 보여주었습니다. 반면 LatentLens를 사용하면, 연구된 모든 모델과 모든 레이어에서 대다수의 시각적 토큰이 해석 가능했습니다. 정성적으로, LatentLens가 생성한 설명들은 의미론적으로 유의미하며 개별 토큰에 비해 인간에게 더 정교한 해석을 제공함을 보여줍니다. 더 넓게 보아, 우리의 발견은 비전 및 언어 표현 간의 정렬에 대한 새로운 증거를 제공하며, LLM의 잠재 표현을 분석하는 새로운 방향을 제시합니다.

arXiv:2607.14271v1cs.LG

지역적 가법적 특징 기여: 수학적 분류 체계와 보고 체크리스트

Local Additive Feature Attribution: A Mathematical Taxonomy and Reporting Checklist

특징 기여(feature attribution) 방법은 설명 가능한 인공지능의 핵심이다. 그 가정들은 협력 게임 값(cooperative-game values), 경로 적분(path integrals), 그래디언트 연산자, 교란 분포(perturbation distributions), 역전파 규칙 등 여러 수학적 언어로 표현된다. 본 서베이는 지역적 가법적 특징 기여를 위한 공통 프레임워크를 제안한다. Shapley, 경로 기반(path-based), 그래디언트/역전파, 교란, CAM 스타일 방법을 값 함수(value function), 참조(reference), 경로(path), 교란 분포, 보존 규칙(conservation rule)의 다섯 가지 명세 선택을 중심으로 정리한다. 이어서 공리-방법별 행렬(axiom-by-method matrix)을 통해 이들 방법을 비교하고, 기준선 민감도(baseline sensitivity), 매니폴드 외 교란(off-manifold perturbations), 타당성 검사 실패(sanity-check failures), 적대적 조작(adversarial manipulation), 방법 간 불일치(method disagreement) 등 흔한 실패 양상을 이를 야기하는 가정과 연결한다. 마지막으로, 본 서베이는 지역적 가법적 기여를 사용하는 연구를 위한 10개 항목의 보고 체크리스트를 제안한다. 핵심 메시지는 기여 결과가 정의된 수학적 가정에 상대적으로만 의미가 있으며, 그 가정들은 보고되어야 한다는 것이다.

arXiv:2607.14127v1cs.LG

LiDAR 유래 지형 지능을 활용한 위성 지상국 입지 선정을 위한 설명 가능한 지리공간 AI

Explainable Geospatial AI for Satellite Ground Station Siting Using LiDAR-Derived Terrain Intelligence

대표 혼잡 높이(representative clutter height, RCH)는 무선 전파 및 간섭 분석의 핵심 매개변수로, 단말 혼잡 손실(terminal clutter loss)을 유발하는 지역 장애물의 지배적 높이를 포착한다. 현행 관행은 ITU-R P.452-18 권고에서 토지 이용 유형별로 고정된 혼잡 높이를 사용하는 경우가 많지만, 이는 동일 유형 내 변동을 놓칠 수 있으며 저궤도 위성 지상국 입지 선정 및 스펙트럼 조정(spectrum coordination)에서 보수적인 배제 구역과 부정확한 부지 순위 산정으로 이어질 수 있다. 우리는 공개 지리공간 데이터로부터 RCH를 예측하기 위한 해석 가능하고 전 세계에 배포 가능한 머신러닝 프레임워크를 제안한다. 모델은 미국 지질조사국(USGS) 3D 고도 프로그램(3D Elevation Program)의 LiDAR 유래 레이블로 학습(training)되며, 추론(inference) 시에는 전역 토지 피복, 지형, 인구 통계, 열적, 광학 원격 탐사 산출물에서 특징(feature)을 사용한다. RCH는 강건한 75백분위 혼잡 높이 통계로 정의하고, 여러 회귀 모델을 평가한 뒤 정확도, 효율성, 특징 기여(feature attribution) 분석과의 호환성 때문에 LightGBM을 선택한다. 최종 모델은 평균 절대 오차(mean absolute error) 1.79m, R^2=0.765를 달성하며, ITU 기준선(baseline) 대비 절대 오차를 60% 이상 감소시킨다. 전체 적합도 외에도 RF 계획과 관련된 도메인 지향 기준을 평가한다. 여기에는 미터 단위 오차, 허용 범위 정확도, 과대·과소 추정 꼬리, ITU 혼잡 높이 체계와의 일치, SHAP 기반 물리적 타당성이 포함된다. SHAP 분석 결과 수관(tree canopy) 피복, 토지 피복 의미론(land-cover semantics), 스펙트럼 반사율(spectral reflectance)이 가장 영향력 있는 예측 변수로 확인된다. 분할(segmentation) 유래 특징, 비산림(non-forest) 소거(ablation), 토지 피복 일치 국제 검증(validation)에 대한 연구는 공개 지리공간 데이터가 해석 가능성이나 배포 가능성을 희생하지 않으면서 대규모로 혼잡 모델링을 개선할 수 있음을 보여준다.

arXiv:2607.14096v1cs.AI

IMEX: 상호작용 기반 모델 설명

IMEX Interaction-Based Model Explanation

예측 모델링에서 모델이 특정 목표 예측을 생성하는 이유를 설명하는 능력은 점점 더 중요해지고 있다 [5, 10]. 블랙박스 모델은 예측을 생성하는 내부 메커니즘에 대한 투명한 설명을 제공하지 않아, 정확한 예측조차 해석하고 검증하기 어렵게 만든다. 중요한 맥락에서는 모델 결정의 근거가 설명되지 않은 채로 남아 있다면 예측 정확도만으로는 충분한 검증 지표가 아니다. IMEX(Interaction-Based Model Explanation) 접근법은 설명 가능한 예측 모델링 내의 방법론적 방향을 나타낸다. IMEX는 어떤 변수가 목표 예측에 가장 크게 기여하는지, 그리고 변수 간 어떤 상호작용이 목표를 결정하는 데 유의미한지를 식별하도록 설계되었다. 이 방법은 고차 상호작용 분석에 제한을 두지 않아, 원소 수가 2를 초과하는 특징 부분집합을 조사할 수 있다. 특징 중요도 식별을 넘어, IMEX는 결과에 영향을 미치는 잠재 메커니즘과 일치할 수 있는 상호작용 패턴의 탐험을 가능하게 한다. IMEX 알고리즘을 적용하면 예측에 대한 해석가능성 맵을 구성할 수 있다. IMEX 프레임워크는 두 가지 상보적 지표 위에 구축된다: 개별 특징의 기여를 정량화하는 Static Correlation Power(PCS), 그리고 특징 간 비가법적 효과를 포착하는 Interaction Correlation Power(PCI). 본 연구에서는 알려진 구조를 가진 세 개의 합성 데이터셋에서 INVASE [18]와의 비교를 통해 PCS 구성 요소를 실험적으로 검증한다. 결과는 입력 특징과 예측 목표 사이에 비선형, 조건부, 다중공선성 관계가 존재하는 상황에서도 IMEX가 관련 특징 수준 구조를 복원할 수 있음을 나타낸다.

arXiv:2607.15047v1cs.CV

해석 가능한 MCI 선별을 위한 적응형 Focal Loss 기반 비전 기반 모델의 매개변수 효율적 프롬프트 튜닝

Parameter-efficient Prompt Tuning of Vision Foundation Model With Adaptive Focal Loss for Interpretable MCI Screening

경도 인지 장애(MCI)는 알츠하이머병에 앞서는 인지 저하의 중요한 초기 단계이지만, 신경심리학적 그림 그리기 검사를 통한 자동 감지는 데이터 부족, 클래스 불균형, 임상 경계 부근의 진단 모호성으로 인해 근본적인 제약을 받고 있다. 기존 방법론은 계산 비용이 큰 완전 파인튜닝 하이브리드 아키텍처로 이러한 제약을 우회하려 하나, 공간적 설명 가능성을 모델의 고유한 속성이 아닌 사후 근사로만 다룬다. 우리는 고정된 DINOv2-Small 모델을 세 가지 모달리티별 학습 가능한 프롬프트 토큰으로 적응시키는 매개변수 효율적 프레임워크를 제안한다. 학습 가능한 매개변수 119만 개로 동작하며, 각 토큰은 소스 이미지 패치 토큰에 대한 공유 크로스-어텐션 층에서 쿼리로 작동한다. 핵심적으로, 공간적 설명 가능성은 이러한 어텐션 맵을 통해 직접 달성되며, 이는 아키텍처의 구조적 결과이다. 이후 과제 조건 임베딩이 어텐션 모듈을 통해 융합되어 피험자별 모달리티 수준 중요도를 정량화한다. 경계 모호성을 처리하기 위해 MoCA 적응형 Focal Loss를 도입하였으며, 이는 연속적 인지 점수를 학습 목표, 손실 변조, 적응형 표본 가중에 통합하여 표준 소프트 라벨 접근법을 엄격하게 일반화한다. 계층화 5-겹 교차 검증에서 제안 아키텍처는 MCI 클래스 F1 0.641과 AUC 0.795를 달성하여, 계산 비용이 더 큰 ResViT 기준선보다 MCI 클래스 F1에서 0.110 더 높은 성능을 보인다.

arXiv:2607.13874v1cs.LG

관련성 인식 규칙: 의사결정 트리에서 비관련 조건의 구조적 삭제

Relevance-Aware Rule: Structural Deletion of Irrelevant Conditions in Decision Trees

의사결정 트리는 해석 가능한 if-then 규칙을 생성하지만, 비관련 조건(IRCs)을 포함한다. 이러한 IRCs는 트리 분할의 구조적 메커니즘에서 발생하며, 최신 최적 희소 트리 유도 알고리즘에서도 지속된다. 기존 IRC 삭제 방법은 이 구조적 메커니즘을 간과하므로, 원래 트리를 지나치게 느슨하게 보존하여 신뢰성을 유지하지 못하거나, 지나치게 엄격하게 적용하여 의미 있는 단순화를 달성하지 못한다. 본 연구는 IRC의 근본 메커니즘과 관련된 정리와 명제를 확립함으로써 신뢰할 수 있는 IRC 삭제의 이론적 기반을 제공한다. 핵심 발견은 이진 분할이 부모 노드에 비해 각 가지에서 클래스 비율을 반대 방향으로 이동시킨다는 점이다. 구체적으로, 한 가지에서 클래스-1 비율이 증가하면 형제 가지에서 클래스-0 비율의 증가가 필수적으로 따르며, 이에 따라 C1-link와 C0-link가 생성된다. 이 구조적 사실에 기반하여, 우리는 구조적 IRC 삭제 프레임워크를 제안한다. 각 리프를 기준으로, 리프 클래스 비율을 증가시키는 링크는 매칭되고, 반대 리프 클래스 비율을 증가시키는 링크는 불일치한다. 이러한 불일치 링크는 구조적으로 의심스러운 IRC 후보로 표시된다. 이를 즉시 삭제하는 대신, 프레임워크는 예측 신뢰성을 평가하여 그들의 관련성을 엄격하게 진단한다. 구조적으로 및 경험적으로 비관련한 조건은 선택적으로 삭제하고, 삭제 시 규칙의 신뢰성을 저하시킬 조건은 엄격히 보호한다. 실험 결과는 제안된 프레임워크가 원래 트리의 신뢰성을 희생하지 않으면서 상당한 규칙 단순화를 달성함을 확인한다.

arXiv:2607.13899v1cs.AI

AIMO 해석가능성 챌린지

AIMO Interpretability Challenge

우리는 AIMO Interpretability Challenge를 제안한다. 이는 최첨단 수학 언어 모델에서 모델의 내부 메커니즘에 기반하여 견고한 추론과 허위 추론을 구별하는 대회이다. 이 챌린지는 표준 추론 벤치마크의 핵심 한계, 즉 높은 최종 답 정확도가 모델이 안정적인 추론 메커니즘에 의존하는지 아니면 취약한 추론 지름길을 이용하는지를 드러내지 않는다는 점에서 동기를 얻었다. AI Mathematical Olympiad(AIMO) 문제와 제출물, 그리고 Fields Model Initiative의 자원을 기반으로, 이 대회는 (1) 새로 공개된 올림피아드 수준의 수학 추론 문제와 그 기호적 표현을 제공하여 새로운 함수형 변형의 생성을 가능하게 하고, (2) 최첨단 추론 모델에 대한 접근을 제공하며, (3) 이러한 문제에 대한 모델의 적대적 견고성 평가를 제공할 것이다. 참가자들은 이러한 자원과 우리의 컴퓨팅 인프라 지원을 활용하여 어떤 모델이 문제를 견고하게 해결하는지 식별하는 방법을 개발할 것이다. 우리의 대회는 또한 새로운 공개 견고성 벤치마크와 기준선 시스템을 구축하여, 수학 추론과 해석가능성 분야의 표준 벤치마킹을 위한 지속적인 기반을 제공하는 것을 목표로 한다. 과학적으로 이 대회는 AI 연구의 핵심 질문을 중심으로 해석가능성과 일반화 연구를 연결한다: 최첨단 AI 모델의 의사결정이 일반화 가능하고 따라서 신뢰할 수 있는지, 그리고 그 정도를 우리가 판단할 수 있는가?

arXiv:2607.12526v1cs.LG

원상 검색에서 소스-그라운딩 특징 역변환으로

From Preimage Search To Source-Grounded Feature Inversion

신경망을 해석하려면 내부 특징이 특정 입력에서 무엇을 추출하는지 이해해야 한다. 특징 역변환은 선택된 특징을 입력 영역에서 표현하려 하지만, 정형적인 반복적 방법은 재인코딩된 표현이 목표와 일치하는 입력을 탐색한다. 이 제약을 만족하는 입력이 많기 때문에, 목표 일치만으로는 해당 특징을 생성한 샘플과 연관된 역변환을 특정할 수 없다. 우리는 목표를 생성한 입력에서의 소스-로컬 신경망 기하학에 역변환을 조건화함으로써 소스-그라운딩 특징 역변환을 공식화한다. 계산 방향성 비순환 그래프의 각 경계에서, 역전파는 올바른 역방향 종속성을 제공하지만 상류 상태 추정치가 아니라 수반(adjoint) 신호를 전달한다. 우리는 평균 시드 VJP(벡터-야코비안 곱)에서 상류 상태로의 폐형(closed-form) 행렬 위너(Wiener) 맵으로 이 신호를 국소적으로 복구하고, 이어 JVP(야코비안-벡터 곱) 순방향 일관성 잔차에 대한 두 번째 위너 맵을 적용한 뒤, 복구된 상태를 동일한 방향성 비순환 그래프를 통해 하나의 유한 역방향 패스로 합성한다. 하나의 보정된 영절점(zero-intercept) 맵 계열은 질의별 최적화 없이 다양한 CNN 및 트랜스포머 아키텍처, 텐서 구성 요소, 시각 분포에 걸친 새로운 입력, 깊이, 채널, 채널 그룹을 지원한다. 일치된 목표 및 소스 대조군은 각 역변환이 목표와 무관한 이미지 템플릿이 아니라 선택된 특징과 설명 대상 샘플의 국소 연산자에 의존함을 검증한다. 예측-조건화 특징 지도(atlas)는 이러한 시각화를 해당 내부 특징에 대한 독립적 개입과 정렬한다. 종합하면, 소스-그라운딩 특징 역변환은 개별 레이어 및 채널 수준에서 모델의 숨겨진 특징 계층을 검사할 수 있게 하며, 신경망이 입력에서 추출하는 것과 그 결정을 형성하는 내부 증거를 연결한다.