PyTorchKR Papers

최신 논문

총 77편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12255v1cs.LG

상호작용 인식 전문가 혼합(MoE)을 통한 구조화된 건강 데이터 이해

Understanding Structured Health Data through Interaction-Aware Mixture-of-Experts

구조화된 건강 기록의 다층적 뷰를 활용한 뇌졸중 후 강직성 예측을 위해 상호작용 인식 전문가 혼합(MoE)을 연구한다. 성능 향상은 미미했지만, 라우팅 귀속 분석은 뷰 간 체계적인 중요도 차이를 드러내며, 뷰 구성이 해석가능성의 핵심임을 강조한다.

arXiv:2607.12094v1cs.LG

해석 가능한 분포 외(OOD) 탐지를 위한 희소 오토인코더

Sparse Autoencoders for Interpretable Out-of-Distribution Detection

분포 외(OOD) 샘플의 신뢰할 수 있는 탐지는 머신러닝 모델의 안전한 배포에 매우 중요하다. 신경망은 학습 데이터와 벗어난 입력에 대해 종종 과도하게 확신하는 예측을 생성하여 성능이 크게 저하된다. 많은 OOD 탐지 방법이 최종 출력 층에만 초점을 맞추는 반면, 중간 네트워크 층에 존재하는 풍부한 계층적 정보는 간과한다. 본 논문은 이러한 중간 활성화로부터 해석 가능한 특징을 학습하기 위해 희소 오토인코더(SAE)를 활용하는 새로운 접근법을 제안한다. 분포 내(ID) 데이터와 OOD 데이터가 이러한 희소 특징의 서로 다른 집합을 활성화함을 발견했다. 테스트 샘플의 희소 특징 활성화와 ID 클래스의 평균 활성화 사이의 코사인 유사도로부터 도출된 새로운 OOD 점수를 제안한다. 우리의 사후(post-hoc) 탐지 방법은 표준 OOD 탐지 벤치마크에서 최첨단 성능을 달성할 뿐만 아니라, 분포 이동(distribution shift)이 학습된 표현에 미치는 영향에 대한 해석 가능한 통찰을 제공한다.

arXiv:2607.11990v1cs.LG

트랜스포머 FFN 뉴런의 희소한 층간 종속성

Sparse Inter-Layer Dependencies of Transformer FFN Neurons

피드포워드 네트워크(FFN) 블록은 트랜스포머 아키텍처에서 파라미터와 연산의 상당 부분을 차지하지만, 잔차 스트림(residual stream)이 유발하는 가산적 중첩(additive superposition) 때문에 내부 구조를 해석하기 어렵다. 우리는 FFN 뉴런의 활성화가 선행 뉴런 활성화와 어텐션 출력의 희소 집합으로 설명될 수 있는지 검토한다. 목표 뉴런의 활성화에 대한 상위 스트림 뉴런 및 어텐션 출력의 상대적 영향을 추정하는, 학습 없이(training-free) 적용 가능한 기여도(attribution) 방법을 제안한다. 실험적으로 여러 모델과 층에 걸쳐, 선행 활성화와 어텐션 출력의 소규모 부분집합만으로도 나머지 모든 입력을 평균값으로 마스킹했을 때 뉴런 활성화를 높은 충실도로 유지하기에 충분함을 확인한다. 상위 층의 고유한 활성화 희소성을 고려하면 실질적 희소성은 더욱 커진다. 또한 뉴런별 마스크를 모든 층에 동시에 적용하여 유도된 편차가 네트워크를 통해 전파되도록 할 때, 중간 수준의 희소성에서는 모델 perplexity가 대체로 변하지 않는다. 이 결과는 밀집 파라미터화에도 불구하고 FFN이 뉴런 수준에서 희소하고 구조화된 층간 종속성을 나타냄을 보여준다. 본 방법은 회로 수준(circuit-level) 해석 가능성을 위한 실용적이고 확장 가능한 도구를 제공하며, 효율적 추론에 잠재적 함의를 가질 수 있는 후보 희소 경로를 식별한다.

arXiv:2510.18315v2cs.LG

더 높은 임베딩 차원이 단순 정렬 과제에서 더 강한 세계 모델을 만든다

Higher Embedding Dimension Creates a Stronger World Model for a Simple Sorting Task

우리는 트랜스포머가 버블 정렬(bubble sort) 스타일의 인접 교환을 수행하도록 강화학습으로 학습될 때, 임베딩 차원이 내부 "세계 모델(world model)"의 형성에 미치는 영향을 조사한다. 모델은 매우 작은 임베딩 차원에서도 높은 정확도를 달성하지만, 더 큰 차원은 더 충실하고, 일관되며, 견고한 내부 표현을 만들어낸다. 특히, 더 높은 임베딩 차원은 구조화된 내부 표현의 형성을 강화하고 더 나은 해석 가능성(interpretability)으로 이어진다. 수백 번의 실험 후, 우리는 두 가지 일관된 메커니즘을 관찰한다: (1) 어텐션 가중치 행렬의 마지막 행이 토큰의 전역 순서를 단조적으로 인코딩한다; 그리고 (2) 선택된 전치(transposition)가 이러한 인코딩된 값들의 가장 큰 인접 차이와 일치한다. 우리의 결과는 트랜스포머가 구조화된 내부 세계 모델을 구축한다는 정량적 증거를 제공하며, 모델 크기가 최종 성능 외에도 표현 품질을 향상시킨다는 것을 보여준다. 우리는 유사한 알고리즘 과제를 탐색하는 데 사용할 수 있는 지표와 분석을 공개한다.

arXiv:2602.07008v3cs.CV

어디에서 학습하지 말아야 하는가: 신뢰할 수 있는 의사결정을 위한 선험 정렬 학습과 부분집합 기반 귀속 제약

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

신뢰할 수 있는 모델은 올바르게 예측하는 것뿐 아니라, 수용 가능한 근거로 의사결정을 정당화해야 한다. 그러나 기존 지도 학습은 일반적으로 클래스 수준의 레이블만 제공하여, 모델이 의도된 근거가 아닌 지름길 상관관계(shortcut correlations)를 통해 높은 정확도를 달성할 수 있게 한다. 인간 선험(human priors)은 이러한 행동을 제약하는 데 도움이 될 수 있지만, 학습된 표현이 종종 인간의 지각과 어긋나기 때문에 모델을 이러한 선험에 정렬하는 것은 여전히 어렵다. 이 문제를 해결하기 위해, 우리는 귀속(attribution) 기반 인간 선험 정렬 방법을 제안한다. 우리는 인간 선험을 모델이 의존할 것으로 기대되는 입력 영역(예: 바운딩 박스)으로 인코딩하고, 학습 중 모델의 의사결정 근거를 드러내기 위해 매우 충실한 부분집합 선택 기반 귀속 접근법을 활용한다. 귀속 영역이 선험 영역에서 상당히 벗어날 때, 우리는 선험 밖 근거에 대한 의존에 패널티를 부과하여 모델이 귀속을 의도된 영역 쪽으로 이동하도록 유도한다. 이는 인간 선험이 유도한 귀속 제약을 부과하는 학습 목적함수를 통해 달성된다. 우리는 MLLM 기반 GUI 에이전트 모델에서 이미지 분류와 클릭 의사결정 작업 모두에 대해 방법을 검증한다. 기존 분류 및 자기회귀 생성 설정 전반에 걸쳐, 인간 선험 정렬은 과제 정확도를 지속적으로 향상시키는 동시에 모델의 의사결정 합리성도 높인다.

arXiv:2607.12861v1cs.RO

단순 보상으로부터 복잡한 집합 행동 밝히기

Unveiling Complex Collective Behaviors from Simple Rewards

다중 에이전트 강화학습(MARL)은 로봇 군집에 큰 잠재력을 지니고 있지만, 신경망 정책의 블랙박스 특성은 전략적 분석을 어렵게 하여 다중 로봇 응용을 제한한다. 또한 복잡한 군집 행동은 명시적인 집합 유인 없이도 단순한 보상으로부터 놀랍게도 창발할 수 있다. 이러한 창발 뒤에 있는 메커니즘을 밝혀내는 것은 중요하지만, 단순 보상과 집합 행동 사이의 단절은 해석 가능성 문제를 더욱 악화시킨다. 본 논문은 이 과정에 숨겨진 메커니즘을 밝히는 것을 목표로 한다. 우리는 2단계 EEC(\LinkIII) 설명 프레임워크를 제안한다. 여기에는 에이전트 응답 맵(ARM)이라는 새로운 분석 도구가 포함되며, 이는 공간 전반에 걸친 에이전트의 의사결정 패턴을 드러내고 집합 및 회피 영역을 식별한다. ARM은 로봇이 암묵적으로 환경의 기하학적 필드를 학습하고, 이러한 구조를 조율된 이동을 위한 목표 지점으로 활용함을 드러낸다. 우리는 협력적 다중 로봇 형상 조립과 경쟁적 포식자-먹이 추적-회피라는 두 가지 서로 다른 과제에서 이 발견을 검증한다. 1) 협력 과제에서 ARM은 로봇 내비게이션의 목적지로 비어 있는 목표 내부 영역을 식별한다. 중심이 점유되면 이 목표 영역은 자동으로 경계 쪽으로 이동하며, 이는 로봇이 비어 있는 영역을 자율적으로 탐색할 수 있는 능력을 보여준다. 2) 경쟁 과제에서 ARM은 놀랍게도 포식자의 보로노이(Voronoi) 다이어그램 경계를 먹이 에이전트의 수렴 목적지로 식별한다. 이 두 과제를 종합하면, 로봇 군집에서 MARL 정책의 기반이 되는 숨겨진 기하학적 구조를 ARM이 발견할 수 있는 역량을 입증한다.

arXiv:2607.11347v1cs.AI

신경망 결정에서 학습 사례로: 사례 기반 의사결정 이론을 통한 정확한 설명

From Neural Network Decisions to Training Cases: An Exact Account via Case-Based Decision Theory

신경망은 의료 진단, 신용 승인, 에너지 입찰과 같은 고위험 도메인에서 점점 더 많은 의사결정을 안내하고 있다. 이러한 환경에서의 감사(audit)는 사례 수준의 근거를 필요로 한다: 어떤 학습 사례가 특정 행동을 지지하며 그 결과가 무엇인지. 사례 기반 의사결정 이론(CBDT)은 기억된 사례들로부터 결과 지지를 집계함으로써 이러한 추론을 형식화한다. 우리는 고정된 신경망 표현 위에 적합된 OLS 행동 판독값이 정확한 사례 기반 분해를 허용함을 보인다. 각 행동 점수는 학습 사례 수익의 가중합이며, 계수는 경험적 그람(Gram) 기하학에 의해 결정된다. 우리는 CBDT 유사도 의미론에 대한 충분 조건 체계를 식별하며, 그 밖의 경우 계수는 일반적으로 부호 있는 그람-기하학적 영향력으로 취급해야 한다. 이 분해는 점수를 학습 사례로 추적하고, 행동 일관성을 측정하며, 약한 지지를 식별하는 감사 신호를 산출한다. 합성 CBDT, PJM, Adult Income, Default Credit 태스크에 걸쳐, 이 방법은 사례 수준의 선호 구조를 복원하고 비교된 귀인(attribution) 기준선 중 가장 높은 평균 Top-30 일관성을 달성하면서, 지지 재구성에서도 경쟁력을 유지한다. 감사는 표현을 재학습하거나 원래 최적화 궤적에 접근하지 않고도 OLS 최상위 층(top-layer) 프로브(probe)를 적합하는 것만으로 수행되며, 프로브 충실도는 점수 재구성으로 측정된다.

arXiv:2607.10578v1cs.AI

대규모 언어 모델 해석을 위한 라게르 기하학

Laguerre Geometry for Interpreting Large Language Models

기존 가설들은 대규모 언어 모델(LLM)에서 개념을 단일 점, 선형 방향, 또는 가우시안 클러스터로 표현하지만, 이러한 구조가 어떻게, 왜 나타나는지는 아직 불분명하다. 본 연구에서는 개념 기하학이 라게르 기하학(Laguerre Geometry)을 통해 정밀하게 특성화될 수 있음을 보인다. 라게르 기하학에서 개념은 라게르-보로노이 셀(Laguerre-Voronoi cell) 또는 셀들의 합집합으로 이루어진 영역으로 정의되며, 이를 통해 개념을 엄밀하게 정의하고 측정하며 분리할 수 있다. 이 형식화를 기반으로, 포함 관계나 계층 구조와 같은 더 세밀한 개념 구조가 라게르 가중치(Laguerre weights)에 의해 자연스럽게 드러남을 보인다. 이어서 이 기하학을 트랜스포머 내부로 확장한다. 각 층을 조각별 선형(piecewise-linear) 연산자로 분해함으로써, 토큰의 은닉 궤적이 두 가지 결합된 메커니즘에 의해 지배됨을 보인다: 자기완결적인 조각별 선형 흐름의 정적 트리와, 교차 토큰 어텐션이 발동될 때 궤적을 트리 간에 이동시키는 동적 수송이 그것이다. 이 분해로부터 Geometric Lens가 도출되는데, 이는 학습 및 하이퍼파라미터 없이 임의의 층에서 은닉 벡터가 인코딩하는 정확한 개념을 읽어낼 수 있는 방법이다. 또한 결정 기하학과 모델의 전체 추론 궤적을 하나의 뷰에서 렌더링하는 2D 시각화 도구인 Laguerre Autoencoder를 개발한다. 마지막으로, 설명적 기하학을 넘어 실행 가능한 해석 가능성으로 나아가, 문맥 내 간섭(in-context interference)이 포함된 프롬프트가 주어질 때 Geometric Lens가 올바른 사실 토큰을 복원함을 보인다. 코드는 GitHub에서 공개되어 있다.

arXiv:2607.09698v1cs.AI

잠재 사고의 연쇄 추론을 동역학계로 해석하기

Interpreting Latent CoT Reasoning as Dynamical Systems

CODI와 COCONUT 같은 최근의 잠재 추론(latent reasoning) 방법들은 근본적인 해석 가능성 문제에 직면해 있다. 이 방법들은 명시적 사고의 연쇄(CoT)가 단일하고 투명한 추론 경로를 따르는 것과 달리, 각 단계마다 잠재 공간(hidden space) 내에서 여러 후보 경로를 중첩된 형태로 유지한다. 기존의 기계론적(mechanistic) 방법들은 압축, 지름길(shortcuts), 중첩(superposition)을 보여주지만, 잠재 단계 전반에 걸쳐 추론이 어떻게 전개되는지는 설명하지 못한다. 이 간극을 해소하기 위해, 우리는 잠재 토큰 시퀀스를 표현 공간(representation space) 내의 궤적으로 모델링하고, 동역학계(dynamical systems) 분석을 적용하여 추론의 전개 양상을 특성화한다. 단계 간 변화, 방향 일관성, 랴푸노프(Lyapunov) 민감도 등의 정량적 측도와 함께 UMAP 및 DMD/PHATE와 같은 정성적 투영 기법을 활용하여, 잠재 CoT가 두 가지 뚜렷한 안정성 부류를 지닌 구조적이고 비무작위적인 동역학을 나타냄을 보인다. CODI는 안정적인 끌개(stable attractor)로 동작하는 반면, COCONUT은 불안정한 팽창 시스템으로 동작하며, SIM-CoT 지도학습은 기저 동역학을 변경하지 않은 채 두 동작 모두를 수렴시킨다. 이 프레임워크는 잠재 CoT 추론 동역학의 해석 가능성을 향상시키고, 잠재 추론 성능 개선을 위한 실용적인 통찰을 제공한다. 코드와 프로젝트 페이지는 온라인에서 확인할 수 있다.

arXiv:2607.09235v1cs.LG

필요한 것은 SAMPAT뿐

All you need is SAMPAT

현재 AI/ML의 최첨단 기술은 심층 신경망 아키텍처에 기반하고 있으나, 이러한 아키텍처는 일반적으로 해석 가능성(interpretability)의 부재라는 문제를 안고 있다. 해석 가능성은 실험 데이터를 분석할 때 통찰을 얻는 데 매우 중요하며, 정량적 예측만으로는 과학자에게 충분하지 않을 수 있다. 우리는 3층 신경망 아키텍처인 SAMPAT(Smooth Approximation via Multivariate Polynomials and Analytic Transformations, 다변량 다항식과 해석적 변환을 통한 매끄러운 근사)를 제안한다. SAMPAT는 임의의 매끄러운 함수를 원하는 정밀도로 근사할 수 있는 연속적이고 모든 점에서 미분 가능한 함수를 학습할 수 있음이 증명 가능하다. SAMPAT의 근사식은 닫힌 간결한 대수적·해석적 표현으로 나타낼 수 있어 완전한 해석 가능성을 제공한다. 합성 및 벤치마크 데이터셋에 대한 실험에 따르면, SAMPAT는 더 단순한 표현으로도 경쟁력 있는 성능을 달성한다. 많은 태스크에서 2층 SAMPAT만으로도 충분하다. 뉴런 간 연결성에 제약을 부과함으로써, SAMPAT는 일반 다항식 및 삼각 다항식, 유리식, 가우시안, 가우시안 혼합, 그리고 이들의 임의 조합을 포함한 다양한 근사식을 제공하는 데 활용될 수 있으며, 제약이 없는 경우에는 적합한 구조를 스스로 학습한다. SAMPAT는 다항식 인수분해와 비선형 시스템 모델링에도 활용될 수 있다. 스킵 연결(skip connection)을 추가하면, 4~6층의 SAMPAT로 AI/ML에서 널리 사용되는 상당히 광범위한 범위의 방법들을 표현하기에 충분하며, 이를 통해 모델 패밀리의 선택 자체도 파라미터와 마찬가지로 학습 과정의 일부로 최적화할 수 있다.

arXiv:2607.08946v1cs.LG

판독 가능한 트랜스포머의 학습, 판독, 및 편집

Training, Reading, and Editing Legible Transformers

트랜스포머는 구조적으로 판독 가능한 연산자들로 구성될 수 있다 -- 밀집 활성화가 아닌 퍼지 집합 연산처럼 읽히는, 경계가 있고 이름이 붙은 단위들로 -- 그러나 판독성은 학습 중에 적극적으로 추구해야 하며, 이 압력에는 실패 양상이 존재한다. 경계 연산자를 결정적인 감지기로 날카롭게 만들기 위한 선명도 페널티가 오히려 그것을 죽은 상수로 붕괴시킨다. 항등식 E[v(1-v)] = mu(1-mu) - var이 그 이유를 보여준다 -- 이 페널티는 살아있는 감지기와 상수의 차이를 구분하지 못하는 분산 최소화기이다 -- 그리고 해결책을 명명한다: 채널별 분산 하한, 즉 손실로 작성된 목표 판독성 지표로, 이는 판독성과 품질을 모두 회복시킨다. 학습된 단위별 비율은 이후 기존 연구의 수동 설정 예약-GELU 파티션을 대체한다: 선택권이 주어졌을 때 모델은 어떤 단위도 순수 GELU로 유지하지 않으며, 핵심 연산의 87%를 선명한 연산자를 통해 라우팅한다. 그 결과는 우리가 구축한 가장 판독 가능한 트랜스포머이다 -- 피드포워드 피연산자의 78%와 어텐션 값 채널의 50%가 선명하고 문맥적인 감지기이며, 헤드별 판독성은 얕은 층에서 18%에서 깊은 층에서 78%로 상승한다. 올바른 회전된 층별 프레임에서 읽으면, 이 단위들은 깔끔한 감지(단위가 반응하는 대상)를 더 어려운 명명(그 출력이 디코딩되는 대상)으로부터 분리한다; 목적함수가 각 단위를 선명하고 희소하게 만들기 때문에 편집이 훨씬 더 국소적이다 -- 편집 지점이 집중되는 깊은 층에서 50-184배 -- 그리고 단일 뉴런이 표현할 수 없는 명시적 결합을 타겟으로 할 수 있다. 마지막으로, 단위 간 탈상관 압력은 판독성 조절 다이얼을 드러낸다: 품질 비용 없이 회로의 재사용을 독립성으로 교환하여, 개념을 단일하고 정밀하게 편집 가능한 단위로, 예측을 소수의 명명된 연산으로 읽히는 짧은 설명으로 전환한다. 품질은 전반적으로 기존 기준선과 동등한 수준을 유지한다.

arXiv:2606.03631v3cs.LG

AnchorMoE: 앵커 라우팅 기반 전문가 혼합을 통한 해석 가능한 시계열 분류

AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE

다변량 시계열 분류(MTSC)는 임상 진단 및 산업 결함 탐지와 같이 안전한 배포를 위해 투명한 의사결정이 필수적인 고위험 도메인에서 핵심적인 역할을 한다. 그러나 실제 시계열에서 판별 신호는 일반적으로 희소하고 이질적이며 배경 잡음에 심하게 가려져 있어, 모델 예측을 이끄는 시간적 구간을 분리하는 것은 어렵다. 이에 본 논문은 구성 단계에서부터 해석 가능한 분류 프레임워크인 AnchorMoE를 제안한다. 전문가 혼합(MoE) 아키텍처를 기반으로 구축된 AnchorMoE는 로컬 패치의 다중 뷰 표현을 인코딩하고 이를 전문화된 전문가에게 라우팅함으로써, 최종 예측이 입력 구간에 대한 정확한 덧셈 분해 형태로 산출되도록 보장한다. 이를 통해 사후 추정에 의존하는 대신 사전적 투명성(ante-hoc transparency)을 제공한다. 희소 신호 분포 하에서 이 분해의 신뢰성을 유지하기 위해, 표현 중복성에 패널티를 부여하는 기하학적 직교성 제약을 도입하여 각 전문가가 이질적인 예측 패턴을 전문적으로 학습하도록 유도한다. 나아가 불확실성 인식 신뢰성 게이트를 설계하여 각 구간의 기여도를 동적으로 조정함으로써 잔류 배경 잡음을 효과적으로 억제한다. 실제 및 합성 벤치마크에 대한 광범위한 실험을 통해 AnchorMoE가 원시 시계열에 의사결정을 충실히 그라운딩하면서도 매우 경쟁력 있는 분류 성능을 달성함을 입증한다.

arXiv:2607.08150v1cs.LG

DeepPySR -- 실세계 과학적 발견을 위한 동적 가지치기, 파레토 선택, 계층적 합성을 갖춘 기호 회귀 프레임워크

DeepPySR -- A Symbolic Regression Framework with Dynamic Pruning, Pareto Selection, and Hierarchical Composition for Real-World Scientific Discovery

DeepPySR는 기호 회귀(Symbolic Regression)의 고차원 입력, 파레토 프론트 수식 선택, 다중공선성 등 세 가지 핵심 과제를 해결하기 위해 동적 변수 가지치기 스케줄(DVPS), 지수적 파레토 선택(EPS), 다층 계층 아키텍처를 통합한 프레임워크다. Feynman 물리 벤치마크 및 의생명·사회과학 데이터셋에서 PySR 대비 체지방(R²: 0.794 vs. 0.702), 심장 질환(F1: 0.898 vs. 0.787) 등 전반적으로 우수한 성능을 보이며 도메인 위험 인자와 일치하는 해석 가능한 수식을 산출한다.

arXiv:2607.07935v1cs.LG

path_boost: 경로 기반 그래디언트 부스팅을 활용한 해석 가능한 그래프 수준 예측을 위한 Python 패키지

path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

그래프 신경망(GNN)의 해석 가능성 문제를 해결하기 위해, PathBoost는 학습 과정에서 예측력 있는 경로(path)를 반복적으로 선택·확장하는 그래디언트 부스팅 기반의 해석 가능한 그래프 수준 예측 알고리즘이다. 이를 구현한 오픈소스 Python 패키지 path_boost는 scikit-learn 호환성, 병렬 학습, 변수 중요도 계산을 지원하며, 전이 금속 화합물 분자 특성 예측 및 여섯 개 분자 데이터셋 벤치마크에서 GNN 및 그래프 커널 방법과 경쟁력 있는 성능을 보였다.

arXiv:2508.11214v2cs.LG

인과적 추상화가 계산적 설명을 뒷받침하는 방식

How Causal Abstraction Underpins Computational Explanation

인과적 추상화(causal abstraction) 이론을 활용해 물리적 시스템이 특정 계산을 어떻게 구현하는지를 설명하는 철학적 프레임워크를 제안하며, 인공 신경망의 기계론적 해석 가능성(mechanistic interpretability) 연구를 통해 계산·인지 철학의 고전적 문제들이 현대 딥러닝에서 재등장함을 보인다. 표상(representation)의 역할과 허용 가능한 인과적 매핑의 조건을 검토하고, 이러한 문제들이 일반화(generalization) 및 예측과의 연관 속에서 가장 생산적으로 탐구될 수 있다고 주장한다.

arXiv:2607.06328v1cs.AI

잘못된 방향으로 주행하기: 엔드투엔드 자율주행 모델에서 해석 가능성 활용

Driving the Wrong Way: Leveraging Interpretability in End2End Autonomous Driving Models

엔드투엔드 자율주행 모델의 불투명한 의사결정 문제를 해결하기 위해, 희소 오토인코더(Sparse Autoencoder) 기반의 비지도 딕셔너리 학습을 사후 해석 가능성 모듈로 통합하여 잠재 공간을 의미론적 개념으로 분해하는 프레임워크를 제안한다. 개념 수준의 개입을 통해 충돌 회피, 주행 가능 영역 준수, 신호등 대응 등 주행 결정을 재훈련 없이 수정할 수 있으며, 이를 통해 전반적인 주행 성능이 측정 가능한 수준으로 향상됨을 실험적으로 입증한다.

arXiv:2607.03598v1cs.CL

모델은 당신이 의미한 바를 추론한다: 모델은 의사소통 의도를 행동보다 더 신뢰할 수 있게 표상한다

They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It

사람이 언어 모델과 무언가를 공유할 때, 모델은 종종 발신자가 그것을 보낸 행위가 아닌 메시지의 표면에 답한다: 완성된 프로젝트를 공유하면 코드를 비평하고, 깊은 밤에 쓴 날 것의 글을 공유하면 정서 상태를 점검한다. 우리는 발신자의 의사소통 의도—그라이스식 '의미된 것(what-was-meant)'—를 일급 해석 가능성 객체로 취급하며, 이 실패가 견고한 표상 위에서의 판독(readout) 문제임을 보인다. 선형 프로브는 모델의 기본 패스 은닉 상태로부터 발신자의 의도—인식을 원하는지 평가를 원하는지—를 깔끔하고 표면과 무관하게 디코딩하며, 이는 6개 모델과 4개 계열에 걸쳐, 그리고 기본 체크포인트에서도 성립한다. 이 표상은 화용론적으로만 추론되는 의도와, 어휘적으로 명확한 두 번째 의도(지지 vs. 도움)로도 일반화된다. 행동 측면과 모든 인과 검증은 인식/평가 대조에서 확립되며, 여기서 변하는 것은 기본 출력이 의도에 따라 행동하는지 여부이다. 판독은 모델 내 층 깊이에서 표상보다 뒤처지며(의도는 출력을 구동하기 몇 층 전부터 디코딩 가능하다); 모델 간에는 기본적으로 의도에 따라 행동하는지 여부가 모델마다 달라, 우리가 스케일링 법칙으로 해석하지 않는 관찰된 계층화(6개 중 3개가 실패를 보임)가 나타난다. 격차가 있는 경우, 표상과 긴밀하게 연결된 방향—탐색된 층에서의 판별 방향—이 인과적 제어 수단이 된다: 이를 조향하면 명시적 지시와 동등하게, 프롬프트 없이도 의도된 행동이 회복된다. 이 방향은 피드백 제공 축에 거의 직교하므로, 일반적인 피드백 조절 장치가 아닌 표상된 의도를 경유하지만, 회복 용량에서 경유된 의도는 명시적 요청을 무효화할 수 있다. 우리는 명백한 무효화에 대한 통제를 통해 각 연결을 뒷받침하고, 귀무 결과를 확인 결과만큼 명확하게 보고한다.

arXiv:2607.01278v1cs.LG

Multilayer Q-Matrix-Embedded Neural Network for Cognitive Diagnosis (M-QCDNet): Structure-Aware Deep Learning Architecture for Psychometric Interpretability

The research proposes a multilayer Q-matrix-embedded neural network for cognitive diagnosis (M-QCDNet), which integrates the structural interpretability of cognitive diagnostic models (CDMs) with the deep learning neural network (NN). M-QCDNet structures the item-skill relationship using the Q-matrix as a structural prior, ensuring latent mastery profiles remain interpretable and consistent with cognitive theory, followed by the proposed loss function with an L2 penalty to penalize skills not aligned with the Q-matrix and to balance predictive performance and structural alignment. Corresponding evaluation matrices, the interpretable alignment-based metrics that quantify the degree to which predicted skill activations correspond to item-level skills, were further developed. M-QCDNet offers practical benefits for classroom practice, enabling early detection of learning difficulties and supporting mastery-based interventions. By embedding diagnostic validity into model design, M-QCDNet bridges psychometric transparency and neural flexibility, advancing interpretable, fair, and actionable AI for cognitive diagnostics.

arXiv:2503.13445v3cs.CL

Verbosity Tradeoffs and the Impact of Scale on the Faithfulness of LLM Self-Explanations

13개 패밀리 75개 대규모 언어 모델(LLM)을 대상으로 자기 설명(self-explanation)의 충실도(faithfulness)를 반사실적(counterfactual) 개입 방식으로 분석하고, 기존 CCT의 한계를 개선한 phi-CCT와 F-AUROC라는 두 가지 새로운 평가 지표를 제안한다. 실험 결과, 모델 규모가 클수록 모든 지표에서 충실도가 일관되게 향상되는 명확한 스케일링 추세가 확인되었다.

arXiv:2606.30902v1q-bio.BM

Structure-Regularized Interpretable TCR-Epitope Prediction

T cell receptor (TCR)-epitope binding prediction is essential for understanding adaptive immunity and developing immunotherapies. Existing sequence- and structure-based models often generalize poorly to unseen epitopes and provide limited interpretability. Furthermore, the impact of generated structures on model learning remains unclear. We present TCR-SRIM, a structure-regularized interpretable-by-design model that combines protein language model embeddings with interpretable contact prototypes to capture residue-level TCR-epitope interactions. TCR-SRIM achieves state-of-the-art predictive performance and improved interpretation quality on the TCR-XAI benchmark. Using its inherent interpretability, we further evaluate the effect of generated structures on model learning. While structures predicted by AlphaFold3, TCRModel2, and tFold-TCR yield competitive performance, they lead to less accurate interaction patterns and reduced binding-site diversity than experimentally-resolved structures. Our results highlight limitations of current structure prediction models for TCR-epitope learning and demonstrate the value of interpretable-by-design models for studying generated biological structures.