PyTorchKR Papers

최신 논문

총 77편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00578v4cs.CV

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)의 사전 정의된 개념 집합 의존성과 정보 누수 문제를 해결하기 위해, LMM이 생성한 캡션을 병목층으로 활용해 텍스트만으로 분류를 수행하는 CaBM(Caption Bottleneck Models) 프레임워크를 제안한다. CaBM은 설계상 누수 없는 구조를 보장하면서 학습 후 텍스트 분류기 분석을 통해 데이터셋 특화 개념을 자율적으로 발견하며, 세밀 및 조대 벤치마크에서 경쟁력 있는 정확도와 해석 가능성을 동시에 달성한다.

arXiv:2505.24622v4cs.AI

Rule Forest: Interpretable Ensembles of LLM-Generated Questions for Rare-Outcome Prediction

Many high-stakes screening decisions in finance amount to predicting a rare outcome from unstructured text, such as whether a founder will successfully build a large company, or which crowdfunded loan will fail to attract funding. When positives are this rare, simple models may be preferable to more complex ones. For example, a model that learns a weight for each feature may have too little signal to estimate those weights reliably, and also inspecting the model means reading a list of fitted coefficients rather than a simple rule that can be checked by eye. We introduce Rule Forest, which uses a large language model to generate simple YES/NO questions, rather than using it to directly predict outcomes, and combines the strongest questions into an equal-weight "green-flags" scorecard. This scorecard is as accurate as an equivalent model that learns a weight per question, within noise, and its advantage appears largest when positives are rarest. The result is an interpretable list of rules that a domain expert can edit and extend. When predicting founder success, the fraction of shortlisted founders who succeed increases from about 1 in 50 to 1 in 10, and to about 1 in 6 with a handful of expert-written questions. A second dataset which focuses on identifying failed loans, Kiva microloans, shows the same qualitative pattern. Across both tasks, the lesson is the same: a language model is most useful not as the predictor but as a generator of features a person can read, edit, and improve, and when positives are scarce that interpretability costs no measurable accuracy.

arXiv:2601.16407v5cs.CL

Jacobian Scopes: A Unified Geometric Framework for Token-Level LLM Attribution

Large language models (LLMs) make next-token predictions based on clues present in their context, such as semantic descriptions and in-context examples. Yet, elucidating which prior tokens most strongly influence a given prediction remains challenging due to the proliferation of layers and attention heads in modern architectures. We propose Jacobian Scopes, a suite of gradient-based, token level causal attribution methods for interpreting LLM predictions. Grounded in perturbation theory and information geometry, Jacobian Scopes quantify how input tokens influence various aspects of a model's prediction, such as specific logits, the full predictive distribution, and model uncertainty (effective temperature). Through case studies spanning instruction understanding, translation, and in-context learning (ICL), we demonstrate how Jacobian Scopes reveal implicit political biases, uncover word- and phrase-level translation strategies, and shed light on recently debated mechanisms underlying in-context time-series forecasting. On token-ablation faithfulness benchmarks (LAMBADA and IWSLT2017) across six LLMs, the distribution-level Fisher and Temperature Scopes significantly outperform established gradient-based attribution methods in 10 of 12 model-dataset settings. To facilitate exploration of Jacobian Scopes on custom text, we open-source our implementations and provide a cloud-hosted interactive demo at https://huggingface.co/spaces/Typony/JacobianScopes.

arXiv:2610.10548v1q-bio.NC

간격 반복을 위한 해석 가능한 기억 모델

Interpretable Memory Models for Spaced Repetition

간격 반복(spaced repetition) 소프트웨어는 복습 기록에 맞추어 학습된 기억 모델을 사용하여 복습 일정을 계획합니다. 사용 가능한 데이터는 기존 스케줄러에 의해 생성된 것이며 새로운 솔루션은 이를 넘어서 외삽(extrapolate)해야 하므로, 테스트 세트에서의 정확도만으로는 모델 품질에 대한 충분한 증거가 되지 못합니다. 또한 모델에는 단순하고 기전적인(mechanistic) 해석이 필요합니다. 본 논문에서는 거의 동일한 정확도를 유지하면서도 해석 가능성이 더 높고 현재의 SOTA(state of the art) 모델보다 80% 더 작은 모델인 SBD를 제시합니다.

arXiv:2605.17562v2cs.LG

정확도를 넘어서: EEG 파운데이션 모델의 견고성, 해석 가능성, 표현력

Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

EEG 파운데이션 모델(EEG-FM)은 주로 깨끗한(clean) 분포 내(in-distribution) 정확도를 기준으로 평가되어 왔으며, 지도학습 기준선(baseline) 및 약한 고정(frozen) 표현에 비해 소폭의 개선만을 보여주었다. 본 연구는 여섯 개의 EEG-FM과 하나의 지도학습 기준선을 열 개의 데이터셋에 대해 세 가지 분석 축에서 평가함으로써, 이러한 결론이 깨끗한 정확도를 넘어서도 유지되는지를 검토한다: (i) 견고성(Robustness): 가산 잡음(additive noise), 무작위 및 영역 기반 채널 드롭아웃(channel dropout), 영역별 잡음 주입을 포함한 테스트 시점(test-time) 교란을 적용한다. 분석 결과, 모든 실패 모드를 압도하는 단일 모델은 없다는 것을 보여준다. 잡음에 가장 견고한 모델이 채널 드롭아웃 하에서는 가장 취약한 모델 중 하나이며, 채널을 제로 패딩(zero-padding)하는 대신 제거할 경우 드롭아웃에 대한 취약성 대부분이 사라진다. (ii) 해석 가능성(Interpretability): EEG-FM에 어트리뷰션(attribution) 기법을 적용하여, 모델들이 알려진 신경생리학(neurophysiology)과 일치하는 과업에 적합한 뇌 영역에 관련도(relevance)를 전반적으로 집중시킨다는 것을 보여준다. (iii) 표현력(Expressiveness): 이전에 저품질 사전학습 표현으로 귀속되었던 저조한 헤드 전용(head-only) 성능이 주로 풀링(pooling) 전략에 의해 설명되며, 토큰(token) 수준 임베딩이 보존될 경우 EEG-FM이 충분한 표현 용량(representational capacity)을 보유하고 있음을 입증한다. 더 나아가 블록 단위 프로빙(block-wise probing)과 어텐션(attention) 분석을 통해, 미세조정(fine-tuning) 과정에서 후반 블록들이 재활용(repurpose)되는 반면 초반 블록들은 이미 과업 관련 정보를 보유하고 있음을 보여준다. 본 연구의 결과는 EEG-FM에 대한 결론이 평가 방식의 선택에 따라 달라짐을 보여주며, 향후 EEG-FM 평가 시 교란 유형별 견고성을 보고하고, 어트리뷰션 맵을 산출하며, 여러 풀링 전략을 검토할 것을 권장한다.

arXiv:2506.05014v3cs.LG

합리적인 개념 병목 모델을 향하여

Towards Reasonable Concept Bottleneck Models

본 논문에서는 개념 병목 모델(CBM) 설계를 위한 새롭고 유연하며 효율적인 프레임워크를 제안합니다. 이 프레임워크를 통해 실무자는 예측 시 모델의 추론 과정 내에서 개념-개념($C-C$) 및 개념-작업($C \to Y$) 관계에 대한 사전 지식과 신념을 명시적으로 인코딩하고 확장할 수 있습니다. 이를 통해 도출된 개념 추론 모델(CREAM)은 상호 배타성, 계층적 연관성 및 상관관계와 같은 임의 유형의 $C-C$ 관계뿐만 아니라 잠재적으로 희소한 $C \to Y$ 관계를 구조적으로 인코딩합니다. 또한 CREAM은 잠재적으로 불완전한 개념 집합을 보완하기 위해 정규화된 사이드 채널을 선택적으로 통합할 수 있어, 예측이 개념에 기반(concept-grounded)하도록 유도하는 동시에 경쟁력 있는 작업 성능을 달성합니다. 이러한 환경에서 CBM을 평가하기 위해, 예측이 사이드 채널에 부분적으로 의존할 때의 해석 가능성을 정량화하는 $C \to Y$ 무관 지표를 도입합니다. 실험을 통해 추가적인 계산 오버헤드 없이 CREAM 모델이 효율적인 개입을 지원하고 개념 누출(concept leakage)을 방지할 수 있으며, 개념이 누락된 상황에서도 블랙박스 수준의 성능을 달성함을 보입니다. 나아가 선택적 사이드 채널이 해석 가능성과 개입 가능성에 미치는 영향을 분석합니다. 중요한 점은, 사이드 채널 덕분에 제한된 수의 개념만 사용할 수 있는 시나리오에서도 CBM이 유효성을 유지할 수 있다는 것입니다.

arXiv:2605.06295v2cs.LG

해석가능성의 메타게임과 메타 기여도

The Metagame of Interpretability and Meta-Attributions

임의의 기여도(attribution) 산출 방법을 제1원리로부터 어떻게 일반화하여 상호작용을 포착할 수 있을까요? 본 연구는 모델 설명의 2차 상호작용 효과를 정량화하기 위한 개념적 프레임워크인 메타게임(metagame)을 통해 이에 답합니다. 저자들은 특징(feature) $i$의 기여도 값 $φ_i$를 다른 특징들 간의 협력 게임으로 구성하고 그 샤플리 값(Shapley value)을 계산합니다. 이는 특징 $j$가 $i$의 기여도에 얼마나 영향을 미치는지를 측정하여 방향성을 갖는 메타 기여도 $\varphi_{j \to i}$를 도출합니다. 메타 기여도는 모델을 직접 분해하는 대신 기여도 자체를 분해함으로써, 그래디언트(gradient) 또는 어텐션(attention) 기반의 모든 방법을 상호작용으로 확장하며 제거 기반 섭동(perturbation)과 모델 내부 요소를 결합합니다. 이론적으로, 메타 기여도의 합이 설명 대상인 1차 기여도와 같음을 증명하며, 이는 샤플리 상호작용과 통합 헤시안(integrated Hessians)이 암묵적으로 수행하는 것으로 밝혀진 계층적 분해입니다. 실증적으로는 메타 기여도가 다양한 해석가능성 응용 분야 전반에서 통찰을 제공함을 입증합니다: (i) 인스트럭션 튜닝된 언어 모델에서의 토큰(token) 상호작용 정량화, (ii) 비전-언어(vision-language) 인코더에서의 모달리티 간 유사도 설명, (iii) 멀티모달 디퓨전 트랜스포머에서의 텍스트-이미지 개념 해석.

arXiv:2602.07144v3cs.LG

BONSAI: 자연스러운 단순성과 해석 가능성을 갖춘 베이즈 최적화

BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability

베이즈 최적화(Bayesian optimization, BO)는 블랙박스 함수의 표본 효율적 최적화(sample-efficient optimization)를 위해 널리 사용되는 기법입니다. 많은 응용 분야에서 튜닝 대상 파라미터는 정교하게 설계된 기본 설정(default configuration)과 함께 제공되며, 실무자들은 꼭 필요한 경우에만 이 기본값에서 벗어나기를 원합니다. 그러나 표준 BO는 기본값으로부터의 편차를 최소화하는 것을 목표로 하지 않으며, 실제로는 중요도가 낮은 파라미터를 탐색 공간의 경계로 밀어내는 경우가 많습니다. 이는 중요 변경사항과 무의미한 변경사항을 구분하기 어렵게 만들고, 최적화 목적함수에 관련 운영 고려사항이 누락되었을 때 추천된 설정을 검토하는 부담을 가중시킵니다. 본 논문에서는 획득 가치(acquisition value)의 손실(loss)을 명시적으로 제어하면서 기본 설정 대비 영향력이 적은 편차를 가지치기(pruning)하는 기본값 인식(default-aware) BO 정책인 BONSAI를 소개합니다. BONSAI는 기대 개선량(expected improvement)과 상한 신뢰 구간(GP-UCB)을 포함한 다양한 획득 함수(acquisition function)와 호환됩니다. 우리는 BONSAI에 의해 발생하는 후회(regret)의 이론적 상계를 제시하여, 적절한 조건 하에서 기본 GP-UCB의 무후회(no-regret) 특성을 유지하면서 무관한 변경사항을 제거함을 증명합니다. 다양한 실제 응용 전반에 걸쳐, BONSAI가 실행 시간(wall time)에 거의 영향을 주지 않으면서 경쟁력 있는 최적화 성능을 유지함과 동시에 추천 설정에서 기본값이 아닌 파라미터의 수를 실질적으로 줄임을 실험적으로 확인했습니다. BONSAI의 후보 생성 비용은 표준 BO 대비 평균 1.5배에 불과하여, 기존 희소(sparse) BO 기법들의 7~34배와 대비됩니다.

arXiv:2606.22994v2cs.LG

희소 오토인코더는 의미 있는 개념 계층 구조를 학습하는가?

Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?

희소 오토인코더(SAE)는 대규모 모델에서 비지도 개념 발견을 위한 중요한 도구가 되었습니다. 그 결과로 얻어지는 특징 공간을 더욱 해석 가능하고 다루기 쉽게 만들기 위해, 최근 접근법들은 명시적으로나 혹은 학습 제약 조건의 암묵적 효과로서 계층 구조를 부여하기 시작했으나, 엄밀한 비교는 여전히 어렵습니다. 의미 있는 특징 계층 구조가 무엇을 만족해야 하는지에 대한 합의된 요구사항이 없으며, 평가는 파편화된 정량적 프로토콜과 함께 주로 정성적 예시에 의존해 왔습니다. 이를 해결하기 위해, 본 논문에서는 시맨틱 넷(semantic net) 및 분류 체계(taxonomy) 연구와 최근 SAE 연구를 참고하여 비지도 개념 발견에서의 일반화/전문화 계층 구조에 대한 일련의 핵심 요구사항을 도출하고, 이를 활용해 구체적인 평가 프로토콜을 도출합니다. 시각 데이터로 학습된 최신 SAE 접근법들에 이 프로토콜을 적용한 결과, 특징 공간이 일반적으로 타당한 계층 구조를 위한 기반을 제공하지만 훌륭한 계층 구조를 확립하는 것은 여전히 어렵다는 점을 발견했습니다. 특히 잘 알려진 하드(hard) 형태와 연속적인 소프트(soft) 형태 모두에서 나타나는 특징 흡수(feature absorption)가 계층 구조의 품질을 체계적으로 저하시키며, 이는 향후 접근법들이 해결해야 할 근본적인 긴장 관계를 시사합니다.

arXiv:2401.09918v2cs.LG

확률적 진정한 비순서 규칙 집합

Probabilistic Truly Unordered Rule Sets

규칙 집합(rule set) 학습은 해석 가능성(interpretability) 덕분에 최근 자주 재조명되고 있습니다. 그러나 기존 방법들에는 몇 가지 한계점이 존재합니다. 첫째, 대부분의 기존 방법은 명시적이든 암묵적이든 규칙 간의 순서를 부여하므로 모델의 이해도를 떨어뜨립니다. 둘째, 중복(즉, 여러 규칙에 의해 포괄되는 인스턴스)으로 인해 발생하는 충돌을 처리하기 어렵기 때문에 기존 방법들은 확률적 규칙을 고려하지 않는 경우가 많습니다. 셋째, 대부분의 기존 연구가 이진 분류(binary classification)나 "일대다(one-versus-rest)" 방식을 통한 다중 클래스 분류에 초점을 맞추고 있어 다중 클래스 대상의 분류 규칙을 학습하는 연구는 충분히 이루어지지 않았습니다. 이러한 한계를 해결하기 위해 본 논문에서는 '진정한 비순서 규칙 집합(Truly Unordered Rule Sets)'을 의미하는 TURS를 제안합니다. 중복되는 규칙으로 인한 충돌을 해결하기 위해, 유사한 확률적 출력을 갖는 경우에만 규칙 중복을 허용한다는 직관을 바탕으로 규칙 집합의 확률적 특성을 활용하는 새로운 모델을 제안합니다. 다음으로 최소 기술 길이(MDL) 원리를 기반으로 TURS 모델 학습 문제를 정식화하고 정교하게 설계된 휴리스틱 알고리즘을 개발합니다. 광범위한 규칙 기반 방법들과 벤치마크 평가를 수행하여, 제안하는 방법이 더 낮은 모델 복잡도와 매우 경쟁력 있는 예측 성능을 갖춘 규칙 집합을 학습함을 입증합니다. 또한, 본 모델의 규칙들이 경험적으로 "독립적"이며 따라서 진정한 비순서형임을 실증적으로 보여줍니다.

arXiv:2610.02431v1cs.LG

CRISP: 절 재구성 기반 해석 가능한 신경기호 명제를 위한 프레임워크

CRISP: A Framework for Clause-Reconstructed Interpretable NeuroSymbolic Propositions

심층 신경망(neural network)은 계층화된 수치 변환을 통해 높은 정확도를 달성하지만, 결정 근거가 명시적 규칙이 아닌 은닉 활성화에 인코딩되어 있어 결정을 검증하기 어렵습니다. 본 논문에서는 이진 신경망 교사 모델의 마지막 층(layer) 활성화 벡터(LLAV)를 세틀린 머신(TM) 절(clause)로 재구성하는 프레임워크인 CRISP를 소개합니다. CRISP는 교사 모델의 마지막 직전 층 로짓(logit) 전 활성화를 부호 기준 이진화하고, 각 LLAV 뉴런에 개별 TM(ITM)을 하나씩 할당합니다. 재구성된 각 은닉 비트는 불리언화(Booleanized)된 입력 특성에 대한 명제 절로 표현되어, 명명된 입력 임계값에서 명명된 교사 뉴런까지의 직접적인 기호적 추적을 제공합니다. CRISP는 BinaryConnect 합성곱 신경망(BCCNN) 교사 모델과 완전 이진 신경망(BNN) 교사 모델을 사용하여 MNIST, KMNIST, FashionMNIST(FMNIST), SVHN, CIFAR10에서 평가되었으며, 다양한 비트 심도에서의 이진 임계값 처리, 서모미터 인코딩(thermometer encoding), 사분위수 비닝(quartile binning)에 대한 추가 연구도 수행되었습니다. 실험 결과에 따르면 테스트된 BNN 설정에서 LLAV 부호 이진화는 교사 헤드 정확도를 저하시키지 않는 반면, ITM 재구성 오차가 주된 제한 요인인 것으로 나타났습니다. 사분위수 1비트 불리언화는 SVHN에서 87.52%의 테스트 충실도로 가장 높은 재구성 충실도를 보였고 CIFAR10에서도 경쟁력 있는 성능을 보였으며, 재구성된 LLAV는 FMNIST에서 78.41%의 교사 헤드 정확도를 유지했습니다. 풀링된 절-근거 시각화는 학습된 ITM 리터럴(literal)이 중앙 집중형 벤치마크에서 객체 영역에 집중됨을 보여줍니다. 따라서 CRISP는 이진 신경망 교사 모델의 최종 은닉 표현을 검사할 수 있는 절 수준의 경로를 제공합니다.

arXiv:2610.02299v1cs.LG

Ψ-Resilience: 1차원 위상학적 신호를 통한 모델에 독립적인 특징 중요도

$Ψ$-Resilience: Model-Free Feature Importance from 1D Topological Signals

우리는 1차원 위상학적 신호(topological signal)를 통해 데이터 자체로부터 직접 설명을 도출하는 모델-프리(model-free) 특징 중요도 기법인 Ψ-Resilience를 소개한다. 본 방법은 클래스 조건부 밀도(class-conditional density)를 추정하고, 특징 축을 따라 이들의 점별 절대 차이를 계산하여 클래스 불일치 지형(class-disagreement landscape)을 구성한다. 이후, 이 1차원 신호의 0차원 퍼시스턴스(0-dimensional persistence)는 사용자가 설정한 로버스트성 스케일(robustness scale)까지의 교란에도 생존하는 위상적 특징들만을 집계하는 resilience 함수(functional)를 정의한다. 이를 통해 기저의 1차원 지형과 그 퍼시스턴스를 통해 본질적으로 검증 가능한(auditable), 맥락에 강건한(context-robust) 중요도 점수를 얻을 수 있다. 우리는 본 방법을 합성 데이터셋과 실제 데이터셋 모두에서 평가한다. 정답(ground-truth) 중요도가 명시된 합성 생성기(synthetic generator)에서, Ψ-Resilience는 특징의 순위를 높은 충실도로 복원하며, 최대 0.8의 스피어만 순위 상관계수(Spearman rank correlation)를 달성하고 SHAP 및 상호정보량(mutual information)을 포함한 다수의 특징 중요도 기법들과 경쟁력 있는 성능을 보인다. 정답이 알려지지 않은 실제 데이터셋에서는, 본 기법이 이들 방법과 최대 0.9의 상관계수로 일치하는 결과를 보인다. 이러한 결과는 Ψ-Resilience가 예측 모델에 의존하지 않고도 특징 중요도에 대한 엄밀한 분포 수준의 검증을 가능하게 하는 안정적인 설명 기법임을 보여준다.

arXiv:2610.02741v1cs.AI

루프형 언어 모델의 사고의 연쇄 모니터링 가능성에 대한 연구

On the Chain-of-Thought Monitorability of Looped Language Models

사고의 연쇄(Chain-of-Thought, CoT) 모니터링은 바람직하지 않은 모델 행동을 탐지하는 유망한 접근 방식을 제공합니다. 루프형 언어 모델(Looped language models, LoopLM)은 공유된 트랜스포머 층을 반복적으로 적용하여 모델 크기를 늘리지 않고도 유효 계산 깊이를 늘리고 추가적인 잠재 연산을 가능하게 합니다. 그러나 루프형 아키텍처가 CoT 모니터링 가능성에 미치는 영향은 아직 거의 연구되지 않았습니다. 본 연구에서는 LoopLM의 CoT 모니터링 가능성에 대한 최초의 체계적인 평가를 제공합니다. 우리는 상호 보완적인 두 가지 설정을 연구합니다: (1) 추가적인 순환 연산의 효과를 분리하기 위해 동일한 LoopLM 계열 내에서 루프 깊이를 변화시키는 설정, 그리고 (2) LoopLM이 모니터링하기 더 어려운지 연구하기 위해 매개변수 크기, 트랜스포머 층 수 또는 유효 깊이를 일치시킨 비루프형(non-looped) 언어 모델과 LoopLM을 비교하는 설정입니다. MonitorBench의 8개 작업과 표준 및 스트레스 테스트 설정 전반에 걸쳐, 특정 논리/과학/공학 \texttt{Cue Answer} 작업의 스트레스 테스트 하에서 CoT 모니터링 가능성이 작업에 따라 감소하는 것을 관찰한 반면, 다른 작업들에서는 더 약하거나 질적으로 다른 경향을 보였습니다. 우리의 진단에 따르면 이러한 감소는 작업 난이도, 검증 통과율 또는 생성된 토큰 길이로 완전히 설명되지 않으며, 정성적 예시는 더 깊은 루프 모델이 제공된 단서를 명시적으로 사용하거나 귀인하는 방식의 변화를 추가로 시사합니다. 교차 모델 비교 결과, 크기나 깊이가 일치하는 비루프형 언어 모델보다 LoopLM이 체계적으로 모니터링 가능성이 낮다는 증거는 발견되지 않았습니다. 종합적으로, 우리의 결과는 스트레스 테스트 하의 일부 작업에서 더 깊은 루프 깊이가 CoT 모니터링 가능성을 감소시킬 수 있지만, 루프형 트랜스포머 아키텍처 자체만으로 모니터링 가능성이 필연적으로 낮아지는 것은 아님을 시사합니다.

arXiv:2609.38645v2cs.LG

모니터링 가능성을 잃지 않으면서 프로브에 대항한 학습을 통한 정렬

Alignment via Training Against Probes Without Losing Monitorability

모델은 일반적으로 시연(demonstration), 선호도 데이터(preference data), 또는 보상(reward) 신호를 활용하여 관찰된 출력을 기반으로 정렬(alignment)됩니다. 이러한 목표는 정렬된 것처럼 보이는 응답에 보상을 제공합니다. 더 뛰어난 역량을 가진 모델은 학습(training) 중에 순응을 위장하는 등의 방식으로 의도된 행동을 내면화하지 않은 채 이러한 목표를 만족시키는 법을 학습할 수 있습니다. 목표가 출력이 아닌 모델 내부 상태에 대해 정의된다면 이러한 피상적인 순응은 더 어려워질 수 있습니다. 따라서 본 연구에서는 모델 활성화(activation) 내의 원치 않는 특성을 탐지하는 프로브(probe)를 직접적인 학습 신호로 사용하는 프로브 유도 미세조정(probe-guided fine-tuning)을 연구합니다. 저자들은 무해성(harmlessness)과 정직성(honesty)이라는 두 가지 정렬 목표에 걸쳐 층(layer)당 프로브 수를 달리하여 선형 및 비선형 프로브를 평가합니다. 그 결과 학습 중 업데이트되지 않는 프로브에 대항해 학습하는 것은 쉽게 악용될 수 있는 목표인 반면, 지속적으로 업데이트되는 프로브는 유용성을 보존하면서도 유해성을 크게 줄이고 정직성을 향상시킨다는 점을 발견했습니다. 프로브 유도 미세조정은 DPO 및 추론(inference) 시점 조향(steering)보다 더 우수한 안전성-유용성 절충(trade-off)을 달성하는 동시에, 탈옥(jailbreak) 및 애블리터레이션(abliteration) 공격에 대해 훨씬 더 견고합니다. 또한 미세조정 후에도 개념이 선형적으로 인코딩된 상태로 유지되므로, 본 연구의 방법을 통해 감시(oversight) 능력이 상실되지 않습니다. 따라서 프로브에 대항한 학습은 모델이 출력하는 것뿐만 아니라 모델이 표현(represent)하는 바를 형성하는 방법을 제공하며, 이는 모델이 출력을 정렬된 것처럼 보이게 만드는 능력이 향상됨에 따라 점점 더 중요해질 수 있습니다.

arXiv:2609.13529v2cs.LG

확장 가능한 신경-기호 모델을 통한 생성적 해석 가능성

Generative Interpretability via Scalable Neuro-Symbolic Models

대규모 언어 모델(LLM)의 활용이 챗봇에서 현실에 비가역적인 결과를 초래하는 행동으로 출력이 이어지는 에이전트(agent) 시스템으로 전환됨에 따라, AI 해석 가능성 연구의 기존 패러다임인 사후 해석 가능성(post-hoc interpretability)은 안전하고 신뢰할 수 있는 모델 배포에 구조적으로 부적합합니다. 이는 사후에 행동을 설명할 수는 있지만, 출력을 확정하기 전에 추론 계산을 감사하거나 개입할 수는 없기 때문입니다. 따라서 우리는 모델의 추론 과정이 본질적으로 인간이 이해할 수 있고 인과적 개입이 가능한 의미 있는 체크포인트를 네이티브로 노출하는 아키텍처 특성인 \emph{생성적 해석 가능성}(generative interpretability)으로의 전환을 주장합니다. 우리는 다른 해석 가능성 연구 패러다임과의 비교를 통해 생성적 해석 가능성의 장점을 제시하고, 구체적인 구현체로서 신경-기호 모델(Neuro-Symbolic Models)을 제안합니다.

arXiv:2610.00414v1cs.CV

이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석

From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model

대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.

arXiv:2609.27371v1cs.HC

ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템

ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images

생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.

arXiv:2609.27194v1cs.CV

설계상 다양성: 프로토타입 기반 해석 가능성을 위한 아키텍처 제약

Diverse by Design: Architectural Constraints for Prototype-Based Interpretability

프로토타입 기반 신경망은 사례 기반 추론(case-based reasoning)을 통해 본질적인 해석 가능성을 제공하지만, 프로토타입이 중복된 특징으로 수렴하고, 다양한 의미적 부분을 포착하지 못하며, 정량적 해석 가능성 평가가 부족하다는 치명적인 한계를 갖는다. 우리는 Diversity-Aware Prototype Learning(DAPL)을 제안하며, 이는 명시적 정규화보다 아키텍처 제약을 통해 프로토타입 다양성을 강제한다. 우리 접근법은 엄격한 일대일 어텐션-프로토타입 매핑을 갖춘 멀티헤드 셀프 어텐션(multi-head self-attention)을 활용하여, 각 프로토타입이 서로 다른 시각적 특징에 특화되도록 한다. 또한 프로토타입이 의미적으로 중요한 영역에 집중하도록 하는 전경 인식(foreground-aware) 학습을 도입하고, 정량적 해석 가능성 평가를 위한 포괄적 평가 지표(Coverage와 Diversity)를 개발한다. CUB-200-2011에서의 실험은 큰 개선을 보여준다: 전경 인식 학습을 적용한 DAPL은 81.69% 정확도와 0.596 Coverage, 0.427 Diversity를 달성하며, 평가된 모든 프로토타입 기반 방법 중 전반적으로 최고의 균형을 제공한다. 코드는 https://github.com/xinmiaolin/DAPL 에서 이용 가능하다.

arXiv:2609.27041v1cs.AI

LLM의 수학적 추론은 주제가 아닌 접근 방식에 따라 조직된다

Math Reasoning in LLMs is Organized by Approach, Not Topic

수학적 추론 벤치마크는 일반적으로 주제별로 구성되지만, 언어 모델은 내부 연산을 재사용 가능한 추론 접근 방식(reasoning approach)에 따라 조직할 수 있습니다. 본 논문에서는 수학 능력을 갖춘 오픈 대규모 언어 모델(LLM)이 내부적으로 주제별 하위 기술에 따라 조직되는지, 아니면 추론 접근 방식에 따라 조직되는지 조사하며, 접근 방식이 핵심이라는 증거를 제시합니다. 우리는 생성-재생(generation-replay) 프로토콜을 도입합니다. 즉, 모델이 먼저 해법을 생성한 후 동일한 프롬프트 및 생성 궤적을 재생하여 추론 토큰에 걸친 활성화-중요도 시그니처를 추출합니다. 우리는 8개 모델과 5개 수학 추론 소스에 걸쳐 비지도 방식으로 이러한 시그니처를 클러스터링한 다음, 구조적·의미적·개입 테스트를 통해 복원된 구조를 평가합니다. 40개의 모든 모델-소스 조합에서 복원된 클러스터는 크기가 일치하는 무작위 베이스라인보다 우수한 성능을 보입니다. 두 곳의 독립적인 프론티어 LLM 심사위원은 소스 내 대조군에서의 6~11%와 비교해 실제 클러스터의 77~82%에서 접근 방식 수준의 일관성을 확인했으며, 주제 순수 클러스터는 대개 주제 자체보다 더 세부적인 레이블을 받습니다. 접근 방식 제어 프롬프트에서 요청된 추론 접근 방식을 변경하면 8개 모델 조건 중 7개에서 클러스터 할당이 이동하는 반면, 패러프레이즈(paraphrase)는 이를 대체로 유지합니다. 이러한 결과는 수학 능력을 갖춘 LLM이 벤치마크 주제보다는 추론 접근 방식에 따라 내부 수학 연산을 조직함을 보여줍니다. 이는 주제별로 계층화된 벤치마크와 주제 균형이 맞춰진 학습 코퍼스라 하더라도 중요한 축을 놓칠 수 있음을 시사합니다. 즉, 의도적으로 주제 균형을 맞춘 코퍼스라 할지라도 추론 접근 방식에 있어서는 여전히 불균형할 수 있습니다.

arXiv:2609.24576v1cs.RO

VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종

What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior

현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.