PyTorchKR Papers

최신 논문

총 169편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.14632v5cs.CV

BusterX++: MLLM을 통한 통합 크로스 모달 AI 생성 콘텐츠 탐지 및 설명

BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM

The rapid advancement of generative AI has substantially improved image and video synthesis, amplifying the risk of multimodal visual misinformation. Recent MLLMs have shown promise for transparent AI-generated content detection through reasoning and explanation, yet existing approaches largely treat image and video forensics as isolated tasks, leaving cross-modal synergies underexplored. To address this, we present \textbf{BusterX++}, a unified MLLM for joint image and video detection with interpretable reasoning. We also introduce \textbf{GenBuster-Bench++}, a curated benchmark containing balanced image and video samples spanning recent generation models and diverse real-world scenarios, with synthetic images and videos screened using the same human difficulty criterion. Using this controlled setting, we revisit the widely adopted SFT+RL post-training paradigm. Notably, in the unified image-video setting, our results demonstrate that a single-stage pure RL strategy driven primarily by sparse outcome rewards outperforms a strong SFT+RL baseline. We observe that single-stage pure RL maintains higher policy entropy than SFT-initialized RL throughout training. This observation suggests a possible role for exploration in the performance gains observed under unified image-video training. Extensive experiments demonstrate that BusterX++ achieves state-of-the-art performance, highlighting the powerful potential of RL for unified cross-modal visual reasoning.

arXiv:2606.19882v2cs.CV

멀티모달 컨셉 병목 모델

Multimodal Concept Bottleneck Models

Concept Bottleneck Models (CBMs) enhance the interpretability of deep neural networks by aligning the features extracted from images with human-interpretable concepts. However, conventional CBMs typically use a linear classifier that maps concept activations to a fixed set of predefined classes, limiting their flexibility in open-vocabulary settings. In this paper, we propose Multimodal Concept Bottleneck Model (MM-CBM) to address these issues and extend CBMs into CLIP structure. MM-CBM utilizes dual Concept Bottleneck Layers (CBLs) to align both the image and text embeddings into interpretable features. This allows us to perform new vision tasks like zero-shot classification or image retrieval in an interpretable way. Compared to existing methods, MM-CBM achieves 23.28% accuracy improvement on average across four standard benchmarks. Our method maintains competitive performance compared with black-box CLIP model while offering interpretability. Under classification tasks, MM-CBM's accuracy is on average 3.94% lower than CLIP in the target-dataset adaptation setting and 9.84% in the zero-shot transfer setting. Under image-text retrieval tasks, it achieves an average gap of 2.48% for image retrieval and 9.22% for text retrieval.

arXiv:2606.19741v2cs.AI

진화하는 프로그래매틱 병목점을 통한 신경 조합 최적화 해석

Interpreting Neural Combinatorial Optimization via Evolving Programmatic Bottlenecks

While Neural Combinatorial Optimization (NCO) achieves strong performance, its interpretability remains an open question. In this paper, we introduce Evolving Programmatic Bottlenecks (EPB), the first post-hoc, surrogate-based interpretability method for NCO, which explains a black-box policy by distilling it into an interpretable behavior surrogate. A natural surrogate is a Concept Bottleneck Model (CBM), yet standard concepts are input attributes, whereas NCO is better explained by decision rules that are hard to predefine. EPB thus uses LLMs to evolve a bank of programmatic decision rules as concepts, each producing an action distribution, where a learned state-dependent router then mixes them to form the surrogate action. We optimize EPB through an iterative framework: Block I fixes the bank size and introduces the hybrid textual-numerical gradient descent to jointly optimize the textual programs and the numerical router; Block II adapts the bank size via failure-targeted expansion and redundancy pruning. Extensive experiments demonstrate that the EPB surrogate closely matches the teacher's behavior and solution quality. We then analyze the distilled rules, reveal several NCO decision patterns, and verify the rules' faithfulness to the surrogate's decisions. Moreover, the surrogate allows targeted program edits that improve its generalization beyond the teacher. Our work advances interpretable NCO and establishes EPB as a promising direction for interpreting complex learned decision-making policies.

arXiv:2606.17478v2cs.CL

From Hidden States to Confessions: Auditing Deception in Reasoning Models

As LLMs acquire stronger reasoning capabilities, deceptive behavior becomes an increasingly serious safety concern. Existing deception monitors typically either score visible transcripts or derive scalar probe scores from representation vectors, leaving little inspectable evidence about why a response is suspicious. We introduce StateWitness, an audit decoder for deception monitoring. It reads a target model's hidden states to answer audit queries and produce confession-style reports of potential failures or violations. We evaluate generalization beyond the decoder's audit training data across two target reasoning models and seven deception datasets. StateWitness achieves 0.916 mean AUROC, with relative gains of 11.6% and 25.0% over the best black-box and activation-probe baselines, respectively, under the same evaluation protocol. When combined with existing monitors, StateWitness reduces missed deceptive examples in simple threshold ensembles. Beyond scalar detection, the decoder returns query-level answers, schema reports, and token- or sentence-level evidence traces for human inspection. We envision StateWitness as one monitoring layer in a broader defense-in-depth strategy.

arXiv:2606.12289v4cs.LG

The Standard Interpretable Model: Design interpretable machine learning methods from elementary symmetries

As Artificial Intelligence models grow in complexity, interpretability has become an indispensable tool for understanding, debugging, and controlling their computations. However, interpretability lacks general theories to deductively design interpretable methods. This gap between theories and methods results in a fragmented literature and inconsistent evaluation protocols. To fill this gap, we introduce the Standard Interpretable Model (SIM), a general theory that enables the deductive design of interpretable methods from first principles. Specifically, the SIM summarises, in a set of premises, what interpretability is for a target entity. From these premises, the SIM systematically derives interpretability symmetries and corresponding constraints. One can then build interpretable models by either introducing constraints in the optimisation problem or by compiling constraints into an interpretable architecture. The most important finding, both theoretical and empirical, is that full expressivity and interpretability symmetries can coexist in the same model, showing that the trade-off between accuracy and interpretability is an artefact of model design. We demonstrate this on language models (LMs), where SIM-based LMs match the performance of equivalent opaque LMs without making any compromise on interpretability. Beyond this, the SIM shows how to improve the interpretability of existing pre-trained models, highlights underexplored research directions, and unifies a discipline that has long been fragmented, offering pedagogical grounding for interpretability curricula.

arXiv:2606.22361v3cs.CL

첫 토큰 브로드캐스터: 트랜스포머에서 언어 정체성과 분산 견고성의 기계론적 기원

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

How is language identity represented and causally maintained in transformers, and to what extent do the mechanisms identified in one language set transfer to other languages and training regimes? We introduce Language Identity Head Ablation (LIHA), a causal intervention that zeros each attention head individually and measures the resulting language switch rate. Across our multilingual evaluation sets, LIHA identifies heads whose ablation has disproportionate effects on output language. In GPT-2, a small set of first-token broadcaster heads---led by L6H1 (switch rate 0.32, 3.23$\sigma$ above the population mean)---attend persistently to the first prompt token across query positions. The combination of persistent first-token attention and causal sensitivity suggests that these heads participate in maintaining output language. Following ablation, first-token attention increases in heads above the ablated layer for the ablations tested (permutation test against random five-head sets, $p < 10^{-5}$). We do not test whether these heads functionally compensate for the ablated head. We also compare Qwen2.5-1.5B-Base and Qwen2.5-1.5B-Instruct, which are matched in architecture and parameter count but differ in training history. The base model is nearly flat (max SR$=$0.016, 200/336 heads at SR$=$0.0), whereas the instruct model concentrates causal influence at layer~0, led by L0H5 (SR$=$0.224, 8.93$\sigma$ above the mean). Finally, GPT-2 heads identified from the European-language experiments show no observed switch effects on the tested Chinese and Russian prompts, while other early-layer heads do show effects. Because script, typology, and tokenization vary together in this comparison, these results do not isolate a specifically script-driven mechanism. Repository is available at https://github.com/ajlrza/First-Token-Broadcasters.

arXiv:2601.16407v5cs.CL

Jacobian Scopes: A Unified Geometric Framework for Token-Level LLM Attribution

Large language models (LLMs) make next-token predictions based on clues present in their context, such as semantic descriptions and in-context examples. Yet, elucidating which prior tokens most strongly influence a given prediction remains challenging due to the proliferation of layers and attention heads in modern architectures. We propose Jacobian Scopes, a suite of gradient-based, token level causal attribution methods for interpreting LLM predictions. Grounded in perturbation theory and information geometry, Jacobian Scopes quantify how input tokens influence various aspects of a model's prediction, such as specific logits, the full predictive distribution, and model uncertainty (effective temperature). Through case studies spanning instruction understanding, translation, and in-context learning (ICL), we demonstrate how Jacobian Scopes reveal implicit political biases, uncover word- and phrase-level translation strategies, and shed light on recently debated mechanisms underlying in-context time-series forecasting. On token-ablation faithfulness benchmarks (LAMBADA and IWSLT2017) across six LLMs, the distribution-level Fisher and Temperature Scopes significantly outperform established gradient-based attribution methods in 10 of 12 model-dataset settings. To facilitate exploration of Jacobian Scopes on custom text, we open-source our implementations and provide a cloud-hosted interactive demo at https://huggingface.co/spaces/Typony/JacobianScopes.

arXiv:2606.19317v3cs.LG

프로그램 합성을 통한 어텐션 설명

Explaining Attention with Program Synthesis

해석 가능한 심층 학습(deep learning) 연구의 오랜 목표는 불투명한 신경망 연산을 인간이 이해할 수 있는 기호적 설명으로 대체하는 것입니다. 본 논문에서는 심층 신경망 구성 요소의 동작을 실행 가능한 프로그램으로 근사하는 접근법을 제안합니다. 우리는 트랜스포머(transformer) 언어 모델(language model)의 어텐션(attention) 헤드에 초점을 맞춥니다. 주어진 헤드에 대해, 먼저 무작위로 선택된 학습(training) 예제 집합에서 관련 어텐션 행렬을 계산합니다. 다음으로, 이 행렬들의 요약을 사전학습(pre-training)된 언어 모델에 프롬프트(prompt)로 제공하고, 입력 문장의 텍스트만 주어졌을 때 관련 어텐션 패턴을 재현할 수 있는 일련의 Python 프로그램을 생성하도록 지시합니다. 마지막으로, 최종 프로그램 집합이 홀드아웃(held-out) 입력에 대한 동작을 얼마나 잘 예측하는지에 따라 프로그램들의 순위를 재조정합니다. 우리는 이렇게 생성된 1,000개 미만의 프로그램 집합으로 GPT-2, TinyLlama-1.1B, Llama-3B 내 헤드의 어텐션 패턴을 재현할 수 있음을 입증하며, TinyStories에서 평균 75% 이상의 IoU(Intersection-over-Union) 유사도를 달성함을 보입니다. 나아가, 가장 적합한 프로그램은 모델 동작에 실질적인 영향을 주지 않고 신경망 어텐션 헤드를 대체할 수 있습니다. 세 모델 전체에서 어텐션 헤드의 25%를 프로그램 기반 대리물로 대체하더라도 평균 퍼플렉서티(perplexity) 증가는 16%에 불과하며, 다양한 하위 질의응답 벤치마크(benchmark)에서 성능을 유지합니다. 본 연구는 사람이 읽을 수 있는 실행 가능한 코드를 활용하여 트랜스포머 모델의 어텐션 헤드를 역공학하는 확장 가능한 파이프라인을 제시하며, 신경망 모델의 기호적 투명성을 향한 길을 발전시킵니다.

arXiv:2606.13295v3stat.ML

계층화 분류를 위한 Simultaneous Latent Budget Trees

Simultaneous Latent Budget Trees for Stratified Classification

시공간적 또는 인구통계학적 변수와 같은 계층화 요인이 존재하는 환경에서의 분류를 위해 Simultaneous Latent Budget Trees라는 확률적 머신러닝 프레임워크를 제안한다. 자식 노드를 동시 혼합 모델의 잠재 구성 요소로 해석하는 모델 기반 분할 규칙을 통해 조건부 분할을 최적화하며 신경망 관점에서 최소제곱법으로 파라미터를 추정한다.

arXiv:2606.22886v2cs.CL

아토피 피부염을 위한 안정성 및 경계 인식 기반 설명 가이드 의료 개체명 인식

Explanation-Guided Medical Named Entity Recognition with Stability and Boundary Awareness for Atopic Dermatitis

목적: 본 연구는 설명 기반 학습(explanation-guided learning)을 통해 중국어 아토피 피부염(AD) 임상 텍스트에서 의료 개체명 인식(NER)의 신뢰성과 견고성(robustness)을 향상시키는 것을 목표로 한다. 방법: 우리는 안정성 및 경계 인식 기반의 설명 가이드 NER 프레임워크를 제안한다. 교란(perturbation) 기반 분석을 사용하여 설명의 안정성과 개체 경계 민감도를 평가한다. 적응형 융합(adaptive fusion) 전략은 국소(local) 설명과 전역(global) 설명을 동적으로 결합하여 더욱 신뢰할 수 있는 토큰 수준 설명을 생성한다. 융합된 설명 신호는 안정성, 경계 인식, 일관성 제약을 통해 모델 학습에 추가로 반영된다. 결과: 중국어 AD NER 데이터셋에 대한 실험 결과, 제안한 프레임워크는 설명의 견고성을 개선하고 여러 NER 모델 전반에서 일관된 성능 향상을 달성했다. 또한 적응형 융합 전략은 개별 설명 방법보다 더 안정적인 설명과 더 강한 경계 인식 능력을 제공한다. 결론: 제안한 방법은 신뢰할 수 있는 설명 신호를 의료 NER 학습에 효과적으로 통합하여 인식 성능과 설명의 신뢰성을 모두 향상시킨다. 이 프레임워크는 설명 가능한 의료 NER을 위한 실용적이고 일반화 가능한 해법을 제공하며, 하위 단계의 임상 의사결정과 의료 지식 활용에 신뢰할 수 있는 지원을 제공한다.

arXiv:2606.23094v2cs.AI

인지 디지털 트윈: 마음을 모델링하는 AI 시스템의 윤리적 위험과 거버넌스

Cognitive Digital Twins: Ethical Risks and Governance for AI Systems That Model the Mind

AI 시스템이 점점 더 지속적이고 개인화됨에 따라, 우리가 인지 디지털 트윈(CDT: Cognitive Digital Twin)이라 부르는 일련의 기술이 가능해지고 있다. CDT란 특정 개인의 인지를 모델링·예측·시뮬레이션하거나, 해당 개인의 의사소통 또는 의사결정 대리인으로 기능하기 위해 행동적·맥락적·생리적 데이터로부터 지속적으로 갱신되는 동적 계산 표현이다. CDT는 인지 추론(inference)과 종단적 표현, 시뮬레이션, 대리 행동을 결합하며, 이는 개인 비서·자율 에이전트·추천 시스템·자동화 의사결정 시스템에 대한 기존 거버넌스 전략으로는 부분적으로만 다루어진다. 본 논문은 네 가지 기여를 제시한다. 첫째, CDT를 정의하고 인접 시스템과 구별한다. 둘째, 권한(authority), 자율성(autonomy), 접근 및 통제(access and control), 책임(accountability), 가용성(availability)을 중심으로 하는 5A 거버넌스 프레임워크를 제안한다. 셋째, 허위 표현과 인식론적 권위 이동에서부터 섀도 트윈, 시뮬레이션 참여, 대리 행동, 대리 권력 비대칭에 이르는 CDT 고유의 위험을 식별한다. 넷째, 거버넌스 공백을 분석하고, 동의, 목적 제한, 유효성, 추적 가능성, 이의 제기, 독립적 검토, 모델 폐기를 강화하는 고위험 CDT에 대한 요건을 제안한다. 기존 프레임워크는 주로 데이터 처리, 자동화된 의사결정, 또는 자율적 행동을 규제하지만, CDT는 어떠한 최종 결정이나 외부 행동이 발생하기 전에 인지 표현 수준에서의 거버넌스 또한 필요로 한다. 우리는 CDT가 사람을 대신해 행동할 수 있기 때문만이 아니라, 인지가 표현·시뮬레이션·분류·운용화되는 인프라가 될 수 있기 때문에도 거버넌스가 필요하다고 주장한다.

arXiv:2606.21138v2cs.CV

SEED: 설명 가능한 텍스트 위조 탐지를 위한 Simple ViT와 Evolving Harness

SEED: Simple ViT and Evolving Harness for Explainable Text Forgery Detection

AI 보조 이미지 편집은 금융, 법률, 신원 기록에 대한 신뢰를 위협한다. ACM MM 2026 GenText-Forensics Challenge는 다국어 텍스트 중심 위조 이미지에 대해 탐지, 픽셀 수준 위치 특정, 자연어 설명을 통합한 구조화된 포렌식 보고서를 요구함으로써 이 문제를 다룬다. 본 논문은 세 가지 구성 요소로 이루어진 모듈형 시스템 SEED를 제안한다. 첫째, 유사도 유도(similarity-guided) 파이프라인이 다양한 합성 위조로 학습을 증강한다. 둘째, LoRA 적응을 적용한 DINOv3 기반의 단일 ViT가 최소한의 학습 가능 파라미터로 사전학습 prior를 보존하면서 탐지와 픽셀 수준 위치 특정을 공동으로 수행한다. 셋째, evolving harness는 탐지기의 예측을 입력으로 받아 다중모달 LLM(MLLM)을 통해 완전한 포렌식 보고서를 생성하며, 보고서 품질을 최적화하는 제안자-평가자(proposer-evaluator) 루프를 통해 반복적으로 개선된다. SEED는 GenText-Forensics Challenge에서 3위를 기록했다. 코드와 데이터는 https://github.com/KahimWong/GenText-Forensics-3rd-Place 에서 제공된다.

arXiv:2606.22485v2cs.AI

VADAOrchestra: 적응형 추론 워크플로의 뉴로심볼릭 오케스트레이션

VADAOrchestra: Neurosymbolic Orchestration of Adaptive Reasoning Workflows

BPM의 런타임 적응 한계와 LLM 에이전트의 불투명성·확장성 문제를 해결하기 위해, VADAOrchestra는 LLM 오케스트레이터가 워크플로를 점진적으로 계획·조정하고 이를 Datalog+/- 논리 프로그램으로 인코딩해 기호 엔진에서 실행하는 뉴로심볼릭 하이브리드 프레임워크를 제안한다. 실제 금융 사용 사례 평가에서 검증 가능한 추론 추적을 통해 표준 에이전트 아키텍처 대비 충실성, 확장성, 설명 가능성을 입증한다.

arXiv:2606.18008v2cs.CV

PhaseWin: 충실한 시각적 귀속을 위한 효율적인 검색 알고리즘

PhaseWin: An Efficient Search Algorithm for Faithful Visual Attribution

시각적 귀속(visual attribution)은 현대 비전(vision) 및 비전-언어(vision-language) 모델을 해석하는 기본 도구로, 특히 모델의 결정을 검사, 진단 또는 감사해야 할 때 중요합니다. 그 목표는 모델의 결정이 시각적 입력의 지역적 영역에 어떻게 의존하는지 설명하는 것이며, 일반적으로 후보 이미지 영역에 중요도 순서를 할당함으로써 이루어집니다. $n$개의 영역으로 분할된 이미지가 주어지면, 충실한 귀속은 순서가 있는 부분집합 검색(ordered subset-search) 문제로 공식화할 수 있습니다. 이 문제에서 선택된 영역을 점진적으로 삽입할 때 목표 모델의 응답을 가능한 한 빨리 복원해야 합니다. 영역 부분집합에 대한 전수 탐색(exhaustive search)은 지수적인 비용이 드는 반면, 널리 사용되는 탐욕적 검색(greedy search)은 모든 선택 단계에서 남은 모든 후보를 다시 점수화해야 하므로 여전히 제곱 수준의 모델 평가가 필요합니다. 본 논문에서는 충실한 시각적 귀속을 위한 효율적인 부분집합 검색 알고리즘인 PhaseWin을 제안합니다. PhaseWin은 탐욕적 영역 선택을 단계별 윈도우 검색 절차로 재구성합니다. 매 단계마다 전체 후보 집합을 재평가하는 대신, 전역 후보 스크리닝, 적응형 가지치기(pruning), 지역화된 윈도우 정제(refinement)를 번갈아 수행하면서 탐욕적 검색의 본질적인 영역 순위 매기기 동작을 보존합니다. 우리는 단조 증거 누적(monotone evidence-accumulation) 조건 하에서 PhaseWin을 분석하고, 특징(feature) 수준의 구조적 가정 하에서 제어 가능한 선형 평가 복잡도와 거의 탐욕적(near-greedy)인 충실도 보장을 달성함을 보여줍니다. 이미지 분류, 객체 검출, 시각적 그라운딩(visual grounding), 이미지 캡셔닝(image captioning)에 대한 광범위한 실험을 통해, 비교된 모든 귀속 방법 중에서 PhaseWin이 가장 적은 순방향 패스(forward pass)로 높은 충실도에 도달함을 보여주며, $O(n^2)$에서 $O(n)$으로의 예측된 감소를 경험적으로 실현합니다. 코드는 https://github.com/Qihuai27/phasewin-va 에서 확인할 수 있습니다.

arXiv:2606.22314v2cs.LG

Diffusion Integrated Gradients: 유연한 특징 속성 귀속을 위한 제어 가능한 경로 생성

Diffusion Integrated Gradients: Controllable Path Generation for Flexible Feature Attribution

Integrated Gradients(IG)와 같은 경로 기반 속성 귀attribution 방법은 강한 공리적 성질과, 기준선에서 입력까지의 경로를 따라 그래디언트를 적분하여 모델 예측을 입력 특징에 귀속하는 효과성 때문에 널리 채택된다. 그러나 속성 귀attribution 경로의 선택은 설명의 품질에 크게 영향을 미치며, 기존 접근법은 고정되거나 수작업으로 설계된 경로에 의존하여 종종 노이즈가 많거나 왜곡된 속성 귀attribution을 만든다. 이 한계를 해결하기 위해, 우리는 경로 생성을 조건부 생성 모델링 문제로 재구성하는 새로운 방법인 Diffusion Integrated Gradients(DiffIG)를 제안한다. DiffIG는 먼저 Stick-Breaking Process로 생성된 경로들에 대한 분포를 학습하기 위해 확산 모델을 학습하고, 샘플링 절차 중 사용자 안내를 내장하기 위해 guided sampling을 사용한다. 우리는 DiffIG가 정량적으로 기존 경로 기반 방법들과 동등하거나 더 나은 성능을 보이며, 지각적으로 정렬된 설명을 달성함을 보여준다. 이 연구는 유연하고 추론 시점에 제어 가능한 설명 가능한 인공지능(XAI) 방법을 위한 새로운 생성적 관점을 제시한다.

arXiv:2606.21517v1cs.CL

MedHal-Loc: "아키텍처 기반 설명 가능" 의료 환각 탐지기는 충실한 국소화기인가? 국소화 벤치마크

MedHal-Loc: Are "Explainable-by-Architecture" Medical Hallucination Detectors Faithful Localizers? A Localization Benchmark

임상 텍스트에서의 환각(hallucination) 탐지는 점점 설명가능성(explainability) 문제로 프레이밍되고 있다. 시스템은 단순히 신뢰할 수 없는 응답을 표시하는 것에 그치지 않고 문제가 되는 구간(span)을 가리켜야 한다. 지식 그래프(KG) 삼원조(triple) 분해를 중심으로 한 아키텍처는 바로 이러한 감사 가능성(auditability)을 위해 내세워지지만, 그들의 국소화(localization) 능력은 일반적으로 측정되기보다 가정되는 경우가 많다. 우리는 국소화 충실성(localization faithfulness)—탐지기의 최상위 순위 오류 단위가 실제로 오류 구간과 겹치는지 여부—에 대한 벤치마크 및 지표인 MedHal-Loc를 제안한다. 통제된 하위집합은 네 가지 국소화 가능 유형(개체 치환, 관계 오류, 기전 오귀속, 날조)에 걸쳐 단일 span 수준의 오류가 주입된 PubMedQA 유래 300개 진술로 구성되며, 구조적으로 gold span을 생성한다. 보완적인 자연 하위집합은 실제 환각이 span 국소화에 저항하는 확산적인 결론 뒤집기(conclusion-flip)에 지배됨을 보여준다(인간 전문가가 18개 후보 span 중 1개만 수용). 네 가지 세분화된 패러다임을 평가한 결과, 절별 NLI, 문장별 일관성, 그리고 전용 span 탐지기 FAVA는 모두 우연 수준을 훨씬 상회하는 국소화 성능을 보이는 반면, 정교한 KG-삼원조 파이프라인은 우연 수준과 통계적으로 유의미한 차이가 없을 정도(+3.3pp, n.s.)로만 국소화하며, 이는 경쟁력 있는 탐지 F1(0.609)에도 불구하고 ~59%의 개체 추출(entity-extraction) 커버리지에 병목을 받는다. 탐지 역량이 충실한 국소화를 의미하지는 않는다. 아키텍처적 설명가능성은 가정되어서는 안 되며 검증되어야 한다.

arXiv:2606.21305v1cs.SD

LISE: 청취 검증 가능한 해석 가능 화자 임베딩

LISE : Listenable Interpretable Speaker Embeddings

자동 화자 검증(ASV) 임베딩의 불투명성을 줄이기 위해 LISE(Listenable Interpretable Speaker Embeddings)는 사전학습 화자 임베딩을 소수의 직교·비음수 구성 요소로 분해하는 라벨 없는(label-free) 프레임워크를 제안한다. x-vector·ECAPA-TDNN에서 EER 저하를 거의 없이 유지하며, 청취 실험에서 참가자가 구성 요소에 따라 화자를 83.9% 정확도로 구별해 인간 청취 기반 해석 가능성을 입증했다.

arXiv:2606.21123v1cs.CL

고위험 추론을 위한 다중 에이전트 감사 프레임워크: 임상 정신건강 스크리닝에서의 평가와 해석 가능성

A Multi-Agent Audit Framework for High-Stakes Reasoning: Evaluation and Interpretability in Clinical Mental Health Screening

고위험 추론 작업은 투명하고 검증 가능한 워크플로를 필요로 하지만, 기존의 단일 모델 대규모 언어 모델(LLM)은 제로샷(zero-shot) 패러다임에서 환각(hallucination)과 낮은 해석 가능성 문제에 자주 어려움을 겪는다. 이러한 일반적인 AI 과제를 해결하기 위해, 협력적이고 다단계인 검증 과정을 시뮬레이션하는 다중 에이전트 감사 프레임워크를 제안한다. 이 아키텍처를 모듈형 LangChain 워크플로를 사용하여 민감한 임상 정신건강 스크리닝 영역에서 실증적으로 검증한다. 우리 프레임워크는 추론 과정을 Perception Agent, 지식 검색-증강 생성(RAG), 사고의 연쇄(Chain-of-Thought, CoT) 임상 추론, 그리고 핵심적인 Audit 검증 단계로 분해한다. 로컬에 배포한 오픈소스 모델을 사용하여 DAIC-WOZ 데이터셋에서 이 프레임워크를 평가했다. 실험 결과, 우리의 다중 에이전트 파이프라인이 단일 에이전트 베이스라인을 유의미하게 능가하며, PHQ-8 우울증 중증도 예측의 평균 절대 오차(MAE)를 5.35에서 5.02로 줄였음을 보여준다. 에이전트 간 검증 추적을 노출함으로써, 프레임워크는 추론 이탈(reasoning drift)을 완화하고 높은 해석 가능성을 갖는 진단 근거를 제공하며, 단독적인 모델 스케일링을 넘어 신뢰할 수 있는 AI 보조 의사결정 지원을 위한 일반화 가능한 패러다임을 제시한다. 재현성을 위해 데이터와 코드를 GitHub에 공개한다.

arXiv:2606.21078v1cs.CL

대규모 언어 모델의 자살성 탐지에 대한 검증 게이트 기계론적 설명

A Validation-Gated Mechanistic Account of Suicidality Detection in LLMs

대규모 언어 모델(LLM)은 자살 관련 콘텐츠 탐지와 같은 정신건강 응용 분야에 점점 더 많이 제안되고 있으며, 이는 그들이 무엇에 의존하는지라는 질문을 제기한다. 우리는 이를 기계론적으로 연구하고, 더 좁은 질문—모델의 내부 특징에 대한 인과적 주장을 어떻게 더 신뢰할 수 있게 만들 수 있는가—을 묻는 데 이를 사용한다. 우리의 검증 게이트 프레임워크는 자살성 탐지를 사례 연구로 삼아, 모델이 해당 행동을 수행함이 입증된 이후에만 행동을 해석한다: 개념은 모델이 이를 단순한 어휘 기준선보다 높게 순위 매기는 경우에만 채택되며, 이후 각 속성은 짝을 맞춘 대조군에 대해 검증된다. 이 엄격한 절차는 긍정적 결과뿐만 아니라 부정적 결과도 산출한다. 게이트는 처음부터 한 가지 과제를 배제한다: DeepSuiMind(Li et al. 2025)에서 Llama-3.1-8B-Instruct는 암시적 자살 의도와 일반적 고통을 구분할 수 없으므로, 우리는 이를 분석하지 않는다. 우리는 모델이 실제로 수행하는 이진 자살 탐지로 전환한다. 거기서 우리는 키워드 기반이 아니라 의미론적으로 보이는, 결정에 인과적으로 관여하는(이를 제거(ablation)하면 판단이 저하되고, 무작위 방향은 그렇지 않음), 저랭크(low-rank)이며, 세 가지 모델 계열과 세 가지 자살 데이터셋에서 반복되는 중간 네트워크 특징을 발견한다. 레지스터 매칭 대조군(자살 대 우울증)은 이 특징이 일반적 고통보다 자살성을 더 구체적으로 추적함을 시사한다. 스티어링(steering)은 모델의 반응을 높이지만 관련 없는 질문에서도 마찬가지이므로, 우리는 이를 필요 조건이지만 충분 조건은 아닌 것으로 본다. 가장 분명한 패턴은 인코딩(encoding)과 사용(use)을 구분한다: 더 작은 모델은 이미 자살성을 표현하지만, 더 큰 모델만이 이에 따라 행동하는 것으로 보인다. 긍정적 증거는 영어 Reddit 텍스트에 기반하며, 이는 임상적 해석을 제한한다.

arXiv:2606.22858v1cs.LG

보이지 않는 손: 목표 지향적 식별 재연결 공격으로 모델 공정성과 SHAP 조작

The Unseen Hand: Manipulating Model Fairness and SHAP with Targeted Identity Re-Association Attacks

머신러닝 모델이 더욱 영향력 있고 불투명해지면서, 알고리즘 공정성과 설명 가능성은 책임성을 보장하는 데 핵심적이다. 하지만 우리는 이러한 감사 메커니즘이 그 자체로 미묘한 조작에 취약하여 보호 특징의 영향을 위장할 수 있음을 보여준다. 데이터에 구애받지 않는(data-agnostic) 공격에 대한 기존 연구가 이 취약점을 드러냈지만, 그들은 탐지 가능한 흔적을 남겨 은밀성을 손상시킨다. 우리는 목표 지향적 식별 재연결(Targeted Identity Re-Association, TIRA) 공격을 소개한다. 이는 모델의 내부 구조나 특징 표현에 대한 접근이 필요 없이 반복적이고 확률적으로 모델의 출력을 조작하는 새로운 공격군이다. 우리는 두 알고리즘을 공식화한다: 국소적 인접 교환을 적용하는 확률적 마이크로 셔플링(Probabilistic Micro-Shuffling, PMiS), 그리고 작고 무작위적인 순위 이동을 도입하는 확률적 순위 이동 마이크로 섭동(Probabilistic Rank-Shift Micro-Perturbation, PRSMP). 우리는 TIRA 공격이 공정성 지표를 이상적인 값으로 밀어올리는 데 매우 효과적임을 실험적으로 보여준다. 중요하게도, TIRA 공격은 SHAP 기반 설명을 성공적으로 교란하여 보호 특징에 대해 사실상 잔여 귀속이 없게 만들며, 이는 기존 연구 대비 큰 개선이다.