arXiv:2304.12425

TIGTEC : Token Importance Guided TExt Counterfactuals

Milan Bhan, Jean-Noel Vittaut, Nicolas Chesneau, Marie-Jeanne Lesot

제출 2023-04-24

원문 초록

Counterfactual examples explain a prediction by highlighting changes of instance that flip the outcome of a classifier. This paper proposes TIGTEC, an efficient and modular method for generating sparse, plausible and diverse counterfactual explanations for textual data. TIGTEC is a text editing heuristic that targets and modifies words with high contribution using local feature importance. A new attention-based local feature importance is proposed. Counterfactual candidates are generated and assessed with a cost function integrating semantic distance, while the solution space is efficiently explored in a beam search fashion. The conducted experiments show the relevance of TIGTEC in terms of success rate, sparsity, diversity and plausibility. This method can be used in both model-specific or model-agnostic way, which makes it very convenient for generating counterfactual explanations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20500v1cs.AI공통 태그 Diversity, counterfactual

FlowEdit: 갈등을 수반하는 부적정 문제에서 LLM 추론 흐름의 정보 이론적 제어

FlowEdit: Information-Theoretic Control of LLM Reasoning Flows for Ill-posed Problems Involving Conflicts

대규모 언어 모델(LLM)은 실행 가능한 답이 있는 명확히 정의된 추론 과제에서 강한 성능을 보인다. 그러나 개방 세계에서 마주하는 문제는 일관되지 않은 조건, 상충하는 진술, 또는 상호 배타적인 요구로 인해 부적정해질 수 있으며, 유효한 응답을 허용하지 않는다. 우리는 갈등을 수반하는 이러한 부적정 문제에 대한 추론이 숨겨진 갈등을 명시화하고, 다중 추론 분기를 통해 경쟁 가설을 유지하며, 단일 패스로 대안적 응답을 생성하는 새로운 LLM 역량을 요구한다고 주장한다. 이 모든 것은 LLM의 다음 토큰 예측 메커니즘의 한계로 인해 도전적이다. 이를 위해 우리는 정보 이론적 원리를 활용하여 LLM의 내부 추론 흐름을 정량화하고 조절함으로써 유효한 가설 하에서 대안적 응답의 전체 집합을 생성하는 새로운 프레임워크인 FlowEdit을 제안한다. FlowEdit은 모델의 내부 추론 표현에 두 가지 이중 정보 이론적 목표를 적용하여 분기 인식(branch-aware) 추론 과정을 강제하는 것으로 볼 수 있다. 각 선택된 가설에서 분기 결과로의 정보 흐름을 최대화하는 동시에 형제 분기 간 겹침과 조건부 의존성을 최소화하여, 넓은 범위를 아우르는 다양하고 정보가 풍부한 응답 집합을 제공한다. 우리는 경계 임베딩(boundary embeddings)이 ε-충분(ε-sufficient)일 때 계산 가능한 변분 하한(variational bounds)을 통해 이를 달성하며, LLM 추론 과정의 기저 조건부 상호정보(conditional mutual information)를 최적화함을 보인다. 광범위한 실험은 FlowEdit이 선도적인 독점 모델을 능가하며 exact-set-match 정확도를 68% 향상시키고 전체 응답의 정보성을 24% 높인다는 것을 보여준다. 또한 흐름 조절이 토큰 스트림에서 다음 토큰 엔트로피의 재분배로 나타나며, 각 분기 내부에 집중되고, 흐름 경계에서 증폭되며, 문제가 요구하는 흐름 수에 따라 스케일링됨을 추가로 보인다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2606.32038v2cs.CL공통 태그 counterfactual

내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습

Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision

언어 모델(LM)이 자신의 예측에 대한 설명을 생성하도록 학습시키면 언제 피상적 모방이 아닌 충실한 내성(introspection)이 나타나는가? 우리는 입력의 어떤 특징이 자신의 행동에 영향을 미쳤는지 설명하도록 학습된 LM을 연구하며, 수정된 입력에 대한 모델의 반사실적 행동을 지도 신호로 사용한다. 놀랍게도, 자신의 이전 체크포인트에서 도출된 고정된 반사실적 설명, 또는 심지어 다른 계열의 행동이 유사한 모델에서 도출된 설명으로 학습된 LM이 학습 대상의 행동보다 자신의 현재 행동에 더 충실한 설명을 자주 생성함을 발견했다. LM 설명과 행동 간의 이러한 "내성적" 결합은 행동 자체가 변하더라도 학습 설명이 학습 과정 내내 현재 행동과 충분히 상관되어 있을 때 나타난다. 또한 내성적 결합이 행동 변화를 따라간다는 점도 보인다. 설명 학습이 다른 사후 학습 목표와 동시에 제공되면, 갱신된 지도 없이도 설명이 그에 맞게 변한다. 이 현상은 아첨(sycophancy)과 거부를 포함한 여러 과제에서 나타나며 레이블 잡음에도 견고하다. 전반적으로 우리의 결과는 고정된 반사실적 설명 데이터셋조차도 내성을 위한 확장 가능하고 일반화 가능한 사후 학습 신호를 제공할 수 있음을 보여 준다.

arXiv:2607.22305v2cs.AI공통 태그 Diversity

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2610.02480v2cs.AI공통 태그 counterfactual

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

arXiv:2607.14962v3cs.LG공통 태그 Diversity

텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

텍스트-이미지(T2I) 모델은 사실적이고 프롬프트에 부합하는 이미지를 생성하지만, 동일한 프롬프트에 대한 샘플은 시각적으로 구별되는 소수의 모드만을 포괄하는 경우가 많다. 인물 중심 프롬프트에서는 이러한 다양성 부족이 인구통계학적 편향을 반영하거나 증폭할 수 있다. 본 논문은 대표적 다양성을 목표 모드 포괄도, 즉 샘플 집합이 색상이나 인지된 인종 범주와 같은 사전 정의된 모드를 얼마나 잘 포괄하는가로 정식화한다. 이어서 다축 max@K 목적함수를 최적화하여 확산 T2I 모델의 포괄도를 개선하는 강화학습 후학습 방법인 MultiMaxPO를 제안한다. 각 샘플에 모드별 점수가 하나씩 주어졌을 때, 다축 max@K는 각 모드에 대해 샘플 전체의 최댓값을 취한 뒤 이 최댓값들을 합산한다. 따라서 샘플은 해당 모드의 최댓값을 높일 때만 그 모드에 대한 보상을 받으므로, 서로 다른 샘플이 서로 다른 모드에 대해 보상받는다. 이러한 보상 할당을 합성 가우시안 혼합과, 픽셀 기반 색상 보상을 사용한 Stable Diffusion 3.5 Medium에서 검증한 뒤, 인지된 외형 공정성에 적용한다. 보류된 프롬프트와 세 가지 자동 평가기에서 MultiMaxPO는 기본 모델 대비 공정성 점수를 Stable Diffusion 3.5 Medium에서 0.22–0.36, FLUX.1-dev에서 0.07–0.19만큼 향상시키고, 동일 조건의 강화학습 기준선을 능가하며, 이미지 품질과 텍스트 정렬을 유지한다. 코드는 https://github.com/KuOnoda/multi-axis-maxk 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.