arXiv:2011.12344

Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning

Luiz F. O. Chamon, Santiago Paternain, Alejandro Ribeiro

제출 2020-11-24

원문 초록

Prediction credibility measures, in the form of confidence intervals or probability distributions, are fundamental in statistics and machine learning to characterize model robustness, detect out-of-distribution samples (outliers), and protect against adversarial attacks. To be effective, these measures should (i) account for the wide variety of models used in practice, (ii) be computable for trained models or at least avoid modifying established training procedures, (iii) forgo the use of data, which can expose them to the same robustness issues and attacks as the underlying model, and (iv) be followed by theoretical guarantees. These principles underly the framework developed in this work, which expresses the credibility as a risk-fit trade-off, i.e., a compromise between how much can fit be improved by perturbing the model input and the magnitude of this perturbation (risk). Using a constrained optimization formulation and duality theory, we analyze this compromise and show that this balance can be determined counterfactually, without having to test multiple perturbations. This results in an unsupervised, a posteriori method of assigning prediction credibility for any (possibly non-convex) differentiable model, from RKHS-based solutions to any architecture of (feedforward, convolutional, graph) neural network. Its use is illustrated in data filtering and defense against adversarial attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13724v1cs.LG공통 태그 counterfactual, Graph Neural Network

그래프 신경망을 활용한 상각 반사실적 예측

Amortized Counterfactual Prediction with Graph Neural Networks

반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.

arXiv:2607.21381v1cs.AI공통 태그 counterfactual, Graph Neural Network

그래뉼러 볼을 통한 시너지적 엣지 효과 기반의 충실한 그래프 설명

Towards Faithful Graph Explanations with Synergistic Edge Effects via Granular Balls

인스턴스 수준(instance-level) 설명은 특정 그래프에 대한 모델의 결정 이면에 있는 근거를 드러내는 것을 목표로 한다. 기존 방법들은 중요한 엣지를 선택하여 부분 그래프(subgraph)를 유도함으로써 그래프 신경망(GNN)을 설명하며, 엣지 중요도는 각 엣지를 교란(perturb)하고 모델 예측의 변화를 관찰하여 평가한다. 그러나 이들은 엣지 중요도를 정확히 특성화하는 데 핵심적인 엣지 간 시너지 효과를 종종 간과한다. 이 문제를 해결하기 위해, 우리는 GNN을 해석하기 위한 매개변수 없는 설명기 SeeExplainer를 제안한다. 구체적으로, 우리는 먼저 그래프를 크기가 고정되지 않은 여러 개의 서로 분리된(disjoint) 그래뉼러 볼(granular-ball)로 분해하고 이를 노드로 활용하여 구조 그래프(structural graph)를 구성하는 그래뉼러 볼 그래프 정제 메커니즘을 도입한다. 이 과정은 엣지 간 시너지 효과를 더 잘 포착할 수 있다. 그다음, 구조 그래프에서 노드와 엣지를 교란하여 각각의 기여도에 기반한 설명용 부분 그래프를 생성한다. 서로 다른 네트워크의 여러 그래프 분류 데이터셋에 대한 실험에서 SeeExplainer가 최신(state-of-the-art) 기준선들을 능가함을 보인다.

arXiv:2607.14416v1cs.AI공통 태그 counterfactual, Graph Neural Network

CausalGraphX: 설명 가능한 시스템적 리스크 평가를 위한 반사실적 그래프 신경망 프레임워크

CausalGraphX: A Counterfactual Graph Neural Network Framework for Explainable Systemic Risk Assessment

글로벌 금융 시스템의 상호연결성은 소수 기관의 실패가 치명적인 연쇄 디폴트를 촉발할 수 있는 시스템적 리스크에 취약하게 만든다. 전통적인 리스크 모델은 이러한 네트워크의 복잡한 비선형 역학을 포착하지 못하는 경우가 많다. 그래프 신경망(GNN)은 관계형 데이터 모델링에서 유망함을 보여 왔지만, 주로 상관적 패턴을 학습하고 블랙박스로 작동하여 충격 전파의 인과적 메커니즘에 대한 통찰을 거의 제공하지 못한다. 이 한계는 스트레스 테스트를 수행하고 효과적인 개입 방안을 마련하기 위해 설명 가능한 모델을 요구하는 규제 기관에게 중요하다. 우리는 GNN과 반사실적 추론을 통합하여 시스템적 리스크에 대한 설명 가능한 평가를 제공하는 새로운 프레임워크인 CausalGraphX를 제안한다. CausalGraphX는 그래프 어텐션 메커니즘을 사용하여 기관 취약성의 표현을 학습하고, 이러한 표현이 허위 상관관계가 아닌 인과적 요인을 포착하도록 적대적 정규화 기법을 사용한다. 또한 우리는 반사실적 설명을 생성하기 위한 최적화 기반 접근법을 제안하여, "특정 스트레스 시나리오에서 Bank A의 디폴트를 막기 위해 필요한 최소 자본 주입은 얼마였을까?"와 같은 질문에 답한다. 우리는 대규모 합성 금융 네트워크에서 CausalGraphX를 검증한다. 결과는 CausalGraphX가 희소하고 타당하며 실행 가능한 반사실적 설명을 제공하는 동시에 연쇄 디폴트 예측에서 전통적 및 심층 학습 베이스라인을 크게 능가함을 보여준다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2609.25722v3cs.LG공통 태그 Graph Neural Network

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

arXiv:2609.27710v3cs.CV공통 태그 Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.