Tsetlin 머신을 활용한 타겟 신뢰도 구제: TRUST
Target-confidence Recourse Using tSeTlin machines: TRUST
한국어 초록
반사실적 설명(counterfactual explanations)은 고위험 의사결정 시스템에서 알고리즘 구제(algorithmic recourse)를 제공하기 위해 널리 사용됩니다. 기존 대부분의 방법은 모델의 결정을 뒤집는 입력의 최소 변경을 찾습니다. 그러나 의사결정자는 종종 예측 레이블뿐만 아니라 신뢰도 임계값과 위험 마진에도 의존합니다. 결정 경계를 겨우 넘는 반사실적 사례(counterfactuals)는 노이즈나 모델 변동 하에서 취약하고 불안정할 수 있습니다. 본 논문에서는 사용자가 구제를 위해 원하는 예측 신뢰도를 명시적으로 지정할 수 있는 프레임워크인 Tsetlin 머신을 활용한 타겟 신뢰도 구제(TRUST)를 제안합니다. TRUST는 반사실적 사례를 생성한 후 신뢰도를 평가하는 대신, 사용자 정의 신뢰도 목표를 충족하는 최소 변경을 직접 검색하여 비용, 신뢰도 및 견고성 측면에서 구제 옵션을 비교할 수 있게 합니다. 우리는 베이지안 최적화와 결합된 확률적 Tsetlin 머신(PTM)을 사용하여 TRUST를 구현합니다. PTM의 확률적 절(clause) 기반 구조는 예측 신뢰도를 결정 규칙의 안정성과 연결합니다. 동일한 규칙을 충족하는 반사실적 사례라도 해당 규칙을 얼마나 확실하게 충족하는지에 따라 신뢰성에 큰 차이가 있을 수 있음을 보여주며, 이는 결정이 견고한 절 활성화에 의해 지지되는지 아니면 취약한 절 활성화에 의해 지지되는지를 나타냅니다. 합성 및 실제 데이터셋에 대한 실험을 통해 타겟 신뢰도 반사실적 사례가 기존 경계 기반 접근 방식보다 더 견고하고 해석 가능한 구제를 생성함을 입증합니다. 여러 벤치마크에서 TRUST는 낮은 구제 비용을 유지하면서 완벽한 견고성을 달성했으며, 여기에는 0.92 신뢰도에서 Haberman 데이터셋에 대한 0.10의 L2 거리가 포함됩니다. TRUST는 신뢰도를 명시적으로 제어하고 규칙 수준의 안정성을 노출함으로써 고위험 의사결정 지원을 위한 실행 가능한 구제를 제공합니다.
원문 초록
Counterfactual explanations are widely used to provide algorithmic recourse in high-stakes decision-making systems. Most existing methods seek the smallest change to an input that flips a model's decision. However, decision-makers often rely not only on predicted labels but also on confidence thresholds and risk margins. Counterfactuals that barely cross a decision boundary can be fragile and unstable under noise or model variation. In this paper, we propose Target-confidence Recourse Using tSeTlin machines (TRUST), a framework in which users explicitly specify the desired prediction confidence for recourse. Rather than generating counterfactuals and evaluating confidence afterward, TRUST directly searches for minimal changes that satisfy a user-defined confidence target, enabling comparison of recourse options in terms of cost, confidence, and robustness. We instantiate TRUST using a Probabilistic Tsetlin Machine (PTM) combined with Bayesian optimization. The probabilistic clause-based structure of PTM links prediction confidence to the stability of decision rules. We show that counterfactuals satisfying the same rules can still differ substantially in reliability depending on how securely they satisfy those rules, revealing whether decisions are supported by robust or fragile clause activations. Experiments on synthetic and real-world datasets demonstrate that target-confidence counterfactuals produce more robust and interpretable recourse than conventional boundary-based approaches. Across multiple benchmarks, TRUST achieves perfect robustness while maintaining low recourse cost, including an L2 distance of 0.10 on the Haberman dataset at 0.92 confidence. By explicitly controlling confidence and exposing rule-level stability, TRUST provides actionable recourse for high-stakes decision support.
요약
결정 경계를 겨우 넘는 반사실적 설명(counterfactual explanations)은 노이즈나 모델 변동에 취약하므로, TRUST는 사용자가 지정한 목표 예측 신뢰도를 만족하는 최소 입력 변경을 직접 탐색하는 타겟 신뢰도 알고리즘 구제(algorithmic recourse) 프레임워크를 제안한다. 확률적 Tsetlin 머신(PTM)과 베이지안 최적화(Bayesian optimization)로 구현해 절(clause) 수준 안정성을 드러내며, 합성·실제 데이터셋에서 기존 경계 기반 방법보다 더 견고하고 해석 가능한 구제를 낮은 비용으로 달성한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18832v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RSI-Anything: 월드 모델(World Model)을 통한 재귀적 자기개선의 실현
RSI-Anything: Unlocking Recursive Self-Improvement with World Models
재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.
원샷 리소스의 부호 기하학: 경로 상 타당성과 부호 곡률 기준
The Signed Geometry of One-Shot Recourse: On-Path Validity and the Signed-Curvature Criterion
닫힌 형식(closed-form)의 리소스(recourse)는 거절된 사용자를 분류기 점수 $f$의 단위 그래디언트 $\hat g$를 따라 선형화된 점수가 0에 도달하는 약속된 거리 $d_p=|f(x)|/\|\nabla f(x)\|$만큼 이동시킵니다. 본 논문에서는 이러한 원샷(one-shot) 단계가 언제 성공하는지, 그리고 추가적인 모델 쿼리가 무엇을 변화시키는지 묻습니다. 주요 차수(leading order)에서 이 단계는 경로 곡률 $κ=\hat g^\top\nabla^2 f(x)\,\hat g$가 음이 아닐 때 정확히 유리한 측면에서 끝납니다. 80개의 얕은 모델에 걸쳐, 단계가 해당 위치에서 끝나는 거절된 사용자의 비율과 $κ\ge0$인 비율은 $r=0.985$로 상관관계를 보이지만, Fashion-MNIST에서는 전자가 후자보다 평균 8.2포인트 낮게 나타납니다. 점수 값과 그래디언트만을 사용하는 규칙은 경로 곡률이 $K$로 제한된 모든 점수에 대해 일부를 $Kd_p^2/\|\nabla f(x)\|$ 차수만큼 오버슈트(overshoot)하지 않고서는 유효할 수 없습니다. 곡률이 립시츠(Lipschitz) 연속이고 스텝이 짧은 경우, 약속된 지점에서 $f$를 한 번 평가하는 것은 곡률 경계와 그 립시츠 상수를 아는 결정론적 단일 쿼리 규칙 중에서 미니맥스(minimax) 속도를 달성하며, 분할 정합 보정(split-conformal calibration)은 이러한 규칙이 최소 $1-δ$의 확률로 첫 번째 교차에 도달하거나 기권하도록 만듭니다. 비대칭 곡률 페널티를 적용한 학습은 언더슈트가 발생하기 쉬운 얕은 데이터에서 경로의 99-100%가 약속된 스텝 내에서 교차하도록 허용하지만, 대칭 페널티에 비해 약 4-22배의 오버슈트가 발생합니다(Fashion-MNIST, COMPAS). $κ$와 $d_p$는 점수가 어떻게 스케일링되는지에 따라 달라지므로 이러한 이득의 일부는 더 긴 약속된 스텝일 수 있으며, 일치된 타당성에서 짧게 학습된 모델을 대상으로 한 더 작은 감사에서는 튜닝된 인플레이션 대비 균일한 이점을 찾지 못했습니다. 광선을 따라 사용자별 라인 탐색을 감당할 수 있는 경우, 이는 그리드 해상도에 대해 정확하며 더 선호됩니다.
합성 연구 검증에서의 중대한 행동과 표상적 공정성
Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.
복잡계 알고리즘 설계를 위한 환경으로서의 네트워크 월드 모델
Network World Models as Environments for Algorithm Design on Complex Systems
환경(environment)을 시뮬레이션하고 행동에 따라 환경이 어떻게 변화하는지 예측하는 월드 모델(world model)은 로보틱스와 같은 현실 세계 응용 분야에서 점점 더 많이 활용되고 있습니다. 복잡계 또한 행동의 효과가 즉각적으로 나타나지 않기 때문에 동일한 도구를 필요로 합니다. 캠페인을 위해 시드 노드를 설정하거나 전염병에 대비해 노드를 면역화하는 것은 그 자체만으로는 거의 변화를 일으키지 않으며, 중요한 것은 이후 단계들에 걸쳐 펼쳐지는 결과입니다. 특정 태스크에서 기대 성능을 극대화하도록 이러한 행동을 선택하는 알고리즘을 설계하는 것은 본질적으로 반복적인 과정이며, 모든 후보 알고리즘은 자신이 도출하는 결과에 따라 점수가 매겨져야 합니다. 이러한 결과를 얻는 작업은 시뮬레이션에 의존해 왔으나, 다수의 샘플링된 궤적(trajectory)에 걸쳐 후보들을 평가할 때 그 비용이 병목 현상을 유발합니다. 본 논문에서는 시간에 따른 개입 하에서 네트워크의 확산 역학을 학습하고, 각 행동을 네트워크에 적용하며, 그에 따른 결과를 예측하는 행동 조건부 네트워크 월드 모델을 제안합니다. 이 모델은 코딩 에이전트(agent)가 전체 롤아웃(rollout) 피드백, 행동 수준의 기여도(credit), 대안적 개입에 대한 반사실적 탐침(counterfactual probe)을 활용하여 실행 가능한 알고리즘을 설계하고 개선하는 알고리즘 설계 루프 내에서 고속 평가기 역할을 수행합니다. 8개의 네트워크 태스크와 5개의 확산 모델에 걸쳐, 설계된 알고리즘은 141개 설정 중 138개에서 보고된 가장 강력한 기준선(baseline)과 대등하거나 이를 능가하는 동시에 몬테카를로(Monte Carlo) 시뮬레이션 대비 최대 14.5배 빠른 롤아웃을 가능하게 합니다. 코드는 논문 채택 시 공개될 예정입니다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
같은 결과, 다른 판독: LLM에서 스티어링 가능한 valence 방향은 무엇을 표상하는가?
Same Outcome, Different Readout: What Does a Steerable Valence Direction in LLMs Represent?
해독 가능성(decodability)과 성공적인 활성화 스티어링(activation steering)만으로는 내부 방향이 무엇을 표상하는지 밝혀지지 않는다. 이 공백은 특히 복지(welfare) 관련 해석에서 중요한데, 제안된 기능적 상태를 추출 대비(extraction contrast)와 상관된 특징과 구분해야 하기 때문이다. 우리는 미로 과제에서 좋음-나쁨 결과 방향에 대해 이 질문을 다루며, 실현된 결과와 그 결과가 알려지게 된 정보 이력(informational history)을 분리하는 통제 개입을 사용한다. 여러 LLM 체크포인트에 걸쳐, 한 explicit outcome encoding에 적합화된 방향은 다른 encoding으로 잘 전이되어, readout이 표면 형식(surface form)에 묶여 있지 않음을 보여 준다. 대조적으로, 동일한 실현 결과가 사전 공지(announced) 이력과 비공지(unannounced) 이력을 통해 도달하면 전이는 크게 약해진다. 두 이력 모두 동일한 explicit outcome을 받은 뒤에도 사건 이후 readout은 앞선 공지 여부에 강하게 조건화된 채 남는다. 짝을 맞춘 미로-RL 실행에서 RL 이후 방향은 reference-MDP 잔여 return을 예측하는 데 훨씬 더 predictive해지고, 정책은 시험 지점에서 이 방향에 더 의존하게 되나, 이러한 이력 의존성은 유지된다. 이 결과는 해당 방향에 대한 기능적·가치 관련 해석은 뒷받침하지만, 이력 불변(history-invariant) 스칼라 valence 상태와의 동일시는 뒷받침하지 않는다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.