Model-Free Counterfactual Subset Selection at Scale
원문 초록
Ensuring transparency in AI decision-making requires interpretable explanations, particularly at the instance level. Counterfactual explanations are a powerful tool for this purpose, but existing techniques frequently depend on synthetic examples, introducing biases from unrealistic assumptions, flawed models, or skewed data. Many methods also assume full dataset availability, an impractical constraint in real-time environments where data flows continuously. In contrast, streaming explanations offer adaptive, real-time insights without requiring persistent storage of the entire dataset. This work introduces a scalable, model-free approach to selecting diverse and relevant counterfactual examples directly from observed data. Our algorithm operates efficiently in streaming settings, maintaining $O(\log k)$ update complexity per item while ensuring high-quality counterfactual selection. Empirical evaluations on both real-world and synthetic datasets demonstrate superior performance over baseline methods, with robust behavior even under adversarial conditions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
합성 연구 검증에서의 중대한 행동과 표상적 공정성
Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.
복잡계 알고리즘 설계를 위한 환경으로서의 네트워크 월드 모델
Network World Models as Environments for Algorithm Design on Complex Systems
환경(environment)을 시뮬레이션하고 행동에 따라 환경이 어떻게 변화하는지 예측하는 월드 모델(world model)은 로보틱스와 같은 현실 세계 응용 분야에서 점점 더 많이 활용되고 있습니다. 복잡계 또한 행동의 효과가 즉각적으로 나타나지 않기 때문에 동일한 도구를 필요로 합니다. 캠페인을 위해 시드 노드를 설정하거나 전염병에 대비해 노드를 면역화하는 것은 그 자체만으로는 거의 변화를 일으키지 않으며, 중요한 것은 이후 단계들에 걸쳐 펼쳐지는 결과입니다. 특정 태스크에서 기대 성능을 극대화하도록 이러한 행동을 선택하는 알고리즘을 설계하는 것은 본질적으로 반복적인 과정이며, 모든 후보 알고리즘은 자신이 도출하는 결과에 따라 점수가 매겨져야 합니다. 이러한 결과를 얻는 작업은 시뮬레이션에 의존해 왔으나, 다수의 샘플링된 궤적(trajectory)에 걸쳐 후보들을 평가할 때 그 비용이 병목 현상을 유발합니다. 본 논문에서는 시간에 따른 개입 하에서 네트워크의 확산 역학을 학습하고, 각 행동을 네트워크에 적용하며, 그에 따른 결과를 예측하는 행동 조건부 네트워크 월드 모델을 제안합니다. 이 모델은 코딩 에이전트(agent)가 전체 롤아웃(rollout) 피드백, 행동 수준의 기여도(credit), 대안적 개입에 대한 반사실적 탐침(counterfactual probe)을 활용하여 실행 가능한 알고리즘을 설계하고 개선하는 알고리즘 설계 루프 내에서 고속 평가기 역할을 수행합니다. 8개의 네트워크 태스크와 5개의 확산 모델에 걸쳐, 설계된 알고리즘은 141개 설정 중 138개에서 보고된 가장 강력한 기준선(baseline)과 대등하거나 이를 능가하는 동시에 몬테카를로(Monte Carlo) 시뮬레이션 대비 최대 14.5배 빠른 롤아웃을 가능하게 합니다. 코드는 논문 채택 시 공개될 예정입니다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
같은 결과, 다른 판독: LLM에서 스티어링 가능한 valence 방향은 무엇을 표상하는가?
Same Outcome, Different Readout: What Does a Steerable Valence Direction in LLMs Represent?
해독 가능성(decodability)과 성공적인 활성화 스티어링(activation steering)만으로는 내부 방향이 무엇을 표상하는지 밝혀지지 않는다. 이 공백은 특히 복지(welfare) 관련 해석에서 중요한데, 제안된 기능적 상태를 추출 대비(extraction contrast)와 상관된 특징과 구분해야 하기 때문이다. 우리는 미로 과제에서 좋음-나쁨 결과 방향에 대해 이 질문을 다루며, 실현된 결과와 그 결과가 알려지게 된 정보 이력(informational history)을 분리하는 통제 개입을 사용한다. 여러 LLM 체크포인트에 걸쳐, 한 explicit outcome encoding에 적합화된 방향은 다른 encoding으로 잘 전이되어, readout이 표면 형식(surface form)에 묶여 있지 않음을 보여 준다. 대조적으로, 동일한 실현 결과가 사전 공지(announced) 이력과 비공지(unannounced) 이력을 통해 도달하면 전이는 크게 약해진다. 두 이력 모두 동일한 explicit outcome을 받은 뒤에도 사건 이후 readout은 앞선 공지 여부에 강하게 조건화된 채 남는다. 짝을 맞춘 미로-RL 실행에서 RL 이후 방향은 reference-MDP 잔여 return을 예측하는 데 훨씬 더 predictive해지고, 정책은 시험 지점에서 이 방향에 더 의존하게 되나, 이러한 이력 의존성은 유지된다. 이 결과는 해당 방향에 대한 기능적·가치 관련 해석은 뒷받침하지만, 이력 불변(history-invariant) 스칼라 valence 상태와의 동일시는 뒷받침하지 않는다.
DRSR: 효율적인 장기 지평 에이전트를 위한 집합 수준 삭제 위험 학습
DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents
장기 지평 언어 모델 에이전트는 추론 추적, 도구 교환, 관측을 축적하며, 이들의 관련성은 현재 의사결정에 따라 달라진다. 기존 압축 전략은 종종 과거 단위를 독립적으로 점수화하지만, 여러 단위를 삭제하는 것의 안전성은 일반적으로 각 단위의 개별 점수만으로 결정되지 않는다. 중복 증거, 누적된 미세 효과, 삭제 후 남는 정보가 모두 중요하다. 우리는 에이전트 이력 압축을 삭제 집합에 대한 위험 제약 선택 문제로 공식화하는 Direct Relational Set-Risk Pruning(DRSR)을 제안한다. 오프라인에서 DRSR은 프로토콜상 유효한 이력 Block을 공동으로 삭제하고, 동일하게 기록된 다음 출력에 대한 teacher-forced 가능도 변화를 측정하여 정확한 반사실(counterfactual) supervision을 구성한다. 경량 scorer는 후보 이력과 현재 행동 전(pre-action) 상태 사이의 온라인에서 관측 가능한 관계, 삭제-유지 및 pairwise 집합 구조와 함께 집합 수준 해로함을 예측한다. 배포 시 DRSR은 경량 scorer로 구조적으로 유효한 소수의 삭제 후보를 평가하고, 최근성, 프로토콜, 예산, 학습된 위험 제약 하에서 제거 가능한 최대 집합을 제거하며, 충분히 안전한 집합이 없으면 삭제를 보류(abstention)한다. WorkBuddyBench Full260에서 DRSR은 평균 보상을 0.699에서 0.802로 높이는 동시에 총 모델 토큰을 20.820% 줄인다. 고정된 Eval40 비교에서, 압축하지 않은 에이전트 대비 35.850% 적은 토큰을 사용하며 작업당 1.211M 토큰에서 0.794 보상을 달성한다. 기전 분석과 ablation은 또한 의사결정 조건부 관계, 유지된 컨텍스트 정보, 쌍 상호작용, 보류(abstention)가 각각 신뢰할 수 있는 가지치기에 기여함을 보여준다.
TARL: 장기 에이전트의 실행 가능한 메모리 관리를 위한 트랜잭션 인식 신뢰 원장
TARL: Transaction-Aware Reliable Ledgers for Executable Memory Management in Long-Term Agents
영구 메모리(persistent memory)는 장기 에이전트(agent)가 지식을 유지하도록 돕지만, 단 한 번의 업데이트 오류로도 향후 검색 및 추론이 반복적으로 왜곡될 수 있습니다. 기존 시스템의 대부분은 메모리 업데이트를 이진(binary) Write/Hold 결정으로 축소하여, 새로운 정보를 추가해야 하는지, 무시해야 하는지, 오래된 믿음을 수정하는 데 사용해야 하는지, 신뢰할 수 없어 거부해야 하는지, 혹은 검증을 위해 보류해야 하는지를 구분하지 못합니다. 이러한 선택지들은 동일한 이진 라벨을 공유할 수 있지만 근본적으로 다른 메모리 상태를 생성합니다. 본 논문에서는 각 진술을 다섯 가지 실행 가능한 동작(action) 중 하나로 매핑하는 메모리 상태 업데이트 프레임워크인 TARL을 소개합니다. TARL은 영향을 받는 메모리를 식별하고, 시간적 범위를 해결하며, 출처의 신뢰성을 비교하고, 수락(accepted), 보류(pending), 거부(rejected) 원장(ledger)을 업데이트합니다. 또한 대안적 업데이트 작업에 의해 생성된 메모리 상태를 비교하여 모델이 올바른 결과로 이어지는 작업을 선택하도록 장려하는 방식으로 추가 학습됩니다. 아울러 세분화된 동작 라벨과 다음 상태 목표를 포함하는 벤치마크인 TARL-Mem을 소개합니다. 인도메인(in-domain), 교차 출처(cross-source), 시간적, 반사실적(counterfactual), 순차적 평가 전반에 걸쳐 TARL은 동작 예측 및 상태 복구를 개선하고, 메모리 오염을 줄이며, 상충하는 증거를 보존하고, 누적된 손상을 억제합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.