베이지안 대리 교란 변수를 위한 수축 사전 분포
Shrinkage priors for Bayesian Substitute Confounders
한국어 초록
다중 원인 관찰 연구는 원인 간의 의존 구조를 통해 측정되지 않은 교란에 대한 정보를 포함합니다. 그러나 관측되지 않은 교란 변수를 문자 그대로 대체하는 것은 안정적인 인과 조정에 필요한 공유 할당 변동을 보존하는 저차원 대리 점수를 학습하는 것보다 종종 더 복잡합니다. 디컨파운더(Wang and Blei, 2019) 및 관련 대리 교란 변수 방법은 이 아이디어를 활용하지만, 유연한 할당 모델은 원인들의 결합 분포를 적합시킬 수 있음에도 불구하고 처리 벡터를 과도하게 인코딩하거나, 중첩을 붕괴시키거나, 단일 원인 변동을 포착하는 점수를 생성할 수 있습니다. 우리는 수축 사전 분포를 사용하여 대략적인 다중 원인 의존성을 유지하는 희소 대리 교란 변수를 학습하기 위한 베이지안 요인 할당 프레임워크를 개발합니다. 이 이론은 사후 분포 집중, 요인 점수 수축, 중첩 보존 할당 기하학의 수준에서 서술되므로 특정 수축 사전 분포에 의존하지 않습니다. 이러한 조건 하에서, 제안된 회귀 조정 추정량은 해당 잠재 변수 식별 가정이 충족될 때 평균 잠재 결과에 대해 일치성을 가집니다. 수축 사전 분포는 잠재 구조 학습을 위한 자연스러운 도구를 제공합니다. 이는 다중 원인에 의해 지지되는 저차원 요인을 선호하고, 실질적으로 단일 원인 요인을 억제하며, 점진적 수축을 통해 잠재 요인의 순서를 유도합니다. 합성 실험은 신호 강도, 결과 타당성, 기하학 인식 정규화의 역할을 설명합니다. 알츠하이머병 신경영상 이니셔티브(ADNI) 기준선 분석에서, 희소 대리 점수는 침습적 뇌척수액 바이오마커에 직접 조건화하여 얻은 조정의 대부분을 회복하는 반면, 붕괴 진단은 적합된 요인이 개별 관측 측정값으로 축소되는 시점을 식별합니다.
원문 초록
Multi-cause observational studies contain information about unmeasured confounding through the dependence structure among causes. However, literal imputation of the unobserved confounder is often more complex than learning a lower-dimensional substitute score that preserves the shared assignment variation needed for stable causal adjustment. The deconfounder (Wang and Blei, 2019) and related substitute confounder methods exploit this idea, but flexible assignment models can fit the joint distribution of the causes while producing scores that over-encode the treatment vector, collapse overlap, or capture single-cause variation. We develop a Bayesian factor assignment framework for learning sparse substitute confounders that retain coarse multi-cause dependence with shrinkage priors. The theory is stated at the level of posterior concentration, factor score contraction, and overlap-preserving assignment geometry and therefore does not rely on a particular shrinkage prior. Under these conditions, the proposed regression-adjusted estimators are consistent for mean potential outcomes when the corresponding latent variable identification assumptions hold. Shrinkage priors provide a natural tool for latent structural learning: they favour low-dimensional factors supported by multiple causes, discourage effectively single-cause factors, and induce an ordering of the latent factors through progressive shrinkage. Synthetic experiments illustrate the roles of signal strength, outcome validity, and geometry-aware regularization. In an Alzheimer's Disease Neuroimaging Initiative (ADNI) baseline analysis, sparse substitute scores recover much of the adjustment obtained by directly conditioning on invasive cerebrospinal-fluid biomarkers, while collapse diagnostics identify when fitted factors reduce to individual observed measurements.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18535v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조건부 텐서 확산: 분포적 반사실 학습 및 추론
Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference
인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.
더 많은 근거가 오히려 독이 될 때: 생물의학 인과 탐색을 위한 출판 편향 표류와 원칙적 탐색 중단
When More Evidence Hurts: Publication-Bias Drift and Principled Stopping for Biomedical Causal Search
자동화된 생물의학 근거 합성은 출판된 연구들을 검색하는 것에 의존하지만, 생물의학 문헌은 체계적으로 긍정적인 결과 쪽으로 편향되어 있습니다. 따라서 검색을 더 깊이 수행할수록 실제 효과가 없을 때(null) 시스템이 이점이 있다고 잘못 추론할 가능성이 오히려 \emph{더} 높아질 수 있습니다. 본 연구에서는 이러한 현상을 \emph{근거 표류(evidence drift)}로 정의하고, 표준적인 출판 바이어스(publication-bias) 모델 하에서 영효과(null-effect) 질의에 대한 위양성 확률이 검색 깊이에 따라 엄격히 증가하는 대표본 포락선을 따르며 1에 가까워짐을 증명합니다. 실증적으로 140개의 코크란(Cochrane) 기반 질의로 구성된 홀드아웃 테스트 세트에서 검색 예산이 3단계에서 20단계로 증가함에 따라 표류는 7.9\%에서 15.7\%로 단조 증가하며 영효과 클래스에 집중됩니다. 본 논문에서는 PubMed 초록으로부터 인과 지식 그래프를 점진적으로 구축하고 상호 보완적인 역할을 수행하는 2계층 중단 정책을 적용하는 표류 인식 인과 그래프 에이전트(agent)인 DACG-agent를 제시합니다. 이 정책은 사후 수렴(convergence)을 감지하는 KL-발산 모니터(정확도 층)와 근거 품질이 정점에 도달하면 검색을 중단시키는 온라인 저하 감지 브래들리-테리(Bradley--Terry) 프로세스 보상 모델(PRM, 효율성 층)로 구성됩니다. 전체 예산을 사용하는 검색 대비, DACG-agent는 검색 단계를 67\% 적게 사용하면서도 근거 표류를 15.7\%에서 6.4\%로 줄이고 영효과 정확도를 21%포인트(40.0\%$\to$61.4\%) 향상시키며, 전반적인 정확도는 61.4\%에서 69.3\%(95\% CI 61--77)로 증가합니다. 시뮬레이션을 통해 표류 결과가 분석에 사용된 투표 집계(vote-counting) 애그리게이터에서 실제 배포된 noisy-OR 애그리게이터로도 전이됨을 확인했습니다.
다중 피험자 시공간 데이터 분석을 위한 변분 저랭크 텐서 분해
Variational Low-rank Tensor Decomposition for Multisubject Spatiotemporal Data Analysis
다중 피험자 시공간 데이터에서 공유 구조와 피험자별 구조를 모델링하는 일은 여전히 어려우며, 특히 신경영상에서는 공간·시간 패턴이 피험자 간에 풍부한 변동성을 보인다. 기존 행렬 및 텐서 분해는 해석 가능한 인수분해를 제공하지만, 고정된 다중선형 구조나 결합 방식에 의존하여 복잡한 변동성을 포착하는 유연성이 제한될 수 있다. 본 연구에서는 텐서 인수분해 생성 모델과 구조화된 사전을 결합하여 공간 맵과 시간 역학을 공동으로 표현하는 시공간 변분 텐서 분해(ST-VTD) 프레임워크를 제안한다. 공간 인자는 LL1 분해에서 영감을 받은 저랭크 구조를 촉진하도록 정규화되고, 시간 인자는 학습된 장단기 메모리(LSTM) 기반 사전으로 모델링되어 유연하고 적응적인 역학을 가능하게 한다. 사후 추론은 최적화 알고리즘의 반복을 언롤링하는 상각형 변분 정식화를 통해 수행되며, 해석 가능하고 매개변수 효율적인 아키텍처로 이어진다. 제안된 추론 프레임워크는 그룹 독립성분분석에 기반한 웜스타트 전략을 사용하며, 이는 최적화 성능을 향상시키는 것으로 나타났다. 현실적인 합성 기능적 MRI(fMRI) 데이터셋에 대한 실험은, 제안 방법이 대표적인 고전적·확률적 분해 벤치마크와 비교하여 잠재 인자 복원을 크게 향상시킴을 보여준다.
온라인 추천을 위한 확률적 잔차 학습
Probabilistic Residual Learning for Online Recommendations
현대 추천 시스템은 일반적으로 심층 학습(DL) 모델을 기반으로 하며, 밀집 인코더(dense encoder)가 사용자와 아이템의 표현(representation)을 학습한다. 그 결과 이러한 시스템은 기반 모델의 블랙박스 특성과 계산 복잡성으로 인해 추천 성능을 체계적으로 향상시키기 어려운 경우가 많다. 이 문제를 해결하기 위해, 우리는 Probabilistic Residual Learning(PRL)을 제안한다. 이는 실제값(ground-truth)과 기본 예측(base prediction) 사이의 잔차(residual)를 모델링하여 기존 시스템의 목표 지향적 정제(refinement)를 가능하게 하는 인과적 베이지안 추천 모델이다. 구체적으로 PRL은 (1) 국소적 잔차 모델링을 위해 사용자를 확률적으로 그룹화하고, (2) 사용자 및 아이템 표현에 영향을 미치는 도메인 수준 교란 변수(domain-level confounder)를 모델링하며, (3) do-calculus를 사용하여 교란 변수에 대한 클러스터별 잔차 예측을 집계한다. 실험 결과, 플러그앤플레이(plug-and-play) 방식의 PRL이 다양한 기본 심층 학습 추천 시스템과 호환되며 성능을 향상시키는 동시에 의미 있는 사용자 클러스터를 자동으로 발견함을 보여준다.
DecodeShare: LLM 디코드 시점 결정의 공유 부분공간 추적
DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions
대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.
규칙이 인과 지식을 어떻게 표현하는가: 확률 논리 프로그래밍을 통한 인과 모델링
How Rules Represent Causal Knowledge: Causal Modeling with Probabilistic Logic Programming
Pearl은 유명하게 인과 지식이 개입 효과의 예측을 가능하게 한다고 주장한다. 반면 순수 서술적 지식은 관찰로부터 도출되는 결론만을 지지한다. 그러나 그의 인과성 이론은 베이지안 네트워크와 인과 모델이라는 틀 안에서만 전개되었다. 그 결과 이 이론은 대체로 비순환 인과 관계에 국한되며, 다른 형식 체계로 그 아이디어를 옮기면 오해 또는 불일치가 생길 위험이 있다. 본 논문은 Pearl의 인과성 접근을 확률 논리 프로그래밍(PLP)으로 가져온다. 이를 위해 해당 프로그램들을 시간 개념에 의존하지 않는 선행 연구의 철학적 기반에 맞춘다. 즉, 관련된 모든 사건이 동시에 발생한다고 가정한다. 이러한 프로그램에 대한 형식적 인과 의미론과 함께 개입 개념 및 구현을 제안한다. 이 의미론이 층화(stratified) ProbLog 프로그램에 대한 P-log 의미론과 일치함을 보이며, 비층화 경우와 다른 PLP 형식에서는 둘이 달라질 수 있음을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.