PyTorchKR Papers

최신 논문

총 434편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2105.09254v5math.ST

연속형 처리에 대한 다중 강건 인과 매개 분석

Multiply Robust Causal Mediation Analysis with Continuous Treatments

많은 응용에서 연구자들은 처리(treatment) 또는 노출(exposure)이 관심 결과에 미치는 직접 및 간접 인과 효과에 관심을 가진다. 매개 분석(mediation analysis)은 이러한 인과 효과를 식별하고 추정하기 위한 엄밀한 프레임워크를 제공한다. 이진 처리의 경우, Tchetgen Tchetgen과 Shpitser(2012)는 관심 매개변수의 영향 함수(influence function)를 기반으로 직접 및 간접 효과에 대한 효율적인 추정량을 제시하였다. 이러한 추정량은 잡음 매개변수(nuisance parameters)에 대해 n의 제곱근보다 느린 수렴 속도를 허용하면서도 다중 강건성(multiple-robustness) 및 점근적 정규성과 같은 바람직한 특성을 지닌다. 그러나 연속형 처리가 포함된 환경에서는 강한 모수적 가정 없이 이러한 영향 함수 기반 추정량을 직접 적용하기 어렵다. 본 연구에서는 커널 평활화(kernel smoothing) 접근법을 활용하여 영향 함수 기반 추정 전략에서 영감을 받은, 연속형 처리 환경에 적합한 추정량을 제안한다. 제안하는 접근법은 교차 피팅(cross-fitting)을 채택하여 잡음 함수의 평활성 요건을 완화하고, 잡음 함수를 목표 매개변수보다 느린 속도로 추정할 수 있도록 한다. 또한 영향 함수 기반 추정량과 유사하게, 제안하는 추정량은 다중 강건성을 가지며 점근적으로 정규 분포를 따르므로, 모수적 가정이 정당화되지 않을 수 있는 환경에서도 추론이 가능하다.

arXiv:2505.09706v3stat.ME

차이를 위한 숲: 모수적 이중차분법을 넘어서

Forests for Differences: Beyond Parametric Difference-in-Differences

본 논문은 시차 도입과 이질적 처치 효과 같은 이중차분(DiD) 추정의 핵심 문제를 다루는 새로운 비모수 모델인 이중차분 베이지안 인과 숲(DiD-BCF)을 소개한다. DiD-BCF는 평균 처치 효과(ATE), 집단 평균 처치 효과(GATE), 조건부 평균 처치 효과(CATE)를 추정하기 위한 통합 프레임워크를 제공한다. 코호트별 수준, 공통 미처치 추세, 처치 효과에 대해 별도의 회귀 숲을 구성함으로써, 이 모델은 조건부 평행 추세와 무예측 제약을 베이지안 비모수 방법에 직접 내장한다. 우리는 비모수 식별과 정확한 처치 효과 사후분포의 통합 처치 효과 일치성을 증명한다. 광범위한 시뮬레이션은 특히 비선형성, 선택 편향, 효과 이질성 하에서 DiD-BCF가 기존 벤치마크보다 우수한 성능을 보임을 입증한다. 미국 최저임금 정책에 적용했을 때, 이 모델은 카운티 인구와 관련된 유의미한 조건부 처치 효과 이질성을 밝혀내며, 이는 전통적 방법으로는 가려져 있던 통찰이다. DiD-BCF는 현대 DiD 응용에서 보다 섬세한 인과 추론을 위한 견고하고 다재다능한 도구를 제공한다.

arXiv:2609.27593v2cs.LG

삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식

Hidden not Deleted: How Networks Suppress Entangled Features

신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.

arXiv:2606.28228v3cs.LG

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2606.24548v4cs.CV

텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크

Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning

텍스트-이미지(T2I) 생성 모델은 자연어 프롬프트로부터 시각적으로 사실적인 이미지를 생성하는 데 괄목할 만한 진전을 이루었다. 그러나 이러한 성공이 진정한 인과적 이해를 반영하는지, 아니면 시각-텍스트 상관관계에 대한 정교한 패턴 매칭인지는 여전히 불분명하다. 러셀의 귀납주의 칠면조에서 착안하여, 본 논문은 텍스트-이미지 모델이 현실 세계의 사전 지식과 체계적으로 모순되는 규칙 아래에서 이미지를 생성할 수 있는지 조사하기 위해 설계된 반사실 벤치마크인 Counterfactual-World(CF-World)를 소개한다. CF-World는 각 시나리오를 세 가지 점진적 수준으로 구성한다. 일반적인 세계 지식에 따른 사실 생성, 직접적인 시각 지시를 포함한 명시적 반사실 생성, 그리고 변경된 규칙으로부터의 인과적 연역이 필요한 암묵적 반사실 생성이다. 시각-언어 모델 기반 점수 산정 파이프라인인 CF-Eval을 사용하여 오픈소스 및 클로즈드소스 텍스트-이미지 모델을 평가한다. 각 프롬프트 수준의 점수를 주요 결과로 보고하고, 사전 저항률(Prior Resistance Rate, PRR)과 추론 유지율(Reasoning Retention Rate, RRR)을 보조적 기술 지표로 사용한다. 평가한 모든 모델은 반사실 프롬프트에서 사실 프롬프트보다 낮은 점수를 받았다. 진단 실험은 변경된 규칙을 따르는 것과 드물게 함께 나타나는 시각적 속성을 재조합하는 것에 어려움이 있음을 보여준다. 객체와 속성 이름을 바꿔 표현했을 때의 향상은 반사실 생성에서 학습된 시각적 사전 지식이 역할을 한다는 해석과 부합한다. 본 벤치마크와 평가 코드는 https://jylei16.github.io/CF-World.github.io/ 에서 공개되어 있다.

arXiv:2504.01551v3cs.AI

ADMG 위의 C-DMG에서 거시 인과 효과 식별

Identifying Macro Causal Effects in a C-DMG over ADMGs

인과 그래프를 이용한 인과 효과 식별은 인과추론의 근본적인 과제이다. 이 분야에서 광범위한 연구가 이루어졌음에도, 대부분의 기존 방법은 완전히 명시된 유향 비순환 그래프 또는 비순환 유향 혼합 그래프를 사용할 수 있다고 가정한다. 그러나 의학과 역학 같은 복잡한 영역에서는 완전한 인과 지식을 얻을 수 없는 경우가 많으며, 시스템에 대한 부분적인 정보만 접근 가능하다. 본 논문은 부분적으로 명시된 인과 그래프 내에서의 인과 효과 식별에 초점을 맞추며, 특히 다양한 비순환 유향 혼합 그래프(ADMG)를 표현할 수 있는 클러스터 유향 혼합 그래프(C-DMG)를 중점적으로 다룬다. 이러한 그래프는 변수를 클러스터로 묶어 인과 관계의 상위 수준 표현을 제공하며, 복잡한 시스템을 다루는 데 더 실용적인 접근법을 제시한다. 완전히 명시된 ADMG와 달리 C-DMG는 순환을 포함할 수 있어 분석과 해석이 복잡해진다. 더욱이 클러스터 기반이라는 특성은 서로 다른 성질을 갖는 두 가지 유형의 인과 효과, 즉 거시 인과 효과와 미시 인과 효과를 낳아 새로운 난점을 야기한다. 본 연구에서는 클러스터 전체가 다른 클러스터에 미치는 효과를 기술하는 거시 인과 효과에 초점을 맞춘다. 우리는 클러스터 크기가 알려져 있지 않거나 1보다 큰 경우, ADMG 위의 C-DMG에서 이러한 효과를 식별하는 데 do-계산법이 건전(sound)하고 완전(complete)함을 증명한다. 또한 이러한 그래프에서 거시 인과 효과의 비식별성에 대한 그래프적 특성화를 제공한다.

arXiv:2610.01002v2cs.AI

유추는 인공의식에 대해 무엇을 말해줄 수 있는가?

What Can Analogy Tell Us About Artificial Consciousness?

누가 또는 무엇이 의식을 가지고 있는가? 주관적 경험은 1인칭 관점에서만 직접 접근할 수 있기 때문에, 다른 개체의 의식에 대한 판단은 부분적으로 유추(analogy)에 의존한다. 역사적으로 이러한 추론은 인간이 아닌 동물에 집중되어 왔으나, 인공지능(AI)의 발전으로 의식을 가진 AI의 가능성이 제기되었다. 본 논문에서는 이러한 증거적 유추를 평가하기 위한 인과적 프레임워크를 개발한다. 핵심적인 구분은 의식 생성에 관여할 가능성이 높은 요인들의 유사성과 하류(downstream) 행동 또는 인지적 효과에서의 유사성 사이의 차이다. 제안하는 프레임워크는 알려지지 않은 원인, 무력화 요인(disabling differences), 의식에 이르는 대안적 경로를 고려하면서 인과적 관련성에 따라 원천-목표(source-target) 유사성에 가중치를 부여한다. 생물학적 시스템에 적용했을 때, 이는 인간과의 인과적 거리가 멀어질수록 유추적 지지가 전반적으로 약화되는 이유를 설명한다. 현대 AI에 적용했을 때, 이는 관련 인과적 대응 관계가 여전히 명확히 확립되지 않았기 때문에 행동적 유사성만으로는 의식에 대한 제한적인 증거만을 제공함을 시사한다. 또한 이 프레임워크는 어떤 증거가 인공의식에 대한 주장을 강화할 수 있는지를 명확히 밝힌다.

arXiv:2607.09645v2stat.ML

방향 비순환 그래프 위의 심층 가우시안 과정

Deep Gaussian Processes on Directed Acyclic Graphs

많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.

arXiv:2602.22600v3cs.LG

트랜스포머는 불변 알고리즘 핵심으로 수렴한다

Transformers converge to invariant algorithmic cores

학습은 회로가 아니라 행동을 선택한다. 즉, 많은 가중치 구성이 동일한 함수를 구현할 수 있다. 따라서 학습된 단일 신경망만을 연구하는 것은 계산 자체가 아니라 한 번의 학습 실행에서 나타난 우연을 기술할 위험이 있다. 본 연구는 트랜스포머가 우연히 무엇을 하는가에서 무엇을 해야만 하는가로 초점을 전환하며, 이를 위해 과제에 필요충분하고 독립적으로 학습된 모델들에서 반복적으로 나타나는 소형 부분공간인 알고리즘 코어를 추출한다. 여기서는 이러한 부분공간을 분리하고, 인과적으로 검증하며, 그것이 구현하는 알고리즘을 복원하기 위해, 합성 과제에서 대규모 사전학습 모델에 이르기까지 알고리즘 코어 추출(ACE)을 도입한다. 마르코프 연쇄 트랜스포머는 3차원 코어를 거의 직교하는 부분공간에 임베딩하면서도 동일한 전이 스펙트럼을 복원한다. 모듈러 덧셈 트랜스포머는 그로킹 시점에 소형 순환 코어를 형성하며, 이 코어는 이후 지속적인 정규화 아래에서 팽창하여 동일한 계산을 기능적으로 등가인 많은 모드에 걸쳐 중복적으로 분산시킨다. 이러한 기능적 중복성은 암기에서 일반화로의 전이를 가속하며, 그로킹 시간에 대한 역 스케일링 법칙을 낳는다. 규모가 두 자릿수에 걸치는 여섯 개의 언어 모델(GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5)에서 주어-동사 일치는 아키텍처 전반에 걸쳐 정렬되는 조향 가능한 단일 축에 의해 결정된다. 이 축을 뒤집으면 개방형 생성 전반에서 문법적 수가 반전된다. 다단계 과제인 간접 목적어 식별에서, 동일한 여섯 개 모델은 두 지점에서 소형 다차원 코어를 통해 계산을 라우팅하며, 이들은 모델 계열 간에 전이되는 선형 연산자로 연결된다. 이러한 결과는 종합하면, 학습된 트랜스포머의 겉보기 복잡성 아래에 더 단순하고 공유된 계산 구조가 있으며, 매개변수화가 아닌 불변량을 겨냥하는 것이 기계적 이해와 제어를 위한 더 다루기 쉬운 길을 제공할 수 있음을 시사한다.

arXiv:2510.04532v3cs.AI

보이는 것 그 이상인가? 비전-언어 주행 모델 학습에서 추론과 계획 간의 단절 규명

More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models

비전-언어 모델(VLM) 기반 주행 에이전트는 자연어 추론을 먼저 생성한 뒤 궤적 계획을 예측함으로써 설명 가능한 엔드투엔드 자율주행을 실현할 것으로 기대받고 있습니다. 그러나 계획이 이러한 추론에 의해 인과적으로 구동되는지는 매우 중요하지만 검증되지 않은 가정으로 남아 있습니다. 이를 조사하기 위해, 본 연구에서는 nuPlan으로부터 자동 생성된 계획 정렬 사고의 연쇄(CoT)를 포함하는 대규모 주행 시각적 질의응답(VQA) 코퍼스인 DriveMind를 구축합니다. 본 데이터 생성 과정은 센서와 어노테이션을 정형화된 입력으로 변환하며, 특히 사전 정보(prior)와 추론 대상 신호를 분리하여 명확한 정보 절제(ablation)를 가능하게 합니다. DriveMind를 사용하여 지도 미세조정(SFT) 및 그룹 상대 정책 최적화(GRPO)로 대표적인 VLM 에이전트를 학습시키고 nuPlan 메트릭으로 평가합니다. 안타깝게도 실험 결과는 추론-계획 간의 일관된 인과적 단절을 나타냅니다. 자차(ego)/내비게이션 사전 정보를 제거하면 계획 점수가 크게 하락하는 반면, CoT를 제거해도 점수 변화는 미미합니다. 어텐션 분석 또한 계획 단계가 CoT보다는 주로 사전 정보에 집중함을 보여줍니다. 이러한 증거를 바탕으로, 본 연구는 학습을 통해 산출된 추론이 인과적 매개체가 아니라 부수적인 부산물에 불과하다고 상정하는 '추론-계획 분리 가설(Reasoning-Planning Decoupling Hypothesis)'을 제안합니다. 효율적인 진단을 위해, 사소한 입력 섭동에 대한 계획 강건성을 평가하여 에이전트의 사전 정보 의존도를 측정하는 새로운 학습 무관(training-free) 프로브를 도입합니다. 요약하자면, 본 연구는 향후 모델의 인과적 충실성을 평가할 수 있는 새로운 데이터셋과 진단 도구를 커뮤니티에 제공합니다.

arXiv:2607.10456v2stat.ML

확장 가능한 인과 발견을 위한 배경 지식 통합

Integrating Background Knowledge for Scalable Causal Discovery

전문가 배경 지식은 인과 발견(causal discovery)의 실제 응용에서 종종 활용 가능하다. 실제 인과 그래프에 대한 이러한 제약 조건은 인과 효과의 식별 가능성과 학습된 구조의 정확도 측면에서 인과 발견에 도움이 될 뿐만 아니라, 후보 인과 그래프의 탐색 공간을 줄이는 데에도 기여한다. 인과 발견은 변수의 수가 많아질수록 계산 비용이 크게 증가할 수 있으므로, 인과 발견 과정에서 배경 지식을 효과적으로 활용하는 것이 중요하다. 그러나 현재 대부분의 방법들은 학습된 그래프를 정제하기 위해 인과 발견 이후의 후처리 단계에서만 배경 지식을 활용한다. 본 연구에서는 인과 발견 과정에서 배경 지식을 활용하는 프레임워크를 개발하며, 특히 전체 그래프의 일부만을 복원하는 확장 가능한 인과 발견 방법에 초점을 맞춘다. 우리는 여러 알고리즘에 대해 이 프레임워크를 구현하고, 배경 지식 활용이 계산 요구량을 줄이고 학습된 구조의 품질을 향상시킬 수 있음을 실험적으로 보인다.

arXiv:2606.28273v2cs.CL

비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘

Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

비전-언어 모델(VLM)이 시각적 입력과 사전학습된 세계 지식이 충돌할 때 이를 어떻게 해결하는지 인과적 메커니즘을 규명하기 위해, activation patching과 ablation 연구를 결합한 결과 시각적 그라운딩이 기본 경로로 작동하는 반면, 사전 지식 기반 응답은 네트워크 후반부에 집중된 소수의 어텐션 헤드(2.5–4.8%)에 의존하는 비대칭 인과 구조가 Qwen-VL, LLaVA-NeXT, PaliGemma 등 세 가지 VLM 계열에서 일관되게 나타남을 밝혔다. 이 헤드들은 정보 흐름을 조절하는 라우팅 헤드와 답 토큰을 잔차 스트림에 직접 투사하는 쓰기 헤드로 구분되며, 이를 절제하면 사전지식 프롬프트 조건에서 68–96%의 예측이 시각적 그라운딩 답변으로 전환된다.

arXiv:2606.08493v4q-bio.GN

지도 학습 기반 분리를 활용한 조직 그래프 반사실 질의

Querying Counterfactuals on Tissue Graphs with Supervised Disentanglement

조직 그래프 반사실 질의는 세포의 공간적 이웃이 바뀐다면 그 세포가 무엇을 발현할지를 묻는 것으로, 조직 내 세포 행동 예측의 핵심 질문이다. 그러나 기존 방법은 이러한 질의의 특정 사례만을 다룬다. 본 연구는 먼저 조직 그래프 반사실을 세포 간 연결을 재배선(엣지 섭동)하거나 이웃의 발현을 수정(노드 섭동)하는 공간적 개입의 한 부류로 형식화한다. 이어서 지도 기반 분리(supervised disentanglement)를 사용하여 세포의 고유 상태를 공간적 맥락으로부터 분해하고, 후자를 인실리코 섭동 예측의 조건 입력으로 사용하는 프레임워크인 Cellina를 제안한다. 관찰 및 개입 스크린에서 250만 개가 넘는 공간 해상도 세포에 걸친 벤치마크에서, Cellina는 인실리코 섭동에서 공간 정보를 활용하는 경쟁 방법과 비공간 경쟁 방법을 모두 능가하면서도 비공간 방법만큼 빠르게 학습한다. 또한 Cellina가 비지도 방식으로 서로 다른 신호 전달 프로그램을 가진 암 하위 영역을 밝혀내고 표적 이웃 섭동 시뮬레이션을 가능하게 함을 보인다.

arXiv:2607.14940v2cs.LG

간섭과 잠재 교란 하에서 순차 설정에 대한 인과 추론

Causal Inference for Sequential Settings under Interference and Latent Confounding

본 연구는 순차적·관측적 설정에서 결과 간섭(outcome interference) 하의 인과 추론을 다룬다. 구체적으로, N개 단위에 대한 이진 결과가 T개 시간 단계에 걸쳐 Markovian인 설정을 고려한다. 각 시간 단계에서 N개 단위의 결과는 Ising 모델을 통해 포착되는 의존성을 갖으며, 각 결과는 또한 해당 처치(treatment)의 효과와 잠재 교란 요인(latent confounders)의 영향을 반영하는 외부장(external field)의 영향을 받는다. 패널 데이터(panel data) 문헌과 유사하게, 이러한 잠재 교란 요인은 저계수(low-rank) 요인 구조를 갖도록 모델링된다. 우리의 데이터는 이러한 고차원 분포로부터의 단일 샘플이다. 관심 있는 인과량을 추정하기 위해, 모델 매개변수를 학습하기 위한 최대 유사-가능도 추정(Maximum Pseudo-Likelihood Estimation, MPLE)에 기반한 계산 효율적인 방법을 제시한다. 완화된 가정 하에서, 매개변수 추정에 대한 비점근(non-asymptotic) 일관성을 확립하고, 이것이 학습된 모델로부터 샘플링한 후 관심 있는 인과량의 충실한 추정으로 이어짐을 보인다. 합성 실험과 함께, 미국 전역 카운티(county) 내 백신 접종률이 COVID-19 사망률에 미치는 인과 효과를 조사하는 실세계 사례 연구를 통해 방법의 효과를 입증한다.

arXiv:2609.26142v2stat.ME

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

arXiv:2606.22361v3cs.CL

첫 토큰 브로드캐스터: 트랜스포머에서 언어 정체성과 분산 견고성의 기계론적 기원

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

트랜스포머에서 언어 정체성은 어떻게 표현되고 인과적으로 유지되며, 한 언어 집합에서 확인된 메커니즘은 다른 언어와 학습 방식으로 어느 정도 전이되는가? 본 논문은 각 어텐션 헤드를 개별적으로 0으로 만들고 그 결과의 언어 전환율을 측정하는 인과적 개입인 Language Identity Head Ablation(LIHA)을 도입한다. 다국어 평가 집합 전반에서 LIHA는 제거가 출력 언어에 불균형적으로 큰 영향을 미치는 헤드를 식별한다. GPT-2에서는 L6H1(전환율 0.32, 모집단 평균보다 3.23$\sigma$ 높음)이 선두인 소수의 첫 토큰 브로드캐스터 헤드가 쿼리 위치 전반에서 첫 번째 프롬프트 토큰에 지속적으로 주의를 기울인다. 지속적인 첫 토큰 어텐션과 인과적 민감성의 결합은 이들 헤드가 출력 언어 유지에 관여함을 시사한다. 제거 후, 시험한 제거 조건에서 제거된 층보다 위의 헤드에서 첫 토큰 어텐션이 증가한다(무작위 다섯 헤드 집합에 대한 순열 검정, $p < 10^{-5}$). 이들 헤드가 제거된 헤드를 기능적으로 보상하는지는 검증하지 않는다. 또한 구조와 파라미터 수는 같지만 학습 이력이 다른 Qwen2.5-1.5B-Base와 Qwen2.5-1.5B-Instruct를 비교한다. 기본 모델은 거의 평탄하며(최대 SR$=$0.016, 336개 헤드 중 200개가 SR$=$0.0), 반면 인스트럭트 모델은 L0H5(SR$=$0.224, 평균보다 8.93$\sigma$ 높음)가 선두인 0번째 층에 인과적 영향이 집중된다. 마지막으로 유럽 언어 실험에서 식별된 GPT-2 헤드는 시험한 중국어와 러시아어 프롬프트에서 관찰된 전환 효과를 보이지 않았으나, 다른 초기 층 헤드는 효과를 보인다. 이 비교에서는 문자 체계, 유형론, 토큰화가 함께 변하므로, 이 결과가 특별히 문자 체계에 의한 메커니즘을 분리해 내지는 못한다. 저장소는 https://github.com/ajlrza/First-Token-Broadcasters 에서 확인할 수 있다.

arXiv:2609.27144v2cs.LG

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2609.26822v2cs.LG

HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크

HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting

실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.

arXiv:2607.04133v2cs.LG

잠재 교란 변수가 있는 LNML 기반 인과 발견: 이론과 실험

LNML-based Causal Discovery with Latent Confounders: Theory and Experiments

비선형 메커니즘과 잠재 교란 변수가 있는 인과 발견은 여전히 어려운 과제이다. 기존 방법은 선형성 가정이나 인과적 충분성에 의존하는 경우가 많아 적용 범위가 제한된다. 우리는 luckiness normalized maximum likelihood(LNML) 코드 길이를 사용하여 잠재 교란 변수와 유연한 비선형 메커니즘을 수용하는 MDL 기반 인과 발견 프레임워크를 제안한다. 코드 길이 기반 모델 선택을 보완하기 위해, 잠재 교란 후보를 식별하는 기준으로 $\Delta$-의사 공선성($\Delta$-pseudo-collinearity)을 도입한다. 우리는 잠재 교란 변수가 있을 때 방향성 코드 길이 격차 $\Delta$가 표본 크기에 대해 많아야 선형적으로 증가하고 잠재 인과 메커니즘이 비슷해질수록 감소하는 상한을 가짐을 이론적으로 보이며, 이는 제안한 기준을 뒷받침한다. 이 정식화에 기반하여 의사 공선성 유도 인과 발견(Pseudo-Collinearity Guided Causal Discovery, PCG-CD)이라는 탐욕 알고리즘을 개발한다. 합성 및 실제 데이터셋에 대한 실험은 PCG-CD가 방향이 있는 인과 관계를 복원하고 잠재 교란 후보를 식별하는 능력을 보여 주는 한편, 잠재 교란 변수 판별의 한계도 드러낸다.

arXiv:2606.29984v2cs.AI

응답 시 충실하라: 비전-언어 모델 강화학습을 위한 유창하고 근거 있는 답변 생성

Be Faithful When Response: Returning Fluent and Grounded Answers for Vision-Language Models Reinforcement Learning

강화학습(RL)은 비전-언어 모델(VLM)의 추론 능력을 향상시키는 중요한 패러다임이다. 그러나 멀티모달 추론의 롤아웃에 RL을 직접 적용하면 언어적 사전 지식의 악용, 시각적 증거의 무시, 유창하지만 시각적으로 근거가 없는 추론 흔적의 생성으로 인해 불안정성이 발생할 수 있다. 이에 다음과 같은 질문이 제기된다. 강화학습을 적용하기 전에 정책을 시각적으로 충실한 추론 영역으로 먼저 유도할 수 있는가? 이를 위해 본 연구는 충실한 웜스타트(Faithful Warm-Start, FWS) 전략을 제안한다. 이 전략은 먼저 여섯 개의 일반 VQA 벤치마크에서 명시적인 비전-언어 인과 관계를 지닌 샘플을 선별하여 FaithfulQA 데이터셋을 구축하며, 각 이미지-질문 쌍은 일정 수준의 시각적 관찰, 질문 요구사항, 상식 지식, 도메인 지식, 그리고 최종 답변을 갖는다. 이후 VLM 기반 판정기를 사용하여 데이터셋을 추가로 정제함으로써 강한 인과적 일관성과 시각적 충실성을 확보한다. 이 웜스타트 단계는 희소한 답변 수준 보상 하에서 이후 RL 최적화를 수행하기 전에, 모델이 인과적으로 근거한 비전-언어 패턴을 이해하는 능력을 갖추도록 한다. 실험 결과는 이러한 충실한 지도가 답변 정확도를 향상시키고, RL 학습을 안정화하며, 시각적으로 뒷받침되지 않는 추론을 줄임을 보여준다.