PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28228v3cs.LG

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2610.13520v1cs.AI

인과적 추상화에서의 인과 효과 식별 가능성: 기준들의 엄격한 계층 구조

Causal Effect Identifiability in Causal Abstractions: A Strict Hierarchy of Criteria

관측 데이터로부터 인과 효과(causal effect)를 식별하는 작업은 일반적으로 완전히 명시된 인과 그래프를 필요로 하지만, 이러한 가정은 복잡하거나 고차원인 환경에서는 비현실적인 경우가 많습니다. 인과적 추상화(causal abstraction)는 부분적인 인과 정보만을 유지하여 호환 가능한 인과 그래프들의 동치류를 정의함으로써 이러한 한계를 해결합니다. 본 논문에서는 개별 인과 다이어그램 수준이 아니라 이러한 그래프 집합 수준에서 인과 효과 식별 가능성(identifiability)을 직접 연구합니다. 우리는 이 설정에서 식별 가능성에 대한 여러 개념을 공식화하고, 이들의 관계와 차이점을 명확히 하는 계층 구조로 정리합니다. 특히, 인과 효과가 호환 가능한 모든 그래프 전반에 걸쳐 균일하게 성립하는 단일 인과적 유도를 허용하지 않고도 그래프 집합에 대해 식별될 수 있음을 규명합니다. 이러한 결과는 기존 문헌의 공백을 드러내고 모호성을 해소하는 데 기여합니다.

arXiv:2410.21917v3stat.ML

은닉 교란 변수가 존재하는 선형 상미분방정식 시스템의 식별가능성 분석

Identifiability Analysis of Linear ODE Systems with Hidden Confounders

선형 상미분방정식(ODE) 시스템의 식별가능성(identifiability) 분석은 이러한 시스템에 대한 신뢰할 수 있는 인과 추론(causal inference)을 수행하기 위한 필수 전제 조건입니다. 시스템이 완전히 관측 가능한 시나리오에서의 식별가능성은 잘 연구되어 온 반면, 잠재 변수(latent variable)가 시스템과 상호작용할 때의 식별가능성 조건은 아직 탐구되지 않았습니다. 본 논문은 은닉 교란 변수(hidden confounder)를 포함하는 선형 ODE 시스템의 식별가능성에 대한 체계적인 분석을 제시함으로써 이러한 공백을 해결하고자 합니다. 구체적으로, 당사는 이러한 시스템의 두 가지 경우를 조사합니다. 첫 번째 경우에서는 잠재 교란 변수 간에 인과 관계가 나타나지 않지만, 이들의 변화는 시간 $t$에 대한 다항 함수와 같은 특정 함수 형태를 따릅니다. 이어서 잠재 변수의 인과 구조가 방향성 비순환 그래프(DAG)로 기술되어 은닉 교란 변수가 인과적 의존성을 보이는 시나리오까지 포괄하도록 분석을 확장합니다. 두 번째 경우는 첫 번째 경우보다 더 복잡한 변형에 해당하므로 보다 종합적인 식별가능성 분석을 필요로 합니다. 이에 따라 단일 또는 다중 궤적(trajectory)으로부터 얻은 연속 관측 및 이산 관측을 모두 포함하여 다양한 관측 조건 하에서 두 번째 시스템에 대한 상세한 식별가능성 분석을 수행합니다. 이론적 결과를 검증하기 위해 일련의 시뮬레이션을 수행하며, 이를 통해 당사의 연구 결과를 뒷받침하고 입증합니다.

arXiv:2607.22430v1cs.LG

제어 월드 모델의 식별 가능성에 관하여

On the Identifiability of Controlled World Models

고차원 관측으로부터 환경 역학을 추론하고 후보 행동 하에서 결과를 예측하는 월드 모델 학습은 계획과 제어의 핵심이다. Joint-Embedding Predictive Architectures(JEPAs)는 표현 공간에서 이러한 모델을 학습하기 위한 설득력 있는 프레임워크를 제공한다. 최근의 행동 조건부 확장은 시각 제어와 잠재 공간 계획에서 유망한 성능을 보이지만, 근본적인 질문은 여전히 남아 있다: 제어된 잠재 예측은 언제 기저 상태와 제어된 역학을 모두 식별하는가? 이는 비선형 관측과 조건부 행동 변화가 제한된 행동 정책 하에서, 상태 의존적 진화와 행동 효과가 통계적으로 혼동될 수 있어 어렵다. 우리는 상태 의존적 가우시안 행동 정책 하에서 가우시안 잠재 상태를 갖는 제어 월드 모델에 대한 공동 식별 가능성 이론을 수립한다. 우리는 두 가지 정책 의존적 조건을 밝힌다: 예측 가능한 신호의 스펙트럴 분리는 표현 식별 가능성을, 비퇴화(degenerate하지 않은) 조건부 행동 변화는 전이 식별 가능성을 지배한다. 두 조건이 모두 성립할 때, JEPA 목적 함수의 모든 전역 최소화자는 직교 변환까지 잠재 상태와 제어된 전이를 식별함을 증명한다. 또한 근사 최적화 하에서 표현 및 전이 식별 가능성에 대한 정량적 경계를 유도한다. 마지막으로, 약하게 여기된(excited) 행동 방향을 따른 예측기 교란을 구성하여, 반사실적-온-정책 오차 비가 전이 식별 가능성 마진의 역수가 됨을 보이고, 이는 제한된 행동 커버리지의 비용을 드러낸다. 비선형 관측 맵과 행동 정책에 걸친 실험은 이론을 뒷받침하고, 전이 식별 가능성, 반사실적 예측, 목표 조건부 잠재 계획에 대한 함의를 보여준다.

arXiv:2605.03268v2cs.LG

부분 관측 구조적 인과 모델

Partially Observed Structural Causal Models

본 연구에서는 상류 컨텍스트가 관측 변수에 대한 상호작용 구조와 하류 메커니즘을 공동으로 결정하는 설정으로 구조적 인과 모델(SCM)을 확장한 부분 관측 구조적 인과 모델(POSCM)을 소개한다. POSCM은 내생 그래프를 위한 자족적인 인과 모델링 프레임워크를 제공하며, 노드 수준 및 엣지 수준 컨텍스트와 내생 변수 개입에 이르는 개입 계층을 허용한다. 엣지 개입을 정의하기 위해, 우리는 노드 메커니즘을 소스 노드 또는 타깃 메커니즘의 나머지 부분을 변경하지 않고도 수정할 수 있는 엣지 국소 전달 채널로 분리한다. 우리는 구조 형성과 메커니즘을 분리하는 데 어떤 개입 계열이 충분한지를 명확히 하는 식별 가능성 이론을 제공한다. 그런 다음 생물물리학적으로 상세한 가상 인간 망막과 유전자 조절 유사체라는 두 외부 시뮬레이터에서 이러한 이론적 결과를 실증적으로 검증한다. 실험은 잠재 컨텍스트 하에서의 비식별 가능성을 재현하고, 잠재 엣지 하에서 구조-메커니즘 교란을 드러내며, 표적 개입 하에서 경로 수준 입출력 관계를 복원하는데, 이는 우리의 긍정적 마르코프 커널 식별 가능성 결과와 일치한다. 종합하면, POSCM은 컨텍스트, 그래프 구조, 메커니즘, 측정값이 공동 생성되며 부분적으로만 관측되는 인과 시스템을 위한 개입 지향 프레임워크를 제공한다.

arXiv:2607.11920v1econ.EM

주관적 기대 효용 최대화에 대한 민감도: 방법론 연구 및 LLM 의사결정에 대한 예시 적용

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

불확실성 하에서 내린 결정을 평가하기는 라벨이 붙은 결과가 희소하거나, 비용이 크거나, 운에 의해 교란될 때 어렵다. 우리는 주관적 기대 효용(SEU) 최대화를 명시된 기준으로 간주하고, 에이전트가 이에 부합하는 정도를 나타내는 단계적 척도인 SEU 민감도를 정의한다. 이를 위한 수단은 SEU 값을 갖는 대안들에 민감도 매개변수 $α$를 둔 소프트맥스 선택 모델이며, 기여는 $α$ 및 신념·효용 매개변수 $(β, δ)$에 대한 일련의 식별 가능성 결과로, Stan에서 사전 예측 검사, 매개변수 복원, 시뮬레이션 기반 보정(SBC)을 통해 검증되었고 유한 표본 한계는 그대로 유지된다. 불확실 선택만 있는 모델 $m_0$에서 $α$는 기대 효용 벡터 $η$가 주어지면 식별 가능하며 선명하게 복원되지만, $(β, δ)$는 약하게만 정보를 얻는다: 사후분포는 거의 수축하지 않으며 $β$-$δ$ 절충에 집중된다. 확장 모델 $m_1$에서 $δ$는 원칙적으로 $β$가 없는 위험 블록을 통해 식별 가능해지지만, 현실적인 표본 크기에서의 실질적 복원 이득은 무시할 만하다(동일 개수 기준 신뢰구간 폭 감소 1% 미만), 그리고 그 블록은 동일 선택 개수에서 검출된 $α$ 정밀도 이득을 제공하지 않는다. 이 둘은 서로 다른 현상이다: $δ$의 경우 식별 가능성이 현실적인 $n$에서 정밀한 추정 가능성을 함의하지 않으며, $α$의 경우 식별 가능성은 유한 $n$ 정밀도를 지배하는 요인에 대해 말하지 않는다. 두 모델 모두에서 공동 사후분포가 약하게 정보를 얻는 경우에도 한계 SBC는 통과한다 — 우리가 정밀히 구분하는 경계이다. 2×2 적용(GPT-4o와 Claude 3.5 Sonnet 각각에 대해 보험 청구 분류와 엘스버그 스타일 도자기 문제, 샘플링 temperature를 조작 변수로)이 실제 LLM 선택 데이터에서 처음부터 끝까지 실행되어, 네 셀 중 두 셀에서 구조화된 비교적 $α$ 효과를 검출한다.

arXiv:2505.15987v5cs.LG

개입적 확률 미분 방정식의 식별 가능성을 향하여

Towards Identifiability of Interventional Stochastic Differential Equations

우리는 다중 개입(intervention) 하에서 확률 미분 방정식(SDE)의 식별 가능성(identifiability)을 연구한다. 본 연구의 결과는 정상 분포(stationary distribution)로부터의 샘플이 주어졌을 때 SDE 파라미터의 고유 복원에 대한 최초의 증명 가능한 경계를 제공한다. 선형 SDE에 대한 필요 개입 횟수의 엄밀한 경계와, 소음이 작은 체계(small noise regime)에서 비선형 SDE에 대한 상한을 제시한다. 합성 데이터에서 실제 파라미터 복원을 실험적으로 검증하고, 이론적 결과에 동기를 얻어 유전자 조절 역학(gene regulatory dynamics) 적용에서 학습 가능한 활성화 함수(learnable activation function)를 갖는 파라미터화의 이점을 보인다.

arXiv:2606.12471v2stat.ML

가우시안성 없는 식별 가능성: 기호적 월드 모델과 거의 무한한 시간적 일관성

Identifiability Without Gaussianity: Symbolic World Models and Near-Infinite Temporal Consistency

기존 통계적 월드 모델(statistical world models)이 가우시안(Gaussian) 환경에 국한되어 시간적 일관성(temporal consistency)을 유지하기 어렵다는 한계를 극복하기 위해 Physics-Grounded Symbolic Architecture (PGSA)를 제안한다. PGSA는 잠재 분포와 무관하게 정확한 선형 식별 가능성(linear identifiability)을 달성하며 거의 무한한 시간적 일관성을 보장함을 증명했다.

arXiv:2607.01749v1q-bio.QM

정적 스냅샷으로부터 공간적 확률론적 동역학을 위한 물리 정보 기반 추론의 식별 가능성 한계

Identifiability Limits of Physics-Informed Inference for Spatial Stochastic Dynamics from Static Snapshots

정적 공간 스냅샷에서 공간적으로 이질적인 확산계수, 생성, 소멸 등의 동역학을 추론할 수 있는 조건을 분석한 연구로, 구조적 식별 가능성(identifiability) 분석을 통해 분산 소스는 비식별 가능하지만 전사 위치(transcription site)와 같은 점 소스는 식별 가능성을 회복함을 증명하였다. 물리 정보 기반(physics-informed) 머신러닝 방법들(DTO, PINN, BiLO)을 단일 스냅샷 추론에 적용하여 효과적인 공간 이질성 복원을 시연하였으며, 경계 조건 및 확률론적 미적분 관례와 같은 모델링 선택이 식별 가능성 한계를 추가로 결정함을 밝혔다.

arXiv:2606.27285v2cs.LG

해 데이터로부터 지배 방정식 복원: 선형 및 비선형 ODE의 식별 가능성 한계

Recovering Governing Equations from Solution Data: Identifiability Bounds for Linear and Nonlinear ODEs

관측된 해 데이터로부터 지배 방정식을 학습하는 것은 과학적 머신러닝(scientific machine learning)에서 근본적인 과제이지만, 다중 해 관측으로부터 ground-truth ODE를 고유하고 안정적으로 식별할 수 있는 이론적 조건은 여전히 거의 발전되지 않았으며, 이러한 학습 과제의 표본 복잡도(sample complexity)에 대한 정량적 분석은 문헌에 존재하지 않는다. 이 공백을 메우기 위해, 우리는 해 집합(solution set) 위의 하우스도르프 거리(Hausdorff distance)를 미분방정식을 비교하는 자연스러운 거리(metric)로 도입한다. 이는 허용 가능한 모든 초기 조건에 걸친 두 방정식 간의 최악(worst-case) 분리를 포착하며, 따라서 식별 문제의 미니맥스(minimax) 구조를 인코딩한다. 우리는 선형 ODE부터 Lipschitz(Hölder) 연속 벡터장(vector field)을 갖는 비선형 클래스에 이르는 넓은 구조 방정식(structure equations) 계열에 걸쳐 지배 ODE에 대한 식별 가능성 한계를 확립하고, 해 데이터로부터 두 개의 서로 다른 방정식을 정확히 언제 구별할 수 있는지 특성화한다. 이 거리(metric)를 사용하여, 우리는 관련 ODE 클래스에 대한 메트릭 엔트로피(metric entropy) 추정을 유도하고 표본 복잡도 한계를 분석하여, 지배 방정식을 신뢰성 있게 복원하는 데 필요한 해 관측의 수를 정량화한다.

arXiv:2606.21385v1cs.LG

타협 없는 비지도 분리: 기능적 직교성이 식별 가능성을 어떻게 보장하는가

Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability

이 논문은 기능적 관점에서 비지도 분리 표현 학습을 탐구한다. 우리는 잠재 개념을 관측에 국소적으로 직교하는 방향을 통해 영향을 미치는 요인으로 정의하며, 이를 생성 매핑의 야코비안에 대한 직교성 제약으로 형식화한다. 잠재 영역이 요인 값의 모든 조합을 허용하는 한, 이 조건은 통계적 독립성이나 인과적 가정을 요구하지 않고도 일반적인 비선형 생성 모델의 식별 가능성을 제공함을 증명한다. 직교성 정규화를 적용한 normalizing flows 실험은 이론을 실증적으로 확인하고, ground-truth 요인의 신뢰할 수 있는 복원을 보여주며, VAE의 성공에 대한 통찰을 제공한다. 이러한 발견은 비지도 분리에 대한 지배적인 불가능성 주장에 도전하며, 원칙적인 대안적 기반을 제공한다.

arXiv:2606.20569v1cs.AI

공적응 신경 인터페이스에서 사용자 적응의 식별 가능성

On the Identifiability of User Adaptation in Co-Adaptive Neural Interfaces

우리는 공적응 인간-기계 시스템에서 식별 가능성을 분석한다. 폐루프(closed-loop) 인코더 추정치는 사용자 적응을 유일하게 식별하지 못하며, 대신 공동 시스템의 특성을 반영함을 보인다. 행동 적응 해석에 대한 함의를 논의하고, 식별을 위한 조건을 제안한다.

arXiv:2606.19361v1cs.LG

계산적 식별 가능성

Computational Identifiability

식별 조건은 사용 가능한 정보의 유형과 양의 함수로서 대상 쿼리 또는 관심 매개변수의 계산 가능성을 설명합니다. 인과 식별(causal identification)에서 이 정보는 종종 인과 그래프(causal graph)의 형태로 표현되며, 그래프 내 변수들의 부분 집합에 대해 데이터가 관찰되거나 수집됩니다. 대상 쿼리는 단일 효과에만 해당하거나 주어진 모델(model) 내의 효과 부류(class)에 해당할 수 있습니다. 식별 알고리즘의 도출은 이론적으로 기대값(expectation) 측면에서 원하는 인과 효과(들)를 유일하게 결정할 수 있는 과정을 수학적으로 정의합니다. 기대값에서의 식별 가능성, 즉 '이론적 식별 가능성(theoretical identifiability)'은 일반적으로 점근적 성질, 무한 데이터 또는 기타 수학적으로 이상화된 조건을 가정합니다. 본 논문에서 우리는 이러한 이론적이고 이상화된 식별 가능성 개념과 계산에 의해 제한된 제안된 대안 사이의 근본적인 차이를 탐구합니다. 우리가 제안하는 프레임워크인 '계산적 식별 가능성(computational identifiability)'은 대신 경험적 추정량(empirical estimator)에 대한 유한한 계산 탐색 절차를 정의하는 것입니다. 이 과정이 원하는 오차 허용치 내에서 경험적으로 추정량을 찾는다면, 탐색의 지정된 가정(즉, 매개변수(parameter)에 대한 사전 분포)과 탐색 절차 자체를 조건으로 식별 가능성이 충족됩니다. 여러 실험을 통해 우리는 이 프레임워크가 작은 유한 표본, 모호한 그래프 기준, 혼합된 관찰-개입 데이터, 그리고 반사실 데이터 및 추정 대상(estimands)에 걸친 식별과 같은 세분화되고 실용적인 식별 질문에 답할 수 있게 하는 방법을 보여줍니다. 코드는 https://github.com/lbynum/metadentify 에서 확인할 수 있습니다.

arXiv:2606.18509v1cs.LG

컨셉 변조 모델: 식별 가능성과 외삽을 위한 통합 프레임워크

Concept Modulation Models: A Unified Framework for Identifiability and Extrapolation

조건부 잠재 변수 모델에서 식별 가능성(identifiability)과 외삽(extrapolation) 보장이 모델별로 분리되어 있던 문제를, 속성이 변조기를 거쳐 잠재 컨셉을 생성하는 컨셉 변조 모델(CMMs)로 통합하고 속성 포텐셜(attribute potentials)을 통해 전이 기반 식별 가능성을 조건부 설정으로 확장한다. 관측 속성에서의 특징 일치가 관측되지 않은 속성까지 이어질 조건을 대수적으로 제시하며, nonlinear ICA, 인과 표현 학습(causal representation learning), 섭동 모델링 등 기존 결과의 공통 증명 구조를 드러내 모델별 강성 논증과 결합해 기존 보장을 회복한다.

arXiv:2505.11846v3cs.LG

칼날 위의 학습: 다항식 신경망의 식별 가능성과 특이점

Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks

대수기하학적 도구를 활용하여 다항식 활성화 함수를 사용하는 다층 퍼셉트론(MLP)과 합성곱 신경망(CNN)의 식별 가능성과 특이점을 분석했습니다. 특히 MLP의 경우 희소 서브네트워크에서 발생하는 특이점이 평균 제곱 오차 손실의 임계점이 되어 희소성 편향을 기하학적으로 설명함을 입증했습니다.

arXiv:2408.17221v3cs.LG공식 코드 · Papers with Code

Lightning Self-Attention의 기하학: 식별 가능성과 차원

Geometry of Lightning Self-Attention: Identifiability and Dimension

정규화가 없는 셀프 어텐션 네트워크의 함수 공간 기하학을 대수 기하학적 도구를 통해 분석하여, 임의의 계층에 대한 식별 가능성과 함수 공간의 차원을 계산한다. 또한 단일 계층 모델에 대한 특이점 및 경계점을 특성화하고 정규화된 셀프 어텐션 네트워크로의 확장을 수치적으로 검증한다.