arXiv:2406.10537

Scalable Differentiable Causal Discovery in the Presence of Latent Confounders with Skeleton Posterior (Extended Version)

Pingchuan Ma, Rui Ding, Qiang Fu, Jiaru Zhang, Shuai Wang, Shi Han, Dongmei Zhang

제출 2024-06-15

원문 초록

Differentiable causal discovery has made significant advancements in the learning of directed acyclic graphs. However, its application to real-world datasets remains restricted due to the ubiquity of latent confounders and the requirement to learn maximal ancestral graphs (MAGs). To date, existing differentiable MAG learning algorithms have been limited to small datasets and failed to scale to larger ones (e.g., with more than 50 variables). The key insight in this paper is that the causal skeleton, which is the undirected version of the causal graph, has potential for improving accuracy and reducing the search space of the optimization procedure, thereby enhancing the performance of differentiable causal discovery. Therefore, we seek to address a two-fold challenge to harness the potential of the causal skeleton for differentiable causal discovery in the presence of latent confounders: (1) scalable and accurate estimation of skeleton and (2) universal integration of skeleton estimation with differentiable causal discovery. To this end, we propose SPOT (Skeleton Posterior-guided OpTimization), a two-phase framework that harnesses skeleton posterior for differentiable causal discovery in the presence of latent confounders. On the contrary to a ``point-estimation'', SPOT seeks to estimate the posterior distribution of skeletons given the dataset. It first formulates the posterior inference as an instance of amortized inference problem and concretizes it with a supervised causal learning (SCL)-enabled solution to estimate the skeleton posterior. To incorporate the skeleton posterior with differentiable causal discovery, SPOT then features a skeleton posterior-guided stochastic optimization procedure to guide the optimization of MAGs. [abridged due to length limit]

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.23986v4math.OC공통 태그 Stochastic Optimization

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

arXiv:2610.13590v2math.OC공통 태그 Stochastic Optimization

강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한

Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets

최근 결과들[arXiv:2602.04378, arXiv:2602.22608]은 강볼록 집합 위의 최적화에 대한 하한을 각각 특정 Frank-Wolfe 갱신과 제한 없는 결정론적 1차 선형 최소화 오라클(LMO) 방법에 대해 확립하였다. 어느 쪽도 제한 없는 무작위화 방법에 대한 하한은 확립하지 못한다. 우리는 최종 출력이 모든 인스턴스와 시드에서 실현 가능해야 한다는 조건 하에, 강볼록 집합 위의 무작위화 1차 LMO 방법에 대해 오라클 호출 $T$회 후 $\Omega(L\operatorname{diam}(S)^2/T^2)$ 분포적 하한을 증명함으로써 이 간극을 메운다. 우리의 구성은 [arXiv:2602.22608]의 족을 재사용하지만, 증명은 적응적 질의 이후 숨겨진 순열의 조건부 분포를 규명하고 최적화기 분산을 제어하는 조합적 통계량의 기대 감소량에 대한 상계를 제시한다. 또한 동일한 오차 임계값이 적어도 $3/4$의 확률로 성립하며 정지 시간 꼬리 한계를 도출함을 보인다. 우리의 구성은 [arXiv:2602.22608]과 동일한 곡률-지름 결합을 사용한다. 상계 [arXiv:1406.1305]와의 비교는 이 결합을 반드시 고려해야 한다. 별도로, 규정된 느린 정확 직선 탐색 Frank-Wolfe 궤적이 충분히 작은 초기화 오차를 국소적으로 증폭할 수 있음을 보이며, 이는 반복당 대략 1비트의 추가 초기화 정확도에 해당한다. 또한 특정한 최종 느린 포락선을 만족하는 초기화는 평면 측도가 0임을 보인다.

arXiv:2606.28109v3cs.NE공통 태그 Stochastic Optimization

MMAO: 연속 및 이산 최적화를 위한 내인성 자원 할당 기반 대사적 다중 에이전트 옵티마이저

MMAO: A Metabolic Multi-Agent Optimizer with Endogenous Resource Allocation for Continuous and Discrete Optimization

전통적인 메타휴리스틱은 흔히 고정된 개체군 크기, 수동으로 선택한 탐색 스케일, 외부에 부착된 파라미터 제어 모듈에 의존한다. 본 논문은 개별-공공 대사 자원 순환으로부터 적응이 내생적으로 도출되는 교차 도메인 최적화 프레임워크인 대사 다중 에이전트 최적화기(MMAO)를 제시한다. 각 에이전트는 내부 에너지, 연속적인 역할 상태, 이동 또는 구조 기억, 국소 탐색 이력을 지니며, 개체군은 공동 자원 풀을 공유한다. 적합도 향상은 강건한 진행 스케일과 최근 성공 통계를 통해 정규화된 대사 이득으로 변환되고, 동일한 폐루프가 감지 강도, 탐색 진폭, 역할 변동, 분기, 가지치기, 재생성, 엘리트 재투자를 조절한다. 연속 환경에서 MMAO는 에너지로 조절되는 대칭 영차 탐침과 역할 보간 이동을 사용한다. 이산 환경에서는 동일한 제어 법칙이 구조적 감지, 국소 경로 개선, 유도된 섭동, 에너지 가중 간선 재사용을 통해 구현된다. 본 논문은 구현에 충실한 정식화와 CEC2017 부분집합(10D/30D, 20개 시드) 및 5개의 TSPLIB 인스턴스(이산 실행 총 100회)에 대한 재현 가능한 실험 연구를 결합한다. 현재의 증거는 MMAO를 보편적으로 우월한 최적화기로서가 아니라, 주로 파라미터 부담이 적고 자기 보정하는 최적화 프레임워크로서 뒷받침하며, 그 주된 검증된 독창성은 이질적인 탐색 행동 전반에 걸친 대사적으로 내생적인 자원 할당에 있다.

arXiv:2606.31584v3cs.NE공통 태그 Stochastic Optimization

공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가

A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks

본 논문은 프레임워크 자체를 다시 소개하는 대신, 더 엄격한 경험적 프로토콜 하에서 대사 다중 에이전트 최적화기(MMAO)를 평가한다. 연구는 MMAO의 폐루프 자원 할당 원리가 더 광범위하고 더 표준적이며 예산이 더 명시적으로 통제된 연속 및 이산 벤치마크에서도 신뢰성을 유지하는지를 묻는다. 완료된 주요 행렬은 각각 20개 시드를 갖는 10D와 30D의 CEC2017 함수 8개와 각각 20개 시드를 갖는 TSPLIB 인스턴스 5개를 다루며, PSO-lite, ES-lite, 반복 탐욕 2-opt 경로 기준선을 포함한 더 강력한 재현 가능 기준선과 함께 평가한다. 여기에 공동 예산, 성공률, 역할 진화, 개체군 교체에 대한 궤적 수준 진단을 추가하고, 이산 증거를 경로 문제 너머로 확장하기 위해 보조적인 OR-Library 다중 배낭 문제 일부도 더한다. 이 프로토콜 하에서 MMAO는 연속 영역과 TSPLIB 영역 모두에서 외부 기준선 집합을 뚜렷하게 능가하며, 제거 변형들은 외부 기준선보다 전체 방법에 훨씬 더 가깝게 유지된다. 결과는 시험한 영역 전반에서 내생적 자원 재분배를 뒷받침하지만, 더 정밀한 메커니즘 분리와 더 폭넓은 대회 수준 비교는 열린 과제로 남는다.

arXiv:2607.00846v3cs.NE공통 태그 Stochastic Optimization

MMAO-Dyn: 동적 최적화를 위한 대사 다중 에이전트 최적화기

MMAO-Dyn: A Metabolic Multi-Agent Optimizer for Dynamic Optimization

본 논문은 대사 다중 에이전트 최적화기(MMAO)를 핵심 대사 제어 루프를 외부 적응 모듈로 대체하지 않고도 동적 최적화 기법으로 신뢰성 있게 유도할 수 있는지를 연구한다. 제안하는 MMAO-Dyn은 개별 에너지, 공동 예산, 역할 변동, 성공 피드백, 생애주기 교체를, 환경 변화가 이전에 유용했던 국소 구조를 반복적으로 무효화하는 비정상 환경에 대응시킨다. 이동된 sphere, 이동된 Ackley, 이동된 Rastrigin 지형을 $10D$, $20D$, $30D$에서 다루고, 두 가지 변화 강도와 시나리오당 12개의 시드를 갖는 18개 시나리오의 합성 동적 연속 벤치마크 행렬에서 MMAO-Dyn을 평가한다. 비교 계층에는 동적 유도를 적용하지 않은 일반 MMAO 변형, 동적 랜덤 탐색, 동적 PSO-lite, 동적 DE-lite, 그리고 세 가지 내생적 제거 변형이 포함된다. 전체 216회 실행 행렬에서 MMAO-Dyn은 평균 오프라인 오차 $28.07$을 달성하여 Generic-MMAO($29.36$), Dynamic-PSO-lite($34.65$), Dynamic-DE-lite($67.09$), Dynamic-RandomSearch($111.37$)를 앞선다. 이득은 sphere와 Rastrigin 계열의 종합 강건성과 일반 백본 대비 변화 후 10단계 회복에서 가장 뚜렷한 반면, Dynamic-PSO-lite와의 시드 정렬 비교는 승패 횟수에서 여전히 불리하며 NoMemoryRefresh 제거 변형은 전체 방법과 매우 가깝게 유지된다. 결과는 대사 순환을 동적 최적화로 확장하는 것을, 특히 회복 지향적 자원 재분배를 통해 뒷받침한다.

arXiv:2607.01551v3cs.NE공통 태그 Stochastic Optimization

MMAO: 대사 폐루프 메타휴리스틱의 메커니즘 및 안정성 분석

MMAO: Mechanism and Stability Analysis of Metabolic Closed-Loop Metaheuristics

본 논문은 대사 다중 에이전트 최적화기(Metabolic Multi-Agent Optimizer, MMAO)를 구현이나 벤치마크 수준이 아닌 프레임워크 수준에서 연구한다. 핵심 질문은 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체로 이루어진 대사 자원 순환이 서사적 비유를 넘어서는 프레임워크 수준의 해석을 가지는가이다. 도메인 특화 이동 연산자는 추상화하되 프레임워크를 규정하는 자원 장부 관리는 유지하는 일반적인 MMAO 상태 모델을 도입한다. 완만한 이득 유계 및 지출 유계 가정 하에서 개별 에너지, 공동 예산, 역할 상태, 활성 개체군 크기에 대한 유계성과 비음수성을 증명한다. 이어서 순환의 세 가지 내생적 행동 양상을 규명한다. 지속적인 자원 부족 하의 수축, 공동 축적 잉여 하의 재투자, 에이전트 또는 하위 집단 간 이질적인 한계 수익 하의 탐색 재분배가 그것이다. 이 분석은 의도적으로 보수적이다. 전체 적응 시스템의 전역 수렴, 전문 최적화기에 대한 보편적 우월성, 결과 과정의 완전한 정상상태 특성화를 주장하지 않는다. 대신 어떤 내부 조절 특성이 순환의 일반적 귀결이고 어떤 것이 구현에 따라 달라지는지를 식별한다. 대표적인 연속 및 이산 MMAO 구현에 대한 간결한 메커니즘 검증 패키지는 이러한 해석을 뒷받침하는 경험적 증거를 제공하지만 전체 벤치마크 연구를 대체하려는 것은 아니다. 이 분석은 MMAO에 대해 유계적, 재생적, 자원 조절적 해석을 제공하며, 구현 수준의 성능 문제는 열어 둔다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.