arXiv:2102.12853

CausalX: Causal Explanations and Block Multilinear Factor Analysis

M. Alex O. Vasilescu, Eric Kim, Xiao S. Zeng

제출 2021-02-25

원문 초록

By adhering to the dictum, "No causation without manipulation (treatment, intervention)", cause and effect data analysis represents changes in observed data in terms of changes in the causal factors. When causal factors are not amenable for active manipulation in the real world due to current technological limitations or ethical considerations, a counterfactual approach performs an intervention on the model of data formation. In the case of object representation or activity (temporal object) representation, varying object parts is generally unfeasible whether they be spatial and/or temporal. Multilinear algebra, the algebra of higher-order tensors, is a suitable and transparent framework for disentangling the causal factors of data formation. Learning a part-based intrinsic causal factor representations in a multilinear framework requires applying a set of interventions on a part-based multilinear model. We propose a unified multilinear model of wholes and parts. We derive a hierarchical block multilinear factorization, the M-mode Block SVD, that computes a disentangled representation of the causal factors by optimizing simultaneously across the entire object hierarchy. Given computational efficiency considerations, we introduce an incremental bottom-up computational alternative, the Incremental M-mode Block SVD, that employs the lower-level abstractions, the part representations, to represent the higher level of abstractions, the parent wholes. This incremental computational approach may also be employed to update the causal model parameters when data becomes available incrementally. The resulting object representation is an interpretable combinatorial choice of intrinsic causal factor representations related to an object's recursive hierarchy of wholes and parts that renders object recognition robust to occlusion and reduces training data requirements.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27276v1cs.AI공통 태그 Computational Efficiency, counterfactual

DRSR: 효율적인 장기 지평 에이전트를 위한 집합 수준 삭제 위험 학습

DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents

장기 지평 언어 모델 에이전트는 추론 추적, 도구 교환, 관측을 축적하며, 이들의 관련성은 현재 의사결정에 따라 달라진다. 기존 압축 전략은 종종 과거 단위를 독립적으로 점수화하지만, 여러 단위를 삭제하는 것의 안전성은 일반적으로 각 단위의 개별 점수만으로 결정되지 않는다. 중복 증거, 누적된 미세 효과, 삭제 후 남는 정보가 모두 중요하다. 우리는 에이전트 이력 압축을 삭제 집합에 대한 위험 제약 선택 문제로 공식화하는 Direct Relational Set-Risk Pruning(DRSR)을 제안한다. 오프라인에서 DRSR은 프로토콜상 유효한 이력 Block을 공동으로 삭제하고, 동일하게 기록된 다음 출력에 대한 teacher-forced 가능도 변화를 측정하여 정확한 반사실(counterfactual) supervision을 구성한다. 경량 scorer는 후보 이력과 현재 행동 전(pre-action) 상태 사이의 온라인에서 관측 가능한 관계, 삭제-유지 및 pairwise 집합 구조와 함께 집합 수준 해로함을 예측한다. 배포 시 DRSR은 경량 scorer로 구조적으로 유효한 소수의 삭제 후보를 평가하고, 최근성, 프로토콜, 예산, 학습된 위험 제약 하에서 제거 가능한 최대 집합을 제거하며, 충분히 안전한 집합이 없으면 삭제를 보류(abstention)한다. WorkBuddyBench Full260에서 DRSR은 평균 보상을 0.699에서 0.802로 높이는 동시에 총 모델 토큰을 20.820% 줄인다. 고정된 Eval40 비교에서, 압축하지 않은 에이전트 대비 35.850% 적은 토큰을 사용하며 작업당 1.211M 토큰에서 0.794 보상을 달성한다. 기전 분석과 ablation은 또한 의사결정 조건부 관계, 유지된 컨텍스트 정보, 쌍 상호작용, 보류(abstention)가 각각 신뢰할 수 있는 가지치기에 기여함을 보여준다.

arXiv:2609.26249v2cs.CL공통 태그 Computational Efficiency

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.