분기점 찾기: 데이터 분석 의사결정 중요도를 위한 DECIDE 프레임워크
Pinpointing Pivot Points: The DECIDE Framework for Data Analysis Decision Importances
한국어 초록
데이터 과학 생애주기 전반에서 이루어지는 사람의 판단은 데이터에서 도출되는 결론을 바꿀 수 있다. 독립적인 분석가들은 동일한 데이터가 주어져도 서로 다른 선택을 하는 경우가 많으며, 이는 종종 용납하기 어려운 결과 변동으로 이어져 과학 분야 전반의 재현성 위기를 심화시킨다. 에이전트 도구의 급속한 도입은 이러한 위기를 증폭할 우려가 있다. 이러한 변동을 다루기 위해 여러 접근법이 개발되었으며, 이들은 분석적 의사결정의 서로 다른 조합 아래에서 분석을 반복하고 결과의 분포를 살펴본다는 동일한 전략을 따른다. 그 예로 멀티버스 분석, 명세 곡선 분석, 효과의 진동이 있다. 더 넓게는 예측 가능성-계산 가능성-안정성(PCS) 프레임워크가 데이터 과학 생애주기 전반에 걸쳐 문서화된 판단이 결론에 어떤 영향을 미치는지 평가하며, 이때 예측 가능성은 모델이 신호를 포착하는지 확인하는 현실성 점검의 역할을 한다. 이러한 접근법은 각각 '멀티버스' 객체를 산출한다. 결과의 분포는 결론의 전반적 변동성을 반영하지만, 개별 의사결정의 영향을 추정하려면 추가적인 도구가 필요하다. 흔한 휴리스틱은 이러한 의사결정으로부터 결과를 예측하는 모델을 학습시키고, 그 계수나 특성 중요도를 각 의사결정의 영향에 대한 대리 지표로 취급하는 것이다. 이 전략은 일부 경우에는 효과가 있을 수 있으나, 모델이 올바르게 명세되고 결과를 정확하게 예측한다고 가정하며, 본 논문은 이것이 항상 성립하지는 않음을 보인다. 본 연구에서는 설계상 예측 가능성 문제를 회피하면서, 타당한 의사결정 공간 전반의 실제 결과로부터 각 의사결정의 중요도를 정량화하는 모델 비의존적 프레임워크인 DECIDE를 제안한다. 실제 멀티버스 분석에 DECIDE를 적용하여 그 효과를 입증한다. 아울러 우리가 아는 한 최초의 멀티버스에 대한 형식적 정의를 제시한다.
원문 초록
Human judgment calls made throughout the data science life cycle can change the conclusions drawn from data. Independent analysts often make different choices when given the same data, leading to often unacceptable variations in results and contributing to the ongoing reproducibility crisis across scientific disciplines. The rapid adoption of agentic tools threatens to amplify this crisis. Several approaches have been developed to address this variation by following the same strategy: repeating an analysis under different combinations of analytical decisions and inspecting the distribution of outcomes. Examples include multiverse analysis, specification curve analysis, and vibration of effects. More broadly, the Predictability-Computability-Stability (PCS) framework assesses how documented judgment calls across the data science life cycle affect conclusions, with predictability serving as a reality-check that a model captures signal. Each of these approaches results in a "multiverse" object. While the distribution of outcomes reflects the overall variability of conclusions, estimating the influence of each individual decision requires additional tools. A common heuristic is to train a model to predict the outcome from these decisions and treat its coefficients or feature importances as proxies for each decision's influence. Although this strategy may work in certain cases, it assumes the model is correctly specified and accurately predicts the outcome, which we show is not always the case. In this work, we introduce DECIDE, a model-free framework that quantifies each decision's importance from the actual outcomes across the plausible decision space, avoiding issues of predictability by design. We demonstrate the effectiveness of DECIDE by applying it to real-world multiverse analyses. We further provide what is, to our knowledge, the first formal definition of the multiverse.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.