Fixed effects testing in high-dimensional linear mixed models
원문 초록
Many scientific and engineering challenges -- ranging from pharmacokinetic drug dosage allocation and personalized medicine to marketing mix (4Ps) recommendations -- require an understanding of the unobserved heterogeneity in order to develop the best decision making-processes. In this paper, we develop a hypothesis test and the corresponding p-value for testing for the significance of the homogeneous structure in linear mixed models. A robust matching moment construction is used for creating a test that adapts to the size of the model sparsity. When unobserved heterogeneity at a cluster level is constant, we show that our test is both consistent and unbiased even when the dimension of the model is extremely high. Our theoretical results rely on a new family of adaptive sparse estimators of the fixed effects that do not require consistent estimation of the random effects. Moreover, our inference results do not require consistent model selection. We showcase that moment matching can be extended to nonlinear mixed effects models and to generalized linear mixed effects models. In numerical and real data experiments, we find that the developed method is extremely accurate, that it adapts to the size of the underlying model and is decidedly powerful in the presence of irrelevant covariates.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
의사결정 충분 사후 분포 근사
Decision-Sufficient Posterior Approximation
우리는 사후 분포 근사가 특정한 하위(downstream) 의사결정 문제를 보존하도록 요구할 때 발생하는 결과를 조사한다. 목표 사후 분포 $P$와 손실은 행동(action)에 대한 리그렛(regret) 기하 구조를 결정하고, 기준선 근사 $Q_0$는 행동 변화를 유도하는 데 필요한 전방(forward) Kullback-Leibler 정보량을 결정하며, 제한된 근사 가족 $\mathcal{Q}$는 그러한 변화 중 어떤 것이 가능한지를 결정한다. 베이즈 행동(Bayes-action) 섬유(fiber)에 대해 KL 발산을 수축시키면, 의사결정 적절성(decision adequacy)과 의사결정 실패(decision failure)까지의 정확한 거리를, 결정 경계의 양쪽에 도달하는 최소 정보량의 사후 분포 변형(deformation)과 함께 얻을 수 있다. 정규(regular) 유한 차원 문제에서 목표 및 기준선 구성은 2차(quadratic) 국소 극한을 가지며, 이는 목표 리그렛 헤시안 $G$와 기준선 정보 메트릭 $J_I$이다. 이들의 일반화 고유값 문제(generalized eigenproblem) $Gv = γJ_Iv$는 단위 정보 비용당 리그렛 결과에 따라 국소 의사결정 방향들을 정렬하며, 허용 오차(tolerance)에 의존하는 유효 차원(effective dimension)을 유도한다. 제한된 근사 가족의 경우, 탄젠트 이미지(tangent image)는 의사결정 범위(decision coverage)와 정보 효율성(information efficiency)을 구분한다: 어떤 가족은 중요한 의사결정 방향을 놓칠 수 있고, 또는 도달 가능한 방향을 과도한 피셔(Fisher) 비용으로만 실현할 수도 있다. 이 프레임워크는 사후 분포 근사 가족을 비교하고 설계하기 위한 의사결정 상대적(decision-relative) 기준을 제공한다.
임계값 인지 컨포멀 라우팅
Threshold-Aware Conformal Routing
고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.
빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가
Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses
에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.
Forecast Workflow Bench: 예산 제약 예측 도구를 활용한 언어 모델 의사결정 평가
Forecast Workflow Bench: Evaluating Language-Model Decisions with Budgeted Forecast Tools
시계열 파운데이션 모델(TSFM)은 운영 의사결정을 위한 예측을 제공하지만, 정확도만으로는 그 가치를 판단할 수 없다. 이러한 모델을 사용하는 에이전트를 평가하려면 의사결정 품질과 예측 비용을 측정해야 한다. FWBench는 고정된 예측 도구와 시뮬레이션된 용량 계약을 사용하여 전력 및 자전거 대여 사례 1,251건에 대해 이 역량을 평가한다. 에이전트는 모델, 이력(history) 및 예측 구간(horizon)을 선택한 뒤, 명시된 손실-비용 목적을 최소화하도록 용량을 제출한다. 호스팅 2종과 소형 언어 모델을 포함한 로컬 8종 구성을 평가했으며, TSFM 유무에 따른 로컬 모델도 시험했다. GPT-6 Astra는 예산의 2.5%만 사용해 저렴한 단기 예측을 선택적으로 구매했으며, 절감된 의사결정을 세 가지 손실-비용 가중으로 채점했을 때 고정 정책을 능가했다. FWBench는 비용 제약 하에서 언어 모델이 시계열 예측을 어떻게 선택하고 활용해 의사결정하는지 재현 가능하게 평가할 수 있게 한다.
콘텐츠 민감형 자원 할당을 통한 예산 제약 이미지 분류 탐구
Exploring Budgeted Image Classification with Content-Sensitive Resource Allocation
인공지능(AI)의 지속적으로 증가하는 도입은 다양한 컴퓨팅 환경에서 심층 신경망(Deep Neural Networks)을 배포할 필요를 만들어낸다. 우리는 컴퓨팅 요구사항이 변화하는 동적 환경을 고려하며, 변화하는 컴퓨팅 제약을 충족하면서 AI 분류 시스템의 복잡도를 어떻게 조정해야 정확도를 최대화할 수 있는지라는 질문을 제기한다. 우리는 이 문제를 예산 제약 이미지 분류(Budgeted Image Classification)라고 부르며, 이를 자원 할당 정수 프로그램(integer program)으로 공식적으로 정식화한다. 주어진 컴퓨팅 예산, 배치의 이미지, 그리고 서로 다른 복잡도로 결정을 내릴 수 있는(여러 결정 지점을 갖는) 분류 시스템이 주어졌을 때, 우리는 사용 가능한 예산 내에서 정확도를 최대화하기 위해 이미지를 결정 지점에 할당하는 전략을 탐구한다. 원래의 정수 프로그램은 NP-Hard이므로, 우리는 연속 완화(continuous relaxation)를 제안하며, 이는 이미지의 특정 콘텐츠를 고려하지 않고 결정 지점에 이미지를 할당하는 콘텐츠 비의존적(content-agnostic) 할당 전략으로 이어진다. 우리는 콘텐츠 민감형(content-sensitive) 전략을 제안하여 이 문제를 해결하며, 실험적으로 이 전략이 더 우수한 성능을 이끈다는 것을 보인다. 우리는 전략들의 동작을 이론적으로 연구하여, 예산 제약 분류에 적합하기 위해 결정 지점이 만족해야 하는 조건을 도출한다. 우리는 실패 사례를 분석하여 향후 연구 방향에 대한 통찰을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.