Robust and Explainable Depression Identification from Speech Using Vowel-Based Ensemble Learning Approaches
원문 초록
This study investigates explainable machine learning algorithms for identifying depression from speech. Grounded in evidence from speech production that depression affects motor control and vowel generation, pre-trained vowel-based embeddings, that integrate semantically meaningful linguistic units, are used. Following that, an ensemble learning approach decomposes the problem into constituent parts characterized by specific depression symptoms and severity levels. Two methods are explored: a "bottom-up" approach with 8 models predicting individual Patient Health Questionnaire-8 (PHQ-8) item scores, and a "top-down" approach using a Mixture of Experts (MoE) with a router module for assessing depression severity. Both methods depict performance comparable to state-of-the-art baselines, demonstrating robustness and reduced susceptibility to dataset mean/median values. System explainability benefits are discussed highlighting their potential to assist clinicians in depression diagnosis and screening.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ROBE: 역사 문헌에서 극단적 롱테일 이벤트를 추출하기 위한 역순 편향 전문가(Reversed-Order-Biased-Experts)
ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts
본 논문에서는 17세기와 18세기에 걸친 네덜란드 역사 코퍼스에서 50가지 이상의 이벤트 유형을 추출하는 방법을 제안합니다. 제안하는 방법은 머신러닝에서 매우 도전적인 시나리오인 '롱테일의 롱테일' 추출 문제를 해결하는 것을 목표로 합니다. 19세기 이전의 역사적 데이터는 그 자체로 대규모 언어 모델(LLM)의 사전학습에서 다루어지지 않은 틈새 도메인이며, 본 연구는 이 도메인에서 활용 가능한 학습 데이터 내에서도 극히 드물게 주석 처리된 이벤트를 추출하고자 합니다. 이를 위해 학습 데이터에 존재하는 이벤트의 하위 그룹별로 전문가 분류기를 생성하는 방식을 제안합니다. 이러한 그룹화는 학습 데이터 내의 유사한 빈도나 의미론적 관련성을 기반으로 수행됩니다. 빈도 편향에 의해 압도되는 것을 방지하기 위해, 드물게 나타나는 이벤트에 대해 학습된 전문가에 예측 시 더 높은 우선순위를 부여합니다. 롱테일을 보호하도록 특별히 맞춤 설계된 이러한 새로운 분류기 결합 방식을 ROBE(Reversed-Order-Biased-Experts)라고 부릅니다. 또한 도메인 특화 합성 데이터를 생성하는 제어된 방법도 제안합니다. ROBE의 두 가지 구현은 단순 파인튜닝된 인코더 모델 대비 각각 정밀도에서 0.16, 재현율에서 0.05 향상되어 더 우수한 성능을 보였습니다. 가장 우수한 모델은 해당 틈새 데이터셋의 롱테일 클래스 그룹에 대해 F1 점수를 0.11 향상시켰습니다.
LLM이 동의할 때, 그들은 옳은가? 신뢰도 신호로서의 자기일관성과 모델 간 합의 감사
When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals
LLM-as-judge(Zheng et al., 2023)는 기업 파이프라인에서 AI 시스템을 평가하는 기본 방식으로 점점 더 많이 사용되고 있으며, 종종 앙상블(Verga et al., 2024)이나 판정자 패널 형태의 "전문가 혼합(MoE)"(Shazeer et al., 2017)으로 확장된다. 이러한 시스템들은 핵심 가정을 공유한다: 판정자들 간의 합의, 또는 모델 자체 샘플들 간의 합의인 일관성이 정확성을 나타낸다는 것이다. 우리는 이 가정이 신뢰할 수 없음을 보인다. 합의는 정확성이 아니다: 모델은 진실이 아닌 공유된 바이어스, 암기된 휴리스틱, 또는 선택지-위치 사전 분포로 인해 자기 자신과 동의하거나 서로 다른 모델들이 서로 동의할 수 있다. 우리는 합의가 그럼에도 불구하고 유용한 대리 지표가 되는 경우를 대규모 크로스-러너 연구에서 탐구한다: 53명의 러너가 GPQA Diamond와 AIME에서 모델 계층, 프롬프팅, 규모 비교에 걸쳐 할당된 중복 케이스에 대해 K=50 샘플을 추출하여 총 265,000개의 샘플을 생성하였다. 다수결 정확성을 배포 레이블로, 계층적 러너-클러스터링 부트스트랩을 사용한 결과, 합의는 긍정적이지만 약한 예측 변수(rho 0.20–0.59, 항목-클러스터링 리샘플링 하에서 모두 양수)로, 그 유용성은 체제에 따라 달라진다: 포화되지 않은 중간 계층 모델과 컴퓨팅 할당에는 가장 효과적이고, 가장 일관된 프론티어 모델(GPQA 케이스-결과 항목의 77%에서 합의 ≥0.8, 그 중 48%가 오답)에는 과신뢰하면서도 더 정확하지 않아 최악이다. 세 가지 Claude 계층에 대한 탐색적 크로스-패밀리 검토에서도 동일한 프론티어 과신뢰 현상이 나타나며, 확신에 찬 오류가 주변 보존 귀무 가설을 넘어 여러 공급자에 걸쳐 반복적으로 발생한다. 따라서 자기일관성은 정확성의 조건부 대리 지표이며, 독립적인 신뢰도 점수가 아니다. 우리는 비식별화된 런별 행 데이터와 답변 분포를 공개한다.
국면 조건부 변동성 예측을 위한 Susceptible Reservoir 아키텍처
Susceptible Reservoir Architectures for Regime-Conditional Volatility Forecasting
변동성 예측은 지속성(persistence)과 측정 노이즈(measurement noise)에 의해 지배되어, 비선형 모델이 활용할 수 있는 잔차 구조가 제한적이다. 본 연구에서는 변동성 예측을 위한 reservoir 설계 원칙인 Susceptible Architectures(SUSA)와, 복소값 개방 사슬(open-chain) 및 주기적 reservoir와 국면 조건 전문가(regime-conditioned experts)에 기반한 두 가지 구체적 구현을 제안한다. 이는 평온(calm), 발현(onset), 회복(recovery), 지속적 스트레스(persistent-stress) 상태에 걸친 reservoir 특징을 해석한다. 또한 공통 AR-Ridge 앵커와 QLIKE 하에서 학습된 경계가 있는 잔차 보정을 유지하면서 Qiskit에서 개방계(open-system) $q$-qubit 대응 모델도 구현한다. 16개의 미국 주식 및 상장지수펀드(ETF) 시계열에 대해, 서로 겹치지 않는 세 개의 시간순 학습, 검증, 테스트 폴드, 12관측 입력 윈도우, 5관측 예측 구간(forecast horizon)을 사용하여 모델을 평가한다. 제안 모델은 GARCH와 경쟁력 있는 성능을 보이며, 특정 자산(IWM, XLP)에서 통계적으로 유의한 QLIKE 개선을 달성한다. 또한 모델의 예측은 HARQ 스타일 예측을 보완한다. 스택드 앙상블(stacked ensemble)은 가장 강한 구성 요소 대비 평균 QLIKE를 0.0116만큼 개선하며, 테스트 시나리오의 75%에서 우수한 성능을 보인다.
지속 가능한 도시를 위한 기후 회복력 전기차 충전 인프라: 예방 정비와 저탄소 이동성을 위한 해석 가능한 인과-앙상블 프레임워크
Climate-resilient electric vehicle charging infrastructure for sustainable cities: An interpretable causal-ensemble framework for preventive maintenance and low-carbon mobility
신뢰할 수 있는 전기차(EV) 충전 인프라는 지속 가능한 저탄소 도시의 핵심 요소이지만, 극한 고온, 집중 강수, 습도와 같은 도시 기후 스트레스가 장비 고장 위험을 점점 더 높이고 도시 에너지 및 이동 서비스의 회복력을 약화시키고 있다. 수동적 수리에서 예방 정비로 운영을 전환하려면 정확하고 전향적인 고장 위험 예측이 필수적이며, 이는 물리적·행동적·맥락적·과거 신호의 이질적 시간 척도와 다주(多週) 수준의 예측으로 인해 복잡해진다. 우리는 기후 회복력 충전 자산 관리를 위한 해석 가능한 의사결정 지원 시스템을 구성하는 특징 기반 동적 스태킹 앙상블(FGDSE)을 개발한다. 이는 이질적 신호를 네 가지 특징 계열로 분할하고, 각각을 데이터와 귀납적 바이어스가 맞는 도메인 전문가에 배정하며, 단기 펄스와 장기 열화를 위한 두 개의 심층 시간 전문가를 추가한다. 이후 예측 기간별 게이팅 메커니즘이 1~30일에 걸친 일별 고장 위험을 예측하기 위해 적응적 가중치를 학습한다. SHAP 기여도 분석과 X-learner는 확률적 출력을 충전소(post) 수준 처치 효과를 갖는 인과적 의사결정 지원으로 확장한다. 13개 충전소의 25개월 데이터에서 FGDSE는 10일을 넘는 예측 기간에서 12개 베이스라인을 능가하며, 30일에서 약 85%의 매크로 재현율을 유지하고 AUC 감소는 3.2포인트에 불과하며, 지배 요인이 고장 이력에서 기후 스트레스로 이동함을 보여준다. 극한 고온을 시간이 지남에 따라 인과 효과가 증폭되는 유일한 노출 요인으로 식별하고, 약 30%의 충전소를 고온 민감으로 표시하며, 도시 이동 회복력을 강화하고 저탄소 이동을 지속하는 기후 적응형 정비를 위한 정량적 임계값을 도출한다.
올바른 모델을 병합하고 있는가? LLM 모델 병합에 있어 전문가 학습 기간의 영향
Are we Merging the Right Models? Impact of Expert Training Duration on Model Merging for LLMs
다중 과제 모델 병합(multi-task model merging)은 공동 학습(co-training) 없이 별도로 학습된 전문가(expert) 모델들을 모든 과제를 처리하는 단일 모델로 결합한다. 표준 관행은 전문가를 최적 검증 손실에서 병합한다. 우리는 도메인 전문가의 학습 기간이 병합된 모델의 품질에 어떻게 영향을 미치는지 체계적으로 연구함으로써 이 관례에 이의를 제기한다. 우리는 세 가지 모델 크기(Qwen 3.5 0.8B, 2B, 4B)에서 다섯 도메인(Math, Code, Instruction Following, Multilingual, Safety)에 대해 전문가를 파인튜닝하고, 최적 학습 스텝의 25%에서 500%까지의 체크포인트를 저장한 뒤, 각 기간마다 다섯 가지 병합 방법을 평가한다. 우리의 결과는 주목할 만한 방법 의존적 패턴을 보여준다: 단순 평균화는 과적합과 함께 급격히 성능이 저하되는 반면, 희소화(sparsification) 기반 방법은 검증 최적점을 훨씬 지난 시점에서 최고 성능을 달성한다. 우리는 바이어스-분산(bias-variance) 분해 분석을 통해 이를 형식화하고, 평균화가 높은 분산의 개별 학습기로부터 이익을 얻는 랜덤 포레스트(random forests)와의 유사성을 제시한다. 이 결과는 학습 기간과 병합 방법을 독립적으로가 아니라 함께 선택해야 함을 시사한다.
라우팅, 통신, 추론: 효율적인 다중 에이전트 추론을 위한 게이트 라우팅과 적응적 깊이
Route, Communicate, and Reason: Gated Routing and Adaptive Depth for Efficient Multi-Agent Reasoning
다중 에이전트 앙상블은 활성 파라미터와 추론 비용을 배가시키면서도 세 가지 기본 질문에 답하지 못한다: 어떤 에이전트를 참조할지, 쿼리가 에이전트 계층 구조를 얼마나 깊이 탐색해야 하는지, 그리고 에이전트 간 통신이 그 비용을 감수할 만한 가치가 있는 시점이 언제인지. 우리는 GRADE(Gated Routing and Adaptive Depth for Efficient Reasoning)를 제시한다. GRADE는 4개의 경량 학습된 게이트가 에이전트 선택, 계층 깊이, 에이전트 간 통신, 가지치기를 공동으로 제어하는 계층적 다중 에이전트 시스템이다. 학습에는 CoGRPO(Collaborative Group-Relative Policy Optimization)를 사용하는데, 이는 GRPO를 다중 에이전트 계층 구조에 적응시키고 롤아웃에 참여한 모든 게이트와 에이전트에 공유 이점 신호를 부여하는 비평가 없는(critic-free) 새로운 방법이다. 에이전트 모델은 교체 가능한(hot-swappable) 전문가 레지스트리(Expert Registry)에서 가져오며, 에이전트별 캘리브레이션 맵을 통해 추론 시점에 재학습 없이 전문가를 교체할 수 있다. 평균 활성 파라미터 약 170억 개 규모에서 GRADE는 GSM8K, MMLUPro, GPQA의 모든 기준선을 능가하며, MMLUPro에서 가장 강력한 기준선보다 절반의 활성 컴퓨팅으로 4.8점 앞선다. 모델 깊이가 지배적인 AIME-2025에서는 기존 프레임워크와 경쟁력을 유지한다. 절제 연구(ablation)를 통해 계층 구조와 마스크된 크로스 어텐션이 정확도 향상에 가장 크게 기여하며, 에이전트별 캘리브레이션이 안전한 교체를 위해 필수적임을 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.