EDA: 근거에 기반한 멀티모달 우울증 분석을 위한 관찰·검증·평가
EDA: Observe, Verify, and Assess for Evidence-Grounded Multimodal Depression Analysis
한국어 초록
기존 멀티모달 우울증 평가 방법은 긴 녹화 기록을 전체적인 행동 설명으로 요약하는 경우가 많다. 그러면 개별 관찰의 출처와 판단에 미친 영향을 확인하기 어렵다. 관찰, 검증, 평가를 중심으로 구성한 근거 기반 프레임워크 EDA를 제안한다. 관찰 단계에서는 문헌을 바탕으로 고른 음향 및 시각 단서가 등장하는 곳을 찾고, 시간 구간과 행동 측정치를 담아 원본과 연결한 근거 기록으로 만든다. 검증 단계에서는 가중치를 동결한 멀티모달 에이전트가 인용된 영상이나 음성이 각 관찰을 뒷받침하는지 확인한다. 단순화한 Support 채택 정책은 뒷받침된다는 판정을 받은 기록과 그 검토 근거를 남긴다. 평가 단계에서는 통계 요약량과 시간에 따른 사건을 이용해 참조 사례와 행동을 비교한다. PHQ-9의 기준을 활용한 텍스트 분석으로 보완적인 증상 근거를 얻는다. 모달리티 간 의견이 엇갈리면 최종 선택 전에 원본 텍스트를 다시 검토한다. D-Vlog 및 LMVD 실험에서는 사람이 판정한 단서와의 일치도와 후속 평가의 유용성을 따로 측정했다. 같은 원본 구간에서 AI의 단서 주석은 사람의 합의 레이블과 91.02% 일치했다. 동결한 70억 매개변수 백본을 사용했을 때 EDA Support는 직접 예측보다 F1을 D-Vlog Leave-Query-Out에서 7.61%포인트, LMVD에서 9.88%포인트 높였다. 이 결과는 출처에 연결한 명시적 행동 근거를 사용하면 멀티모달 우울증 평가를 검토하기 쉬워짐을 뒷받침한다.
원문 초록
Existing multimodal depression assessment methods often summarize long recordings into global behavioral descriptions. This leaves the source and decision relevance of individual observations difficult to inspect. We propose EDA, an evidence-grounded framework organized around Observe, Verify, and Assess. In Observe, literature-informed acoustic and visual cues are localized into source-linked Evidence Records with temporal intervals and behavioral measurements. In Verify, frozen multimodal agents examine whether the cited media support each observation. The simplified Support admission policy retains positively verified records and their review grounds. In Assess, statistical descriptors and temporal events support reference-based behavioral comparison, while PHQ-9-guided text analysis provides complementary symptom evidence. Cross-modal disagreement triggers review of the original text before final selection. Experiments on D-Vlog and LMVD evaluate human-referenced cue agreement and downstream assessment utility separately. AI cue annotations achieve 91.02% accuracy against human consensus labels on shared source segments. With a frozen 7B backbone, EDA Support improves F1 over direct prediction by 7.61 and 9.88 percentage points on D-Vlog Leave-Query-Out and LMVD, respectively. These findings support explicit, source-linked behavioral evidence for inspectable multimodal depression assessment.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22648v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.