arXiv:2609.36235v2 cs.AI

MERID: 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험

MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis

Lei Liu, Zhaokang Liang, Qingcheng Zeng, Chenda Duan, Lu Mi, Zhen Tan, Tianyu Liu

제출 2026-09-28

한국어 초록

주요우울장애(MDD)는 일상 활동과 삶의 질에 심각한 영향을 미칩니다. MDD를 탐지하기 위해서는 인터뷰 녹음 및 센서 측정치와 같은 멀티모달(multimodal) 데이터를 다루어야 합니다. 이러한 이종 모달리티는 각기 맞춤화된 별도의 예측 파이프라인을 요구하는 경우가 많아 특히 어렵습니다. 이 문제를 해결하기 위한 기존 연구들은 수작업으로 설계된 멀티모달 아키텍처와 에이전트 지원 파이프라인 개발을 모두 탐색해 왔습니다. 이러한 진전에도 불구하고, 실험적 피드백을 기반으로 파이프라인을 자율적으로 수정하고 검증된 개선 사항을 후속 설계로 계승하는 것은 여전히 어려운 과제입니다. 이를 위해 본 연구에서는 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험(MERID) 프레임워크를 제안합니다. 이 프레임워크는 경험 기반 재귀적 자기 개선(RSI)을 통해 우울증 파이프라인을 개발합니다. 접지된 상태 구성(GSC)은 멀티모달 기록을 피험자 수준의 우울증 목표와 정렬하여 경험을 그라운딩(grounding)합니다. 결합 파이프라인 탐험(CPE)은 표현, 융합, 예측기를 공동으로 수정하여 분류(classification) 및 중증도 추정을 위한 후속 파이프라인을 구축합니다. 증거 기반 진화(EGE)는 피드백을 통해 수정을 안내하고, 상속 전에 소규모 우울증 코호트의 불확실성 속에서 성능 향상을 검증합니다. 우울증 벤치마크에 대한 광범위한 실험 결과, MERID는 멀티모달 및 에이전트 기반 베이스라인 대비 여러 태스크에서 최고의 결과를 달성함을 보여줍니다. 추가 분석은 우울증 탐지에서 음향 및 언어적 단서의 중요성을 강조합니다. 코드는 https://github.com/DiscoAILab/MERID 에서 확인할 수 있습니다.

원문 초록

Major depressive disorder (MDD) severely impacts daily activities and quality of life. Detecting MDD involves multimodal data, such as interview recordings and sensor measurements. This is particularly challenging, as these heterogeneous modalities often demand distinct, customized prediction pipelines. Existing efforts to address this challenge have explored both manually engineered multimodal architectures and agent-assisted pipeline development. Despite their progress, it remains challenging to autonomously revise pipelines based on experimental feedback and carry verified improvements forward into subsequent designs. To this end, we propose Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis (MERID). The framework develops depression pipelines through experience-based recursive self-improvement (RSI). Grounded State Construction (GSC) grounds experience by aligning multimodal records with subject-level depression targets. Coupled Pipeline Exploration (CPE) jointly modifies representations, fusion, and predictors to build successor pipelines for classification and severity estimation. Evidence-Guided Evolution (EGE) guides revisions through feedback and verifies gains under uncertainty in small depression cohorts before inheritance. Extensive experiments on depression benchmarks show that MERID achieves the best results on multiple tasks compared with multimodal and agent-based baselines. Further analysis highlights the value of acoustic and linguistic cues for depression detection. Our code is available at https://github.com/DiscoAILab/MERID

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36235v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15830v1cs.LG공통 태그 Representation Learning, Multi-Task Learning

공유 표상이 어떻게 특화되는가: 형성, 유지 및 잠재적 취약성

How Shared Representations Become Specialized: Formation, Maintenance, and Latent Susceptibility

여러 예측이 동일한 내부 표상(representation)을 사용할 때, 특정 타깃에 대한 정보는 다른 타깃에 대한 정보보다 복원하기 더 쉬운 상태로 남아 있을 수 있습니다. 본 연구에서는 최소 인공 학습자(minimal artificial learners)에서 이러한 특화(specialization)가 어떻게 형성되고 지속되며 변화하는지 조사합니다. 학습 과정에서 재구성 오차(reconstruction error)에 동일한 가중치가 부여되더라도, 어떤 타깃이 관측되는지를 변경하면 선호되는 타깃이 정밀하게 선택되고 이미 특화된 학습자의 방향을 재지정할 수 있습니다. 현재의 지지(support)를 제거하면 형성된 바이어스(bias)를 줄일 수 있는 반면, 상태 추종 업데이트 피드백(state-following update feedback)은 이를 유지할 수 있습니다. 이어 관측 및 업데이트 조건은 서로 다르지만 지정된 재구성 측정값은 일치하도록 형성된 학습자들을 비교합니다. 두 학습자는 동일한 짧은 반대 개입(opposing intervention) 하에서 모두 변화하지만 반응은 서로 다릅니다. Adam을 리셋하면 10회 업데이트 시점의 차이가 대부분 제거되며, 2차 모멘트(second moment)를 교환하면 어느 경로가 더 취약한지가 역전됩니다. 새로운 개입을 통해 평균 2차 모멘트 스케일링을 균등화하면 차이가 줄어들기는 하지만 완전히 제거되지는 않음을 보여줍니다. 즉, 좌표별(coordinate-wise) 패턴 또한 중요합니다. 새로운 Adam 또는 보정된 SGD를 사용하면 더 작은 경로 차이가 나중에 나타나는 반면, 500회의 공통 반대 업데이트는 선택된 할당 종점을 가깝게 만듭니다. 추가적인 대조군 실험에서는 획득 조건이 동일하고 평균 손실 가중치가 같더라도, 결합된 가중치 변동성과 실현된 시퀀스가 다를 경우 반응 차이가 발생함을 보여줍니다. 획득에 의해 선택되는 형성은 대칭적인 3개 타깃 설정으로도 확장됩니다. 이러한 개입들은 특화의 형성, 현재의 지지, 그리고 시간에 의존하는 잠재적 취약성을 구별해 줍니다.

arXiv:2610.13599v1cs.LG공통 태그 Representation Learning, Classification

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.13750v1cs.LG공통 태그 Representation Learning, Multi-Task Learning

작은 수학적 세계를 활용한 과제 다양성의 효과 연구

Studying the Effects of Task Diversity Using Small Mathematical Worlds

모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.

arXiv:2610.11057v1cs.CV공통 태그 Representation Learning, Classification

노이즈가 있는 지도 환경의 멀티모달 학습에서 신뢰할 대상을 학습하기

Learning What to Trust in Multimodal Learning under Noisy Supervision

멀티모달 분류(multimodal classification)는 보다 정확한 예측을 달성하기 위해 여러 모달리티의 정보를 처리하고 연계합니다. 그러나 기존 방법들은 일반적으로 실제 환경에서 얻기 어려운 고품질의 정답 라벨에 의존합니다. 노이즈 라벨 환경에서의 학습을 위한 샘플 선택 방법들은 노이즈가 포함된 데이터에서 올바르게 라벨링된 예제를 식별하는 것을 목표로 하지만, 전통적인 방식들은 주로 단일 모달(unimodal) 설정에 초점을 맞추어 멀티모달 정보를 완전히 활용하지 못합니다. 이는 멀티모달 학습에서 더 신뢰할 수 있는 노이즈 탐지기를 구축하도록 동기를 부여합니다. 이를 위해 본 연구에서는 표현 구조와 노이즈 탐지 능력 간의 관계를 이론적으로 분석합니다. 이러한 분석을 바탕으로, 라벨 노이즈 탐지를 위해 융합된 표현과 단일 모달 표현을 함께 사용하는 멀티모달 라벨 노이즈 탐지 프레임워크인 REFINE을 제안합니다. 구체적으로, REFINE은 타깃 클래스와 배경 클래스의 판별 분석을 통해 판별 고유벡터(discriminative eigenvector)를 구성하고, 각 클래스별로 노이즈 탐지 능력이 더 우수한 신뢰할 수 있는 표현 공간을 선택합니다. 각각의 신뢰할 수 있는 공간 내에서 REFINE은 각 인스턴스 표현과 판별 고유벡터 간의 정렬(alignment)을 측정합니다. 그런 다음 이러한 공간에서 선택된 하위 집합들을 결합합니다. 결합된 집합은 멀티모달 분류기를 업데이트하기 위한 더 깨끗한 지도 신호를 제공함으로써 학습(training) 중 잘못 라벨링된 예제의 영향을 줄이고 모델(model) 일반화를 향상시킵니다. 다양한 태스크에 걸친 광범위한 실험을 통해 기준선(baseline) 방법들과 비교하여 REFINE의 우수성을 입증합니다. 소스 코드는 공개될 예정입니다.

arXiv:2610.01637v1cs.CV공통 태그 Representation Learning, multimodal fusion

베트남어 시각적 질의응답을 위한 다층 융합 트랜스포머 기반 시각 및 텍스트 표현 융합

Fusing Visual and Textual Representations via Multi-layer Fusing Transformers for Vietnamese Visual Question Answering

최근 수십 년간 인공지능은 이미지를 이해하고 상호작용하는 데 있어 상당한 진전을 이루었습니다. 이러한 기술의 중요한 응용 분야 중 하나는 컴퓨터가 자연스러운 방식으로 이미지에 대한 질문을 이해하고 답하도록 요구하는 연구 분야인 시각적 질의응답(Visual Question Answering, VQA)입니다. 영어 대상의 VQA에 대한 광범위한 연구 및 개발에도 불구하고, 다른 언어, 특히 베트남어에 대해서는 유사한 노력이 거의 이루어지지 않았습니다. 이러한 격차는 베트남어 환경에서 VQA 기술의 발전을 위한 중대한 도전 과제이자 기회를 제공합니다. 이 격차를 해소함으로써 베트남어 VQA 분야는 인공지능 연구의 다양성을 풍부하게 할 뿐만 아니라 전 세계 베트남어 사용자를 대상으로 교육, 의료, 엔터테인먼트 등 다양한 영역에서 실용적인 응용을 가능하게 합니다. 따라서 베트남어 VQA 시스템의 탐험(exploration)과 개발은 컴퓨터 비전과 자연어 처리의 교차점에서 연구와 실용적 응용 모두를 발전시킬 수 있는 막대한 잠재력을 지니고 있습니다. 본 논문에서는 서로 다른 층(layer)의 이미지 및 텍스트가 가진 다중 모달리티 특징을 하나의 통합된 표현으로 결합하기 위해 교차 어텐션(cross attention) 모듈을 활용하는 다층 융합 트랜스포머(Multi-layer Fusing Transformer) 모델을 제안합니다. 제안하는 아키텍처를 통해 저수준부터 고수준까지의 정보를 추출할 수 있습니다. 상세한 실험과 제거 연구(ablation study)를 통해 본 모델은 베트남어 ViVQA 데이터셋에서 경쟁력 있는 베이스라인 대비 유망한 결과를 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.