베트남어 시각적 질의응답을 위한 다층 융합 트랜스포머 기반 시각 및 텍스트 표현 융합
Fusing Visual and Textual Representations via Multi-layer Fusing Transformers for Vietnamese Visual Question Answering
한국어 초록
최근 수십 년간 인공지능은 이미지를 이해하고 상호작용하는 데 있어 상당한 진전을 이루었습니다. 이러한 기술의 중요한 응용 분야 중 하나는 컴퓨터가 자연스러운 방식으로 이미지에 대한 질문을 이해하고 답하도록 요구하는 연구 분야인 시각적 질의응답(Visual Question Answering, VQA)입니다. 영어 대상의 VQA에 대한 광범위한 연구 및 개발에도 불구하고, 다른 언어, 특히 베트남어에 대해서는 유사한 노력이 거의 이루어지지 않았습니다. 이러한 격차는 베트남어 환경에서 VQA 기술의 발전을 위한 중대한 도전 과제이자 기회를 제공합니다. 이 격차를 해소함으로써 베트남어 VQA 분야는 인공지능 연구의 다양성을 풍부하게 할 뿐만 아니라 전 세계 베트남어 사용자를 대상으로 교육, 의료, 엔터테인먼트 등 다양한 영역에서 실용적인 응용을 가능하게 합니다. 따라서 베트남어 VQA 시스템의 탐험(exploration)과 개발은 컴퓨터 비전과 자연어 처리의 교차점에서 연구와 실용적 응용 모두를 발전시킬 수 있는 막대한 잠재력을 지니고 있습니다. 본 논문에서는 서로 다른 층(layer)의 이미지 및 텍스트가 가진 다중 모달리티 특징을 하나의 통합된 표현으로 결합하기 위해 교차 어텐션(cross attention) 모듈을 활용하는 다층 융합 트랜스포머(Multi-layer Fusing Transformer) 모델을 제안합니다. 제안하는 아키텍처를 통해 저수준부터 고수준까지의 정보를 추출할 수 있습니다. 상세한 실험과 제거 연구(ablation study)를 통해 본 모델은 베트남어 ViVQA 데이터셋에서 경쟁력 있는 베이스라인 대비 유망한 결과를 달성합니다.
원문 초록
In recent decades, artificial intelligence has made significant progress in understanding and interacting with images. One of the important applications of this technology is Visual Question Answering (VQA), a research field that requires computers to understand and answer questions about images in a natural manner. Despite extensive research and development in VQA for English, there have been very few similar efforts made for other languages, especially Vietnamese. This gap presents a significant challenge and opportunity for the advancement of VQA technology in the Vietnamese language context. By bridging this gap, the field of Vietnamese VQA not only enriches the diversity of research in artificial intelligence but also enables practical applications in various domains, such as education, healthcare, and entertainment, catering to Vietnamese-speaking populations worldwide. Thus, the exploration and development of Vietnamese VQA systems hold immense potential for advancing both research and practical applications in the intersection of computer vision and natural language processing. In this paper, we propose a Multi-layer Fusing Transformer model utilizing a cross attention module to combine multiple modality features of images and texts from different layers in an aggregated representation. Our architecture allows us extract information from low level to high level. Through detailed experiments and ablation studies, our model achieves promising results against the competitive baselines in ViVQA dataset for Vietnamese language.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MERID: 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험
MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis
주요우울장애(MDD)는 일상 활동과 삶의 질에 심각한 영향을 미칩니다. MDD를 탐지하기 위해서는 인터뷰 녹음 및 센서 측정치와 같은 멀티모달(multimodal) 데이터를 다루어야 합니다. 이러한 이종 모달리티는 각기 맞춤화된 별도의 예측 파이프라인을 요구하는 경우가 많아 특히 어렵습니다. 이 문제를 해결하기 위한 기존 연구들은 수작업으로 설계된 멀티모달 아키텍처와 에이전트 지원 파이프라인 개발을 모두 탐색해 왔습니다. 이러한 진전에도 불구하고, 실험적 피드백을 기반으로 파이프라인을 자율적으로 수정하고 검증된 개선 사항을 후속 설계로 계승하는 것은 여전히 어려운 과제입니다. 이를 위해 본 연구에서는 주요우울장애 분석을 위한 재귀적 자기 개선 에이전트 기반 멀티모달 탐험(MERID) 프레임워크를 제안합니다. 이 프레임워크는 경험 기반 재귀적 자기 개선(RSI)을 통해 우울증 파이프라인을 개발합니다. 접지된 상태 구성(GSC)은 멀티모달 기록을 피험자 수준의 우울증 목표와 정렬하여 경험을 그라운딩(grounding)합니다. 결합 파이프라인 탐험(CPE)은 표현, 융합, 예측기를 공동으로 수정하여 분류(classification) 및 중증도 추정을 위한 후속 파이프라인을 구축합니다. 증거 기반 진화(EGE)는 피드백을 통해 수정을 안내하고, 상속 전에 소규모 우울증 코호트의 불확실성 속에서 성능 향상을 검증합니다. 우울증 벤치마크에 대한 광범위한 실험 결과, MERID는 멀티모달 및 에이전트 기반 베이스라인 대비 여러 태스크에서 최고의 결과를 달성함을 보여줍니다. 추가 분석은 우울증 탐지에서 음향 및 언어적 단서의 중요성을 강조합니다. 코드는 https://github.com/DiscoAILab/MERID 에서 확인할 수 있습니다.
다중모달 대규모 언어 모델을 활용한 의료 영상 해석을 위한 표현 유도 문맥 내 학습
Representation-guided in-context learning for medical image interpretation with multimodal large language models
의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.
VLM에서 CoT 난독화 억제: 메커니즘적 증거에서 활성화 강제까지
Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement
강화학습(RL)은 비전-언어 모델(VLM)의 추론을 향상시키지만, 사고의 연쇄(CoT) 난독화를 유발할 수 있다. 이는 과제 보상이나 정확도는 오르는 반면 추적(trace)은 덜 그라운딩되고 모니터링 가능성이 낮아지는 운영상 비의도적 결과이다. 선행 연구는 대체로 이러한 저하를 행동 수준에서만 기록했을 뿐, 표현 수준의 상관관계와 실행 가능한 제어는 불명확하게 남겨 두었다. 우리는 RL 동안 템플릿 및 그라운딩 관련 활성화가 덜 분리 가능해진다는 것을 발견했으며, 대응 개입은 모니터링 가능성 저하에 선택된 특징(feature)이 기여함을 뒷받침한다. 이러한 근거에 기반하여, 우리는 메커니즘적 강제를 통한 표적형 난독화 방지(Targeted Anti-obfuscation with Mechanistic Enforcement, TAME)를 제안한다. TAME은 희소 오토인코더(SAE)를 사용해 RL 동안 행동 피드백과 템플릿 관련 활성화의 표적 억제를 결합한다. 비대칭 제약은 RL 이전 기준선을 넘는 템플릿 활성화에만 패널티를 부과하여 국소화된 특징을 고정하는 한편, 행동 피드백은 그라운딩된 개선을 촉진한다. VIRL-39k, SPA-VL 및 두 모델 계열에서 TAME은 Group Relative Policy Optimization(GRPO) 대비 CoT 모니터링 가능성을 각각 최대 30.9 및 16.7퍼센트포인트 향상시킨다. 블라인드 인간 평가는 두 데이터셋 모두에서 더 높은 인간 모니터링 가능성을 보고했으며, 두 개의 held-out 모니터 계열이 모니터링 가능성 향상을 재현한다. 과제 정확도 변화는 작고 엇갈리며, 일반 역량 벤치마크는 과제별 트레이드오프를 보여준다. 이 결과는 RL로 학습된 다중모달 시스템을 더 감사 가능하게 만들기 위해 행동 모니터링에서 표현 수준 감독으로 이어지는 경로를 제공한다.
다중 양식 초음파 및 임상 데이터 통합을 통한 간세포암 미세혈관침범 수술 전 예측: 다기관 연구
Preoperative Prediction of Microvascular Invasion in Hepatocellular Carcinoma by Integrating Multimodal Ultrasound and Clinical Data: A Multicenter Study
Background: 미세혈관침범(microvascular invasion, MVI)은 간세포암(hepatocellular carcinoma, HCC)에서 재발과 생존을 예측하지만, 진단에는 수술 후 조직병리학이 필요하다. 우리는 수술 전 MVI 예측을 위해 다중 양식 초음파와 임상 데이터를 통합한 모델을 개발하고 검증했다. Methods: 본 다기관 연구에는 8개 센터의 HCC 환자 489명이 포함되었다. 모든 환자는 B-mode 초음파(BUS), 컬러 도플러 유량 영상(color Doppler flow imaging, CDFI), 다이나믹 조영 증강 초음파(dynamic contrast-enhanced ultrasound, DCE-US), 및 임상 정보를 보유하였다. 7개 센터(n = 421) 데이터는 5-fold 교차 검증으로 모델 개발에 사용되었고, 나머지 1개 센터(n = 68) 데이터는 독립 외부 검증 코호트를 구성하였다. 제안된 다중 양식 정보 융합 네트워크는 양식별 인코더, 양방향 DCE-US 관류 변화를 위한 혈역학적 시간적 변화 모듈(hemodynamic temporal change module), 및 트랜스포머 기반 융합 전 이질적 초음파 표현을 정렬하기 위한 표현 일관성 학습 모듈(representation consistency learning module)을 사용하였다. Results: 외부 검증에서 DCE-US가 단일 양식 중 수신자 조작 특성 곡선 아래 면적(area under the receiver operating characteristic curve, AUC; 0.8545+/-0.0198)이 가장 높았으며, 임상 정보(0.6715+/-0.0156), CDFI(0.6435+/-0.0344), BUS(0.6087+/-0.0417)보다 우수하였다. 픽셀 차분 샘플링(pixel-difference sampling)과 제안된 시간적 모듈은 대안 샘플링 및 비디오 표현 방법보다 우수하였다. 전체 모델이 최고 성능을 달성하였으며, AUC 0.8953+/-0.0180, 정확도 81.18%+/-2.83%, 민감도 86.40%+/-6.69%, 특이도 78.14%+/-6.28%였다. Conclusions: 다중 양식 초음파와 임상 정보 통합은 HCC에서 유망한 수술 전 MVI 예측을 가능하게 하였다. DCE-US가 예측 정보의 주요 원천이었고, BUS, CDFI, 임상 정보는 상보적 가치를 제공하였다. 제안된 프레임워크는 수술 전 위험 계층화 및 개별화된 임상 의사결정을 지원할 수 있다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
토론
이 논문과 연결된 포럼 글이 아직 없습니다.