gzucm.edu.cn

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.10261v1cs.CV

융합이 실패할 때: 다중 모달 의료 영상 분할을 위한 손상 인지 재균형 융합

When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation

다중 모달 의료 이미지 분할(image segmentation)은 상호 보완적인 진단 정보를 활용하지만, 공간적으로 정렬된 입력들의 품질이 서로 다를 경우 융합(fusion)이 단일 모달리티 베이스라인보다 낮은 성능을 보일 수 있다. 여기서 "손상(corruption)"은 주로 정렬 오류나 모달리티의 완전한 부재가 아니라 해상도 저하로 인한 품질 열화를 의미하며, 합성 노이즈는 보조적인 설정으로만 평가한다. 우리는 최적화와 추론(inference) 사이의 중대한 불일치를 확인했다. 열화된 모달리티는 학습(training) 중 약한 업데이트만 받으면서도 예측에는 상당한 영향을 미칠 수 있으며, 이는 융합에 대한 능동적인 간섭이 있음을 시사한다. 우리는 이러한 실패의 원인을 리샘플링으로 인한 특징(feature) 손상과 최적화 바이어스(bias)로 보며, 노이즈가 섞인 특징이 스킵 연결(skip connection)을 통해 전파되어 신뢰할 수 없는 모달리티 선택을 유도한다고 설명한다. 이에 우리는 특징 전달 과정에서 손상을 억제하고 고수준 융합 단계에서 모달리티별 기여도를 재균형하는 손상 인지 재균형 융합(Corruption-aware Rebalanced Fusion) 프레임워크인 CoReFuse-Med를 제안한다. EPVS, BraTS, WMH에서 여러 Z축 슬라이스 유지 비율과 보조 노이즈 테스트를 포함한 실험을 수행한 결과, 모달리티 간 품질 차이가 있는 상황에서 정확도와 견고성이 향상됨을 확인했다. 코드는 https://github.com/lrever/CoReFuse 에서 확인할 수 있다.

arXiv:2609.02731v1cs.CV

RVSD: 대규모 비전-언어 모델의 시각적 환각 완화를 위한 검색 기반 비전 희소 디코딩

RVSD: Retrieval Vision Sparse Decoding for Mitigating Visual Hallucinations in Large Vision-Language Models

대규모 비전-언어 모델은 비전-언어 과제에서 눈에 띄는 성공을 거두었다. 그러나 이러한 모델은 여전히 시각적 환각(Visual Hallucinations, VHs)에 취약하여, 실제 응용에서의 신뢰성을 저해한다. 기존 해결책은 일반적으로 선별된 데이터셋, 추가 학습 또는 다중 라운드 디코딩을 필요로 하며, 이로 인해 상당한 연산 오버헤드가 발생한다. 본 논문에서는 학습이 필요 없고(training-free) 플러그 앤 플레이 방식인 디코딩 프레임워크 \textbf{RVSD}(\underline{R}etrieval \underline{V}ision \underline{S}parse \underline{D}ecoding)를 제안한다. RVSD는 토큰 희소화(token sparsification)와 \textbf{의미 공간 시각 검색}(Semantic-Space Visual Retrieval, SSVR)을 단일 디코딩 과정 내에서 최초로 통합한다. RVSD에서는 중요한 시각 정보를 보존하면서 중복된 토큰을 선택적으로 희소화하는 \textbf{의미 지향 토큰 선택}(semantics-directed token selection) 전략을 도입한다. 또한 시각적 보상(visual compensation)을 공유 의미 공간 내에서 필요할 때 수행되는 교차 모달 검색 과정으로 재정식화하는 SSVR 메커니즘을 제안한다. 폭넓은 실험을 통해 RVSD가 VHs 완화에서 최고 수준(state-of-the-art)의 성능을 달성하며, 긴 컨텍스트 생성 설정에서도 견고한 억제 성능을 유지함을 보인다. 코드는 여기에서 확인할 수 있다.\footnote{https://github.com/canjie-liu/RVSD}