PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05438v1cs.IR

모달리티 관련성은 모달리티 유용성이 아니다: 비용 인식 멀티모달 RAG를 위한 사후 선택적 모달리티 에스컬레이션

Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG

멀티모달 RAG에서 모달리티의 관련성(relevance)이 실제 유용성(utility)을 예측하지 못한다는 문제를 지적하며, 검색 전 라우팅 대신 텍스트·표로 초안을 생성한 뒤 검증기로 누락된 모달리티를 식별해 필요한 경우에만 VLM을 호출하는 사후 선택적 모달리티 에스컬레이션(post-hoc selective modality escalation) 방법을 제안한다. MultiModalQA 실험에서 제안 방법은 항상 VLM을 사용하는 파이프라인과 거의 동일한 정확도를 유지하면서 시각적 호출 횟수를 크게 줄였다.

arXiv:2606.29335v1cs.LG

AMR: 멀티모달 폴리글랏 화자 식별을 위한 적응형 모달리티 라우팅

AMR: Adaptive Modality Routing for Multimodal Polyglot Speaker Identification

누락된 모달리티와 언어 불일치 문제를 해결하기 위해, W2V-BERT 2.0 기반 오디오 인코더와 IResNet-18 기반 얼굴 인코더의 임베딩을 샘플별로 동적 가중치 라우팅으로 융합하는 적응형 모달리티 라우팅(AMR) 모듈을 제안한다. POLY-SIM 2026 평가에서 4개 프로토콜 평균 99.07% 정확도를 달성하며 FOP 기준선 대비 32.73%p 향상을 보였다.