PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02140v2cs.CL

통합 멀티모달 모델 내 이해와 생성 간의 격차 정량화

Quantifying the Gap between Understanding and Generation within Unified Multimodal Models

통합 멀티모달 모델(UMM)의 최근 발전은 이해와 생성 작업 모두에서 괄목할 만한 진전을 보여주었습니다. 그러나 단일 모델 내에서 이 두 가지 능력이 진정으로 정렬(alignment)되고 통합되었는지는 여전히 불분명합니다. 이러한 의문을 조사하기 위해, 본 연구에서는 이해와 생성 능력 간의 격차를 정량화하고 "통합된" 두 방향의 인지적 일관성을 정량적으로 측정하도록 설계된 양방향 벤치마크인 GapEval을 소개합니다. 각 질문은 두 가지 양식(모달리티, 이미지 및 텍스트) 모두로 답변될 수 있어, 모델의 양방향 추론(inference) 능력과 모달리티 간 일관성을 대칭적으로 평가할 수 있습니다. 실험 결과 서로 다른 아키텍처를 가진 다양한 UMM 전반에 걸쳐 두 방향 사이에 지속적인 격차가 존재함이 드러났으며, 이는 현재 모델들이 두 능력의 깊은 인지적 수렴(convergence)이 아닌 표면적 수준의 통합만을 달성하고 있음을 시사합니다. 기본 메커니즘을 추가로 탐색하기 위해, 본 논문은 근본적인 한계를 설명하고자 지식 조작 관점에서 실증적 연구를 수행합니다. 우리의 발견은 UMM 내의 지식이 종종 분리된 상태로 남아 있음을 보여줍니다. 모달리티 전반에 걸친 능력의 창발(emergence)과 지식은 동기화되지 않으며, 이는 추가적인 탐험(exploration)을 위한 기반을 마련합니다.

arXiv:2607.21600v1cs.AI

내부 정보 분해를 통한 다중모달 AI 보안

Securing Multimodal AI through Internal Information Decomposition

다중모달 대규모 언어 모델은 단일모달 시스템에는 없는 공격 표면을 도입한다. 적대자는 단일모달 안전장치를 회피하기 위해 악의적 의도를 여러 모달리티에 분산시킬 수 있다. 이는 각 모달리티를 독립적으로 검사하기보다 교차 모달 일관성을 탐지 신호로 사용하도록 동기를 부여한다. 핵심 관찰은, 정상 입력이 텍스트 전용 및 비전 전용 추론에서 호환 가능한 예측 행동을 유도하며 융합 시 안정화되는 반면, 적대적 조작은 이러한 일관성을 파괴하여 비정상적인 다중모달 행동을 유발한다는 것이다. 원시 입력이나 출력을 검사하는 기존 방어 기법은 이러한 내부 융합 과정을 간과하여 취약하고 계산 비용이 높다. 우리는 내부 다중모달 일관성을 모니터링하여 유해 입력을 탐지하는 경량 추론 시점 프레임워크인 FlowGuard를 제안한다. 스칼라 신뢰도 지표에 의존하는 접근법과 달리, FlowGuard는 Partial Information Decomposition에서 영감을 받은 FlowVector를 도출하여 교차 모달 중복성(redundancy), 시너지(synergy), 모달리티별 지배(dominance)를 정량화하고, 융합된 다중모달 예측이 단일모달 의미적 증거와 정렬된 상태를 유지하는지 포착한다. 정상 데이터만으로 학습된 일 클래스 분류(one-class classification) 문제에서 FlowGuard는 보지 못한 공격에 대해 공격 성공률(Attack Success Rate)을 90% 이상에서 15% 미만으로 낮추며, 유틸리티 손실 3% 미만과 최대 6배의 지연 시간 감소를 달성한다. 결과는 교차 모달 일관성 모니터링이 다중모달 추론에 대해 효율적이고 효과적인 방어를 제공함을 보여준다.

arXiv:2510.13293v4cs.CL

자기회귀 텍스트 음성 변환(TTS) 모델에서의 견고한 감정 제어를 위한 크로스 모달 일관성 가이던스

Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models

텍스트 의미와 목표 감정이 충돌할 때 품질이 저하되는 문제를 해결하기 위해, 텍스트 감정과 명시적 음성 감정 간의 불일치 정도에 기반한 동적 스케일을 적용한 Cross-modal Consistency Guided Classifier-Free Guidance (CCG-CFG) 방법을 제안한다. CosyVoice2 모델에 하드 샘플 마이닝을 통한 지식 증류를 적용한 결과, 감정 인식 정확도와 주관적 점수에서 기존 모델들보다 우수한 성능을 달성했다.