시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.
비지도 가시-적외선 사람 재식별(USVI-ReID)은 큰 모달리티 격차와 교차 모달 신원 주석의 부재로 인해 어렵다. 점진적 연관(association) 패러다임이 간격을 점차 줄이기 위해 제안되었지만, 모호한 전역 표현에 대한 의존과 개방 루프(open-loop) 방식에서의 검증되지 않은 의사 라벨(pseudo-label) 노이즈 전파라는 두 가지 중요한 병목에 시달린다. 이를 해결하기 위해, 우리는 개방 루프 연관을 자기 교정형 폐쇄 루프(closed-loop) 시스템으로 변환하는 프레임워크인 구조-의미 상호 학습(SSRL)을 제안한다. 구조적으로, 우리는 모호한 전역 실루엣을 공간적으로 일관된 구조적 세부 정보로 보완하기 위해 판별력 있는 신체 부위 기본 요소를 신뢰할 수 있는 공간 앵커로 추출하는 세밀한 구조 분리(FSD)를 도입한다. 의미적으로, 우리는 각 에포크마다 공유 의미 프로토타입을 재구성하고 이를 학습 루프에 다시 주입하여 다음 클러스터링 주기 전에 의사 라벨 노이즈를 효과적으로 걸러내는 폐쇄 루프 의미 보정(CSC) 메커니즘을 설계한다. 구조 학습과 의미 학습 간의 상호 작용을 통해 SSRL은 견고한 교차 모달 표현을 달성한다. 광범위한 실험은 SYSU-MM01과 RegDB 모두에서 최신 USVI-ReID 방법 대비 SSRL의 경쟁력 있는 성능을 보여주며, RegDB에서 여러 지도 학습(supervised) 대안을 눈에 띄게 능가한다.
기존 합성 테이블 데이터 생성 접근법은 순수 생성 모델 또는 대규모 언어 모델(LLM)에 기반하며, 둘 다 데이터 이질성, 논리적 일관성, 희귀 사건 커버리지, 저데이터(low-data) 구간에서의 견고성(robustness) 문제에 어려움을 겪는다. 본 논문에서는 의미 구조(semantic structures)를 확률적 텍스처(stochastic texture)로부터 분리하는 계층적 하이브리드 하향식·상향식(H-TDBU) 프레임워크를 제안한다. 하향식 경로에서는 구조 기반 논리적 제약과 크로스 모달(cross-modal) 정렬(alignment) 규칙을 구성하고, 상향식 경로에서는 경량 테이블 생성기를 사용해 실제 데이터로부터 국소 통계 패턴을 학습한다. 두 경로는 반복적 피드백 루프가 있는 통합 합성 엔진에서 통합된다. 이 프레임워크를 테이블 데이터와 감성 텍스트 데이터를 결합한 약한 멀티모달(weak multimodal) 금융 벤치마크에서 평가한다. 실험 결과는 H-TDBU 접근법이 의미적 일관성을 유지하면서 신경망 기준선 방법 대비 train-synthetic-test-real 성능을 향상시킴을 보여준다. 결과는 계층적 규칙 기반 합성이 합성 데이터 생성에서 제어 가능성(controllability), 의미적 일관성(semantic coherence), 통계적 충실도(statistical fidelity)를 결합하는 효과적인 메커니즘을 제공함을 시사한다.
멤버십 추론 공격(MIA)을 텍스트-투-텍스트, 텍스트-투-이미지, 이미지-투-텍스트 생성 모델 전반에 통합 적용하는 최초의 통합 프레임워크를 제안하며, 생성 모델의 출력 분포가 학습 데이터 분포를 근사한다는 모달리티 독립적 특성을 활용해 공유 임베딩 공간에서 가능도 비율 검정으로 멤버십을 추론한다. 엄격한 블랙박스 환경에서 부분 지식 및 제로 지식 위협 모델 모두를 대상으로 한 실험에서 기존 단일 모달리티 최신 기법들을 능가하는 성능을 입증했다.
표현 유사성 지표가 모델 깊이·너비에 의해 체계적으로 부풀려지는 규모 교란을 지적하고, 순열 기반 null 보정 프레임워크로 이를 통계적으로 보정한다. 보정 후 전역 스펙트럴 척도의 겉보기 수렴은 대부분 사라지지만 국소 이웃 유사성은 모달리티 간에 유의미하게 남아, 신경망 표현이 공유된 국소 이웃 관계로 수렴한다는 아리스토텔레스적 표현 가설을 제안한다.
실제 보존 현장 배치를 위한 야생동물 모ni터링 확장은 심각한 어노테이션 부족 환경에서 작동하는 스마트 센서의 자동화된 분석을 필요로 한다. 우리는 다중모달 모니터링 파이프라인에 대한 어노테이션 없는 검증 신호로 종 활동 패턴에 대한 전문가 지식을 활용할 것을 제안한다. 우리는 합의를 서로 간, 그리고 발표된 행동 사전(prior)과도 정렬되는 독립적으로 도출된 시간당 활동 곡선의 정렬로 운영화한다—이는 공유 데이터 교란 요인과 데이터셋 내부 상관을 대안적 설명으로 배제하는 삼방 수렴(three-way convergence)이다. 비전 파이프라인은 BioCLIP 2를 통한 제로샷(zero-shot) 종 탐지, 배치 제약이 있는 카메라 위치를 처리하기 위한 슬라이스 추론(sliced inference), 카메라 트랩 영상으로부터 기하학 기반 지리적 위치 추정을 결합한다. 음향 파이프라인은 파인튜닝(fine-tuning)된 분류기를 통해 종 발성(vocalization)을 탐지한다. 우리는 Milu 사슴 번식 무리에 대해 파이프라인을 검증하고, 두 모달리티 모두 최소한의 수동 어노테이션으로 알려진 사슴 행동 생태학과 일치하는 활동 패턴을 독립적으로 복원함을 보여준다. 이 프레임워크는 시각 및 음향 모달리티 모두에서 탐지 가능하고 문헌에 행동 사전이 기록된 종에 적용 가능하며, 보존 규모의 자가 검증(self-validating) 야생동물 모니터링 파이프라인을 향한 실용적 경로를 시사한다.
교차 언어 문장 인코더는 일반적으로 수백 개의 언어만 다루며, 더 강력한 정렬(alignment)을 위해 다운스트림 품질을 희생하는 경우가 많아 그 채택이 제한됩니다. 본 논문에서는 텍스트, 음성, 코드, 수학 표현식을 단일 의미 공간에 기본적으로 임베딩(embedding)하면서, 고자원(high-resource)에서 극저자원(extremely low-resource) 언어에 이르기까지 수천 개 언어 규모에서 최첨단(SOTA) 다운스트림 성능을 제공하는 새로운 전언어(omnilingual), 교차 언어 및 교차 모달 문장 임베딩 모델 계열인 OmniSONAR를 소개합니다. 표현 붕괴(representation collapse) 없이 이 규모에 도달하기 위해 우리는 점진적 학습(progressive training)을 사용합니다. 먼저 대규모 언어 모델(LLM)로 초기화된 인코더-디코더를 사용하여 200개 언어에 대한 강력한 기초 공간을 학습하며, 여기에 토큰 수준 디코딩을 새로운 분할 소프트맥스(split-softmax) 대비 손실(contrastive loss) 및 합성 하드 네거티브(synthetic hard negatives)와 결합했습니다. 이 기초를 바탕으로 2단계 교사-학생 인코더 증류(distillation) 프레임워크를 통해 수천 개의 언어 변종으로 확장했습니다. 마지막으로, 177개의 구어(spoken) 언어를 이 공간에 매끄럽게 매핑함으로써 해당 공간의 교차 모달 확장성을 입증했습니다. OmniSONAR는 200개 언어 FLORES 데이터셋(dataset)에서 교차 언어 유사도 검색 오류를 절반으로 줄였으며, 1,560개 언어 BIBLE 벤치마크(benchmark)에서는 오류를 15분의 1 수준으로 감소시켰습니다. 또한 강력한 번역 성능을 발휘하여 다국어 벤치마크에서 NLLB-3B를 능가했고, 1,560개 언어에서 영어로의 BIBLE 번역에서는 이전 모델(훨씬 더 큰 LLM 포함)보다 15 chrF++ 포인트 더 높은 성과를 보였습니다. OmniSONAR는 MTEB 및 XLCoST에서도 우수한 성능을 보였습니다. 음성(speech) 분야에서 OmniSONAR는 유사도 검색 오류를 43% 감소시켰으며, 번역에 대해 제로샷(zero-shot)임에도 불구하고(ASR 데이터로만 학습됨) SeamlessM4T의 음성-텍스트 품질의 97%에 도달했습니다. 마지막으로, OmniSONAR 임베딩 시퀀스를 처리하는 영어 텍스트에 대해서만 인코더-디코더 LM인 Spectrum을 학습시킴으로써, 복잡한 다운스트림 작업에 대해 수천 개 언어와 음성으로의 고성능 전이(transfer)를 가능하게 했습니다.