멀티모달 대규모 언어 모델(MLLM)은 일반적으로 학습 중 사용 가능한 모든 모달리티가 추론 시에도 접근 가능하다는 가정 하에 설계됩니다. 그러나 많은 실세계 환경에서는 이 가정이 성립하지 않아, 보조 모달리티가 학습 중에만 제공되는 특권 모달리티(privileged modality) 설정에서 모델이 동작해야 합니다. 이러한 모달리티들은 유용한 정보를 포함하고 있음에도 불구하고, 기존 MLLM은 모달리티를 상호 보완적 감독(supervision)의 원천이 아닌 교환 가능한 입력으로 취급함으로써 이를 효과적으로 활용하는 데 대체로 실패합니다. 우리는 MLLM 내에서 모달리티별 신호와 모달리티 공통 신호를 분리하는 새로운 프레임워크인 프로브 혼합(Mixture of Probes, MoP)을 제안합니다. 이를 통해 모델은 모달리티 의존적 구조를 보존하면서 모달리티 간 전이 가능한 표현을 학습할 수 있습니다. MoP의 핵심은, 기존 MLLM에서와 같이 최종 층 정렬에만 의존하는 대신, 공유 모달리티 인코더의 중간 표현에서 정보를 추출하고 조직하는 구조적 프로빙 메커니즘을 통해 이러한 분리를 달성한다는 점입니다. 이 분리를 지원하기 위해, 프로브 붕괴(probe collapse)를 방지하고 교차 모달리티 학습을 장려하는 프로브 분리 손실을 중심으로 한 MoP의 학습 전략인 MoP 교차 모달리티 학습(MoP Cross-modal Training, MoP-X)을 추가로 도입합니다. 우리는 특권 모달리티 설정에 맞춰진 포괄적인 평가 프로토콜 하에 4가지 모달리티와 8가지 과제에 걸친 두 도메인에서 MoP를 평가하며, 각 모달리티는 추론 시 유일한 입력으로 독립적으로 처리됩니다. MoP는 강력한 MLLM 기준 모델들을 일관되게 능가하여 최대 65%의 상대적 성능 향상을 달성함으로써, 보조 모달리티가 추론 시 사용 불가능하더라도 학습 중 효과적으로 활용될 경우 상당한 성능 향상을 제공할 수 있음을 보여줍니다. 코드, 모델 체크포인트 및 평가 프로토콜은 https://github.com/Sony/MoP에서 공개될 예정입니다.
라이브 스트리밍은 시청각 콘텐츠, 시청자 활동, 호스트의 행동, 플랫폼 신호가 함께 진화하는 장기적인 상호작용 환경으로, 스트림 자체로부터 지원(assistance)에 대한 요구가 자연스럽게 발생합니다. 본 논문에서는 라이브 스트림 상호작용을 네 가지 결합된 결정, 즉 행동 여부(whether to act), 행동 시점(when to act), 대화 대상(whom to address), 소통 내용(what to communicate)으로 정식화하는 혼합 주도형(mixed-initiative) 및 역할 조건부 지원 프레임워크인 \liveassistant를 소개합니다. 10초 간격마다 하나의 자기회귀(autoregressive) 정책이 동기화된 댓글, 후원 선물, 시청자 역학, 방송방 메타데이터와 함께 원본 오디오 및 비디오를 입력받아 \textsc{OBS}, \textsc{MEM}, 또는 \textsc{ANS}를 선택합니다. \textsc{OBS}는 침묵을 유지하고, \textsc{MEM}은 비공개 의미론적 업데이트를 기록하며, \textsc{ANS}는 수신자, 태스크, 그라운딩된 메시지를 지정합니다. 이 태스크를 지원하기 위해 실제 라이브 스트림 세션을 구조화된 인과적 지도 신호로 재구성하는 궤적 엔진을 구축하여, 320시간 이상의 최적화(optimization) 궤적과 275개 클립 및 13,812개 결정 구간으로 구성된 인간 검토 벤치마크를 생성했습니다. 희소한 구조화 결정을 강화하는 마커 인식 다중 턴 지도 미세조정(MA-MSFT)으로 정책을 학습(training)한 후, 턴 및 궤적 수준의 크레딧으로 자체 생성된 궤적을 최적화하는 스트리밍 다중 턴 GSPO(SM-GSPO)를 적용합니다. 미공개(held-out) 벤치마크에서 \liveassistant는 상태 정확도 71.14%, 수신자 정확도 72.67%, 태스크 정확도 58.41%를 달성하며 대표적인 스트리밍 및 범용 멀티모달 베이스라인 대비 일관된 성능 향상을 보였습니다. 종합적으로 이러한 공식화, 벤치마크, 학습 프레임워크는 라이브 스트림 지원을 공유 소셜 스트림에서의 선택적 참여로 정립합니다.
본 논문의 주요 목표는 의료 도메인에서 서로 다른 출처의 다중모달 데이터에 기반한 예측를 위한 일반 프레임워크를 제안하는 것이다. 우리는 고정(frozen) 의료 대규모 언어 모델(LLM) 표현이 다중모달 1차 진단 범주 예측을 위한 공유 임베딩 공간으로 기능할 수 있는지 평가했다. 구조화된 전자건강기록(EHR) 변수와 정보 누출(leakage)을 제거한 퇴원 기록(discharge-note) 구간을 직렬화하여 공유 고정-LLM 표현 공간에 매핑하고, LLM을 미세조정하지 않고 선형 프로be(linear probe)로 1차 진단 범주를 복원하는 백본 유연(backbone-flexible) 프로bing 프레임워크를 제안한다. 13,645건의 입원(7개 진단 범주)으로 구성된 MIMIC-IV 코호트에서, 일치된 분할 및 컨텍스트 예산 하에서 XGBoost 및 세 가지 텍스트 베이스라인(CAML, LAAT, PLM-ICD)과 비교하여 서로 다른 모달리티 입력(구조화만, 비구조화만, 결합)에 대해 트랜스포머 층 및 여섯 개의 고정 백본 전반에서 프로bing을 수행했으며, MIMIC-III에서 데이터셋 간 견고성도 검증했다. 결합(Combined) 최종 층 프로be는 MIMIC-IV에서 top-1 정확도 88.86%를 달성하여 CAML 및 PLM-ICD를 유의하게 능가했고 LAAT와는 통계적으로 동등했다. 결합 정확도는 여섯 백본에서 87.69%에서 89.25% 범위였다. MIMIC-III에서는 도메인 내 결합 프로bing이 74.18% 정확도에 도달하여 세 베이스라인을 모두 유의하게 초과했으며, 전이 학습(transfer-learning) 테스트에서 MIMIC-IV 고정 표현 위 280만 매개변수 어댑터가 92.51% 정확도에 도달하여 적응(adapted) LAAT(85.54%)를 능가했다. 고정 LLM 임베딩은 구조화 정보와 서술형 EHR 정보를 통합한다. 결합 구성은 모든 설정에서 가장 강했으며, 그 표현은 소형 어댑터를 통해 데이터셋 간 전이되었다. 고정 LLM 표현에 대한 다중모달 프로bing은 EHR 모달리티를 연구하고 임상 표현을 데이터셋 간 적응하는 실용적이고 백본 유연한 접근을 제공한다.
인공지능(AI)은 최근 몇 년 동안 급속한 속도로 발전해 왔습니다. 초기에는 대규모 언어 모델(LLM)의 혁신이 광범위한 주목을 받았습니다. 그러나 최근 세대의 프론티어 AI 모델들은 비전 기능을 핵심으로 삼아 멀티모달 기능을 일급 시민(first class citizen)으로 도입했습니다. 본 논문에서는 환자가 제출한 이미지로부터 피부과 질환을 진단하는 작업에 대해 최근 출시된 3가지 모델을 평가합니다. 선택된 모델들은 가격 측면에서 중저가 티어에 해당하므로, 현재 AI 능력의 상한선이 아닌 하한선을 나타냅니다. 저자들은 각 이미지를 평가한 세 명의 공인 피부과 전문의 패널과 비교하여 AI의 성능을 평가하며, 4가지 흥미로운 발견점을 제시합니다. 첫째, 지표에 따라 테스트된 AI 모델들은 임상의 간 일치도(inter-clinician agreement) 측면에서 인간과 동등하거나 약간 뒤처집니다. 둘째, AI 모델에 신뢰도(confidence) 점수를 요구하면 잘 보정되지 않은(poorly calibrated) 답변이 생성되므로, 임상 환경에서 신뢰도 임계값의 사용에 의존해서는 안 된다는 점을 발견했습니다. 셋째, 추가적인 환자 메타데이터를 제공하는 효과는 모델에 따라 크게 다르며, 세 모델 중 하나는 고려된 모든 지표에서 성능이 저하되었습니다. 마지막으로, 모델 비용은 성능을 예측하지 못합니다. 테스트한 가장 성능이 우수한 모델의 비용은 건당 평균 0.0045달러에 불과합니다.
멀티모달 대규모 언어 모델(MLLM)은 이미지를 표현하기 위해 수백 개의 시각적 토큰에 의존하기 때문에 상당한 계산 오버헤드를 발생시킵니다. 토큰 가지치기(token pruning)는 MLLM의 추론(inference) 비용을 줄이기 위한 유망한 접근법으로 부상했으나, 기존 방법들은 일반적으로 희소(sparse) 또는 연속적(continuous) 위치 임베딩(position embedding)을 사용하여 유지된 토큰에 위치 임베딩을 재할당하며, 각각 고유한 한계를 야기합니다. 희소 위치 임베딩은 시각적 토큰에 할당되는 어텐션(attention) 값을 감소시키는 경향이 있어 MLLM의 인식 능력을 저하시키는 반면, 연속적 위치 임베딩은 시각적 토큰의 원래 공간적 대응 관계를 왜곡하여 그라운딩(grounding) 능력을 약화시킵니다. 이러한 문제를 완화하기 위해 본 논문에서는 언어 디코더에 대한 층별 분석을 수행하고, 중간 층이 토큰 가지치기 상황에서 MLLM의 그라운딩 능력을 유지하는 데 중요한 역할을 한다는 점을 관찰했습니다. 이 관찰을 바탕으로, 그라운딩에 민감한 층에서는 희소 위치 임베딩으로 전환하고 그 외의 층에서는 연속적 위치 임베딩을 유지하는 층 인식(layer-aware) 위치 임베딩 전략을 제안합니다. 대표적인 가지치기 방법들과 다양한 벤치마크에 걸친 광범위한 실험을 통해, 본 접근법이 표준 희소 및 연속적 위치 임베딩과 비교하여 가지치기된 MLLM의 포괄적인 멀티모달 성능을 향상함을 입증합니다.
금융 분야 비전-언어 모델(VLM)의 탈옥(jailbreak) 취약성을 해결하기 위해 금융 관련 쿼리와 이미지 기반 위협을 포함한 한영 이중 언어 데이터셋인 FENCE를 소개한다. FENCE로 학습된 탐지기는 99%의 내분포 정확도를 달성하며 외부 벤치마크에서도 강건한 성능을 입증했다.
Kimi K3를 소개한다. Kimi K3는 2.8T 매개변수 전문가 혼합(MoE) 모델로, 1040억 개의 활성화 매개변수, 네이티브 비전 기능, 100만 토큰 컨텍스트 윈도우를 갖춘다. Kimi K3는 Kimi Delta Attention과 Attention Residuals 위에 구축되었으며, 이는 시퀀스 길이와 모델 깊이에 걸친 정보 흐름을 개선한다. Stable LatentMoE—토큰당 896개의 라우팅된 전문가 중 16개를 효과적으로 활성화—와 정제된 학습 및 데이터 레시피와 함께, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율을 약 2.5배 개선한다. 사후 학습에서는 일반, 에이전트(agentic), 코딩 영역과 다양한 추론 노력 수준에 걸친 강화학습을 강조하며, 이를 통해 조합적 일반화와 견고한 장기 실행을 가능하게 한다. 2.8T 규모에서 Kimi K3는 여러 영역의 인프라 발전을 통해 뒷받침된다: KDA를 위한 알고리즘-시스템 공동 설계, 효율적인 메모리 관리를 갖춘 완벽하게 균형 잡힌 전문가 병렬 학습, 지속적인 롤아웃과 샌드박스 상태를 갖춘 100만 토큰 에이전트 강화학습(RL), 그리고 배포 혁신. 광범위한 평가에서 Kimi K3는 장기 코딩, 에이전트, 지식, 추론, 비전 과제 전반에서 프론티어 수준의 성능을 달성함을 보여준다. 전체 성능은 여전히 Claude Fable 5와 GPT-5.6 Sol 등 가장 강력한 독점 모델에 미치지 못하지만, Kimi K3는 우리 평가 스위트에서 평가한 다른 오픈 및 독점 모델을 일관되게 능가한다. 향후 연구를 촉진하고 프론티어 인텔리전스의 더 넓은 배포와 채택을 가속하기 위해 Kimi K3 모델의 전체 가중치를 공개한다.
원격 탐사 다중 모달 대규모 언어 모델(RS-MLLM)은 일반적인 항공 영상 이해를 향상시켰다. 그러나 지구 관측 응용은 미세한 시나리오 특화를 요구하며, 고품질 시나리오 데이터의 부족과 불완전한 역량 커버리지에 제약을 받는다. 우리는 이러한 적응을 역량 격차 주도 사후 학습 문제로 공식화하고 채우기 후 진전(FBA)을 제안한다. 목표 도메인 샘플에 대한 단일 단계 지도 미세조정(SFT)에 의존하는 대신, FBA는 시나리오 특화를 향해 진전하기 전에 선행 역량 격차를 먼저 메운다. 우리는 대표적인 다중 소스 시나리오인 해안 항만 이해를 위해 CPRS(Coastal-Port Remote Sensing)를 구성하여 FBA를 구현한다. CPRS는 세 층의 지도 데이터셋으로, 다음 세 단계의 순차적 파이프라인과 결합된다: (1) 조감도 시각-언어 정렬을 위한 RS 의미 앵커링; (2) 서로 다른 모달리티 하에서 목표 및 브리징 시나리오 간 공유 RS 사전 지식(prior)의 도메인 브리지 수렴; (3) 하류 성능을 위한 근거 기반 시나리오 튜닝. 우리는 지각, 공간 이해, 견고성, 생성을 포괄하는 8개 트랙 진단 벤치마크 HarborEval을 구축한다. 동등한 학습 예산 하에서 HarborEval 점수는 LLaVA-v1.5에서 Direct-SFT의 57.95에서 FBA의 70.29로, Qwen3-VL에서는 81.09에서 83.37로 향상된다. FBA는 Collapsed-SFT도 능가하며, 항만 관련 VRSBench/RSVQA 부분집합과 OpenEval에서도 선두를 달린다. 단계별 및 역할 대체 분석은 점진적 격차 메우기와 단계별 역할을 검증한다. CPRS, HarborEval, 코드, 학습된 가중치에 대한 공개 예시 및 릴리스 업데이트는 https://github.com/Z0ngL1ng/filling-before-advancing 에서 확인할 수 있다.
대화형 입장 탐지(conversational stance detection)는 정적 텍스트 분석에서 동적 다중 모달 모델링으로 전환되었다. 그러나 기존 벤치마크에는 세 가지 핵심 한계가 있다: 신념의 동적 진화, 특히 입장 반전(stance reversal) 과정을 포착하지 못하는 점; 정서 상태와 논리적 추론을 분리하기 어려운 점; 풍자(sarcasm)와 같은 화용적(pragmatic) 모호성을 해소하는 데 있어 다중 모달 단서의 중요한 역할을 간과하는 점이다. 이러한 한계를 해결하기 위해, 우리는 StanceFlip을 제안한다. StanceFlip은 다중 턴 대화에서 다섯 가지 모달리티와 다양한 시나리오에 걸친 다중 모달 대화형 입장 전환 예측을 위해 설계된 벤치마크로, 두 가지 새로운 하위 과제를 포함한다: 1) 다중 모달 입장 6-tuple 추출(Multimodal Stance Sextuple Extraction)—화자(holder), 대상(target), 감정(emotion), 감성(sentiment), 입장(stance), 근거(rationale)를 대화의 정적 상태 스냅샷으로 추출하여 세밀한 인지 구조를 포착한다. 2) 동적 입장 전환 귀인(Dynamic Stance Flip Attribution)—대화 전반에 걸친 입장 반전을 추적하고 그 근본적 촉발 요인을 식별한다. 데이터셋과 함께, 우리는 다중 모달 대화형 입장 전환 예측(MCSFF)을 위한 전용 프레임워크인 ConStaFF를 제안한다. 대규모 언어 모델(LLM)을 기반으로, ConStaFF는 구조화된 입장 모델링과 충실한 전환 귀인을 위해 Thought-of-Stance(ToS) 추론 프레임워크와 자기 성찰적(self-reflective) 검증 메커니즘이 통합된 end-to-end 입장 추론을 수행한다. 구체적으로, ToS는 추론 과정을 전문화된 인지 페르소나(cognitive persona)로 분해하여 대상 명제를 구성하고, 교차 모달 충돌을 해결하며, 과거 입장 궤적을 추론한다. 광범위한 실험 결과, 우리의 접근법은 6-tuple 추출과 전환 촉발 요인 귀인 모두에서 최신(state-of-the-art) 성능을 달성하며, 강력한 다중 모달 대규모 언어 모델 기준선(baseline)들을 상당한 폭으로 능가한다.
다중모달 자동 팩트체킹(MAFC)은 외부 증거를 검색하고 추론하여 주장을 검증한다. 그러나 기존 정적 벤치마크 대부분은 오염(contamination) 위험이 있다. 이들은 주로 외부 증거 없이 대규모 언어 모델(LLM)의 내부 지식만으로 검증 가능한 오래된 주장으로 구성되어 있다. 이는 성능 추정치를 부풀리고, 최신 정보가 필요한 새로운 주장에 대한 실제 역량을 반영하지 못할 수 있다. 이를 해결하기 위해 등장하는 동적 벤치마크는 LLM의 지식 컷오프(knowledge cut-off) 날짜 이후에 발표된 주장을 수집하며, 이를 오염되지 않은 것으로 가정한다. 본 연구는 최신(SOTA) 정적 벤치마크 AVeriTeC와 새로 구축한 동적 벤치마크 ClaimReview2025Q4 모두에서 오염 위험과 MAFC 평가에 미치는 영향을 실증적으로 조사하여 이 가정을 재검토한다. 실험 결과 16가지 발견이 도출되었으며, 그중 세 가지 핵심 결과는 다음과 같다. (1) 동적 평가는 오염 위험을 줄이지만 제거하지는 못하며, 컷오프 이후 주장의 17.09%--29.30%는 여전히 잠재적으로 오염되어 있을 수 있다. (2) 많은 새로 발표된 주장은 컷오프 이전에 이미 공개된 여러 공개 지식을 종합하여, 또는 직접 검증할 수 있다. (3) 오염은 MAFC 성능에 통계적으로 유의미한 부풀림을 유발할 수 있으며, Macro-F1을 최대 11.34점까지 상승시키고 시스템 순위를 왜곡할 수 있다. 이러한 발견을 바탕으로, 엄격히 오염이 통제된 설정에서 SOTA LLM을 재평가한다. 본 연구는 신뢰할 수 있는 MAFC 평가를 위한 실용적 지침을 제공한다.
다중모달 대규모 언어 모델(MMLM)에서 어텐션 메커니즘의 경험적 성공은 종종 그에 내재된 미묘한 결함을 가려버린다. 구체적으로, MMLM은 일관되게 특정 의미적으로 무정보적인 시각 토큰에 과도한 어텐션을 보이며, 이 현상은 "register" 또는 "Visual Attention Sinks"라고 불린다. 기존 추론 개입 방법들은 이러한 sink 토큰을 식별하고 어텐션 가중치를 재분배하려 시도하지만, 이러한 접근법은 일반적으로 이러한 토큰을 고립적으로 다루며 계산 비효율성을 겪는다. 대신, 우리는 이 현상을 고립된 sink 토큰을 넘어 확장되는 시각 특징에 가해지는 일반화된 텍스트적 바이어스로 재구성한다. 이 관점에서, 만연한 구조적 바이어스는 의미적 시각 신호의 희석을 초래하며, 모델이 유효한 시각적 증거보다 언어적 사전(prior)을 우선시함에 따라 다중모달 환각을 촉발한다. 이 한계를 해결하기 위해, 우리는 학습 없이 플러그 앤 플레이 방식의 개입인 Saliency-guided Purification and Adaptive Redistribution(SPAR)을 제안한다. SPAR은 구조적 노이즈를 정화하고, 이후 회수된 어텐션 예산을 가장 정보가 풍부한 시각 영역에 재분배함으로써 이러한 일반화된 텍스트적 바이어스를 완화한다. 다양한 환각 벤치마크에 걸친 포괄적 평가는 SPAR이 무시할 수 있는 수준의 계산 오버헤드로 진정한 시각적 그라운딩을 효과적으로 복원함을 보여준다.
오픈 월드 객체 검출(OWOD)은 검출기가 알려진 범주를 인식하고, 보지 못한 범주의 이름 없는 객체를 발견하며, 새로 주석이 달린 클래스를 점진적으로 학습해야 한다. PROB는 디코더-쿼리 공간에서 클래스에 구애받지 않는 확률적 객체성(objectness)을 모델링하여 미지 객체 발견을 개선한다. 그러나 시각적 객체성만으로는 객체 같은 쿼리가 어려운 알려진 인스턴스, 보지 못한 범주의 객체, 또는 배경 잡음에 해당하는지 판별할 수 없어, 알려진-미지(known-unknown) 결정 경계가 모호해진다. 우리는 MSPO를 제안한다. 이는 PROB에 작업 인식(task-aware) 알려진 범주 언어 사전(prior)을 보강하는 경량 의미 보정(semantic calibration) 프레임워크로, 검출기 아키텍처와 점진적 학습 프로토콜은 그대로 유지한다. 현재 알려진 각 범주에 대해 MSPO는 범주 속성, 시각적 외형, 전형적인 장면, 기능적 용도를 포괄하는 확장 텍스트 설명을 구성하고, 고정(frozen) CLIP 텍스트 인코더로 이를 인코딩한다. 디코더 쿼리 특징은 동일한 의미 공간으로 투영되어, 현재 알려진 범주 의미로부터의 지지(support)를 추정한다. 이 의미적 증거는 PROB의 시각적 객체성과 융합되어, OWOD를 개방 어휘(open-vocabulary) 분류로 바꾸지 않고 알려진/미지 예측을 보정한다. 중요하게, MSPO는 미래 범주 이름을 절대 사용하지 않으며, 평가 동안 모든 보지 못한 범주는 이름 없는 상태로 유지된다. M-OWODB 및 S-OWODB에서의 실험은 MSPO가 강력한 PROB 기준선의 주요 집계 지표를 개선하면서 경쟁력 있는 미지 재현율을 유지함을 보여준다. 또한 초기 미지 혼동 지표를 개선하고 PASCAL VOC 최종 mAP를 최대 2.7 포인트 향상시킨다. 이러한 결과는 표준 OWOD 설정에서 알려진 범주 언어 의미가 확률적 객체성에 대한 효과적인 보정 신호를 제공함을 보여준다.
기존 원격 탐사 영상 생성 방법은 대부분 단일 모달리티 합성에 국한되어 있어, 다중 모달 영상에 내재된 상보적 정보를 활용하지 못한다. 이 한계를 해결하기 위해, 우리는 다중 모달 원격 탐사 영상 생성을 위한 대조적 매개변수 분리(contrastive parameter disentanglement) 프레임워크를 제안한다. 이 프레임워크는 단일 텍스트 프롬프트로부터 광학(optical), 적외선(infrared), 합성개구레이더(SAR, synthetic aperture radar) 등 여러 모달리티에 걸쳐 의미적으로 일관되고 구조적으로 정렬된 영상을 생성한다. 구체적으로, 우리는 직교 코어 부공간(orthogonal core subspace) 내에서 매개변수 수준에서 공유 의미와 모달리티별 속성을 분리하는 대조적 매개변수 분리 모듈을 도입한다. 이 모듈을 기반으로, 우리는 먼저 LoRA 어댑터의 매개변수 행렬 A가 다중 모달 대조 목적 함수를 통해 모달리티 불변 의미를 포착하도록 제약하고, 이어서 텍스트 조건화(text conditioning) 하에 여러 매개변수 행렬 B가 모달리티별 속성을 학습하도록 유도하는 분리 최적화 전략을 개발한다. 이 전략은 일관된 의미 내용과 뚜렷한 모달리티 특성을 갖는 다중 모달 영상의 동시 생성을 가능하게 한다. 또한 생성된 영상 간 구조적 정렬을 보장하기 위해, 우리는 추론 시 앵커(anchor) 모달리티로부터 나머지 모달리티로 구조적 상관 사전(structural correlation priors)을 전달함으로써 다중 모달 샘플링 궤적을 공동으로 모델링하는 쿼리-키(query-key) 구조 전달 메커니즘을 설계한다. 광범위한 실험을 통해 우리 방법이 생성 품질, 의미적 일관성, 구조적 정렬 측면에서 최신(state-of-the-art) 원격 탐사 영상 생성 접근법을 능가하며, 하류 객체 분류 작업에서도 우수한 성능을 달성함을 보인다.
다중 모달 객체 재식별(ReID)은 여러 모달리티의 상보적 정보를 통합하여 특정 객체를 검색하는 것을 목표로 한다. 그러나 기존 다중 모달 ReID 방법은 배경 간섭 억제나 삼중 모달 정렬을 효과적으로 다루지 못하고, 대신 쌍별 특징 융합에 집중한다. 또한 현재 많은 집계 접근법은 높은 계산 복잡도를 겪는다. 이러한 한계를 해결하기 위해, 우리는 Prompt-S6(PS6)와 시맨틱 인식 지식 가이던스를 기반으로 한 새로운 다중 모달 ReID 프레임워크인 PRISM을 제안한다. PS6는 Mamba의 선형 복잡도와 강력한 시퀀스 모델링 능력을 유지하면서 효율적인 교차 모달 상호작용을 가능하게 한다. 이러한 장점을 활용하여, 우리는 두 가지 핵심 구성 요소인 시맨틱 기반 토큰 가지치기(Semantic-Driven Token Pruning, SDTP)와 점진적 융합 네트워크(Progressive Fusion Network, PFN)를 설계한다. 분할 기반 모델(segmentation foundation models)에서 시맨틱 사전 정보를 파싱한 SDTP는 이 사전 정보를 활용하고 동적 토큰 가지치기를 적용하여 배경 노이즈를 억제하고 특징 표현을 정제한다. PFN은 다중 모달 특징을 점진적으로 집계하여 삼중 모달 정렬을 달성하고 모달리티 상보성을 충분히 활용한다. 제안된 모듈을 통해 PRISM은 복잡한 시나리오에서 더 견고한 다중 모달 표현을 생성한다. 네 가지 다중 모달 객체 ReID 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과와 효율성을 입증한다. 소스 코드는 https://github.com/zw-absin/PRISM 에서 이용 가능하다.
CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/
멀티모달 대규모 언어 모델(LLM)은 토폴로지, 측정값, 사고 텍스트를 결합하여 전력망 진단을 수행할 수 있지만, 답변 정확도만으로는 작업에 적합한 근거가 사용되었는지를 입증할 수 없다. 본 서신은 작업 조건부 충실성 감사를 수행하기 위한 일반적인 프레임워크를 제안한다. 이 프레임워크는 자기 보고 의존도, 개입 기반 행동적 의존도, 사전 등록된 공학적 중요도를 비교한다. 프레임워크는 먼저 작업별 근거 요건을 등록하고, 이를 자기 보고 의존도 및 통제된 모달리티 ablation 하에서의 행동 변화와 비교한다. 감지된 불일치를 해결하기 위해, 근거 제약 하에서 실패한 응답을 재생성하고 성능 손실 없이 그라운딩(grounding) 개선을 검증하기 위해 독립적으로 재-ablation하는 근거 게이팅(evidence-gated) 교정 및 재감사 메커니즘을 설계한다. 사례 연구는 IEEE 39- 및 118-버스 시나리오에서 서로 다른 규모의 세 LLM을 평가한다. 이 결과는 프레임워크가 작업 조건부 충실성 실패를 탐지, 진단, 교정할 수 있음을 검증한다.
최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다.
이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.
타인 개시 자기-수리(other-initiated self-repair), 또는 줄여서 타인 개시 수리(other-initiated repair, OIR)는 대화 상호작용에서 필수적인 메커니즘으로, 수신자가 말하기, 듣기, 또는 이해와 관련된 문제를 신호하여 이전 화자가 이를 해결하도록 유도한다. 대화 에이전트(conversational agent)의 경우, 의사소통 단절을 효율적으로 해결하기 위해 이러한 수리 개시 전략을 정확히 식별하는 것이 필수적이다. 대화 분석(conversation analysis) 연구는 OIR 개시가 시선 전환, 표정, 자세, 손짓 등 언어적 및 비언어적 신호와 함께 나타남을 보여주었지만, 기존 계산(computational) 접근법은 주로 텍스트와 오디오에 의존한다. 본 논문은 대화 분석에서 도출한 시각적 특징 집합을 통합한 OIR 탐지 및 분류를 위한 새로운 멀티모달 모델을 제안한다. 서로 다른 언어와 상호작용 설정을 가진 두 코퍼스에서 접근법을 평가한다. 결과는 시각 정보가 텍스트 및 오디오 기준선(baseline) 대비 성능을 일관되게 향상시키며, 두 코퍼스에 걸친 교차 모달(cross-modal) 특징 기여에 대한 통찰을 제공함을 보여준다.
멀티모달 허위정보 검증은 게시물의 서로 다른 부분에서 오해를 유발하는 신호가 나타날 수 있고, 각각 다른 형태의 증거를 요구하기 때문에 어렵다. 대규모 비전-언어 모델(LVLM)은 이 과제에 잘 맞지만, 검증 성능은 종종 각 사례에 적용되는 추론 절차에 따라 달라진다. 기존 방법은 더 강한 프롬프트, 검색(retrieval), 또는 숙고(deliberation)를 통해 이 절차를 개선하지만, 이전 사례에서 학습한 검증 패턴을 거의 유지하지 못한다. 우리는 Verification-Notebook Learning(VNL)을 제안한다. 이는 추론 전에 고정된(frozen) LVLM에 대한 외부 검증 절차를 학습하는 비모수적(non-parametric) 프레임워크이다. VNL은 이전 검증 경험으로부터 의사결정 원칙, 증거 단서, 반복되는 함정으로 구성된 간결한 노트북을 구축한다. 노트북은 추론 중 고정된 상태를 유지하며 새로운 사례의 검증을 안내한다. 모델 파라미터를 갱신하거나 시연(demonstration)을 저장하는 대신, VNL은 학습된 지식을 직접 검사할 수 있는 아티팩트(artifact)에 기록한다. 실험 결과 VNL은 다양한 경쟁 기준선(baseline)을 일관되게 능가한다. 추가 분석에 따르면 Verification Notebook은 간결하고 해석 가능한 상태를 유지하면서 세밀한 출처 귀속(source attribution)을 개선하며, 모델 학습 없이 검증 지식을 축적하는 효과적인 방법을 제공한다.
악천후 조건에서의 자율주행은 여전히 중요한 과제이지만, 기존 비전-언어 벤치마크는 주로 표준 조건, 합성 손상, 또는 단일 모달리티에서 평가한다. 그 결과, 멀티모달 입력을 사용한 실제 악천후 환경에서 비전-언어 모델이 어떻게 동작하는지는 여전히 불분명하다. 우리는 핵심 난관이 환경 관측 가능성(observability)의 저하에 있다고 주장한다. 안개, 비, 눈, 저조도 조건에서는 멀티모달 관측이 신뢰할 수 없고 교차 모달 간 불일치가 발생하여 장면 이해와 이후 의사결정에 어려움을 준다. 이를 연구하기 위해 악천후 자율주행을 위한 실세계 멀티모달 벤치마크인 ObsDriveBench를 제안한다. 본 벤치마크는 관측 가능성 인식(observability awareness), 공간적 신뢰성(spatial reliability), 위험 인식 의사결정(risk-aware decision-making)의 세 가지 역량 차원으로 설계되어, 저하된 관측 조건에서 모델 행동을 세밀하게 진단할 수 있다. 동기화된 카메라, LiDAR, 레이더 입력에 대한 관측 가능성 메타 어노테이션, 장면 설명, 역량 지향 객관식 과제를 통해 벤치마크를 구축하였으며, 14k개 이상의 학습 및 13k개의 테스트 질문으로 구성된다. 실험 결과, 기존 비전-언어 모델에서 일관된 성능 저하가 나타났다. 또한 정상 기상 조건 지도 미세조정과 악천후 강화학습을 적용한 ObsDrive 모델을 제안하여, 세 가지 역량 전반에 걸친 견고성을 향상시켰다. 데이터셋과 평가 코드는 https://github.com/russellyq/ObsDriveBench 에서 공개될 예정이다.