자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
개념 병목 모델(CBM)의 사전 정의된 개념 집합 의존성과 정보 누수 문제를 해결하기 위해, LMM이 생성한 캡션을 병목층으로 활용해 텍스트만으로 분류를 수행하는 CaBM(Caption Bottleneck Models) 프레임워크를 제안한다. CaBM은 설계상 누수 없는 구조를 보장하면서 학습 후 텍스트 분류기 분석을 통해 데이터셋 특화 개념을 자율적으로 발견하며, 세밀 및 조대 벤치마크에서 경쟁력 있는 정확도와 해석 가능성을 동시에 달성한다.
머신러닝 모델의 예측을 해석하는 것은 특히 블랙박스 비전 모델에서 핵심적인 과제입니다. 개념 기반 기여도 분석(concept-based attribution) 방법은 사람이 이해할 수 있는 개념을 사용하여 모델을 해석합니다. 기존의 개념 기반 방법들은 분류(classification) 및 회귀 모델만을 해석할 수 있습니다. 또한 모델 가중치에 대한 접근이나 대규모 개념 주석 데이터셋을 필요로 하며, 대부분의 방법은 이미지 수준의 기여도를 제공하지 못합니다. 본 논문에서는 모델 가중치 접근이나 라벨이 지정된 개념 데이터셋 없이도 동작하는 새로운 개념 수준 기여도 분석 방법인 Hide and Seek(HnS)를 제안합니다. HnS는 광범위한 비전 모델을 해석할 수 있습니다. 개념과 이미지 세트가 주어지면, HnS는 비전-언어 모델(VLM)을 사용하여 개념과 일치하는 이미지를 검색하고, 각 이미지 내에서 해당 개념의 위치를 특정(localize)한 뒤, 해당 영역을 마스킹하고, 원본 이미지와 마스킹된 이미지 간의 블랙박스 모델 출력 변화로부터 기여도를 측정합니다. 이를 통해 모델의 동작을 직접 측정하고 국소적(local) 기여도를 지원함으로써 충실한 기여도 분석을 가능하게 합니다. 저자들은 CelebA와 COCO-Stuff에서 HnS를 검증했습니다. 기존 방법들과 비교했을 때, HnS는 정답(ground-truth) 기여도와 더 높은 일치도를 보였습니다. 또한 기존의 개념 기여도 분석 방법을 적용할 수 없었던 이미지 캡셔닝 및 위성 이미지 분할(image segmentation)을 포함한 다양한 태스크에서 HnS의 적용 가능성을 입증했습니다. 익명화된 코드는 보충 자료(supplementary material)에 제공되었습니다.
생의학 도표는 캡션뿐만 아니라 이를 설명하는 본문 구절을 통해서도 해석됩니다. 그러나 현재의 멀티모달 말뭉치는 도표를 고립된 이미지-캡션 쌍으로 축소하여 이러한 핵심 문맥을 버리는 경우가 많습니다. 기존 파이프라인은 이 문맥을 생략하거나 각 첨부를 뒷받침하는 도표 참조를 강제하지 않은 채 덧붙여, 근거 없는 이미지-텍스트 연결과 비일관적인 담화를 유발할 수 있습니다. 본 연구에서는 PubMed Central Open Access(PMC-OA) 레코드를 참조적으로 일관된 인터리브드(interleaved) 시퀀스로 변환하는 출처 기반 프레임워크인 문맥 기반 재구성(context-grounded reconstruction)을 도입합니다. 이는 캡션과 원본 텍스트를 복원하고, 논문 고유의 도표 참조를 통해서만 문맥을 첨부하며, 연속되지 않은 문맥을 복구하고 근거 없는 이미지를 제거합니다. 이렇게 재구성된 시퀀스에서 출발하여, PMC-InterCPT는 먼저 텍스트 품질과 의학적 관련성을 기준으로 레코드를 필터링한 뒤, 근거 인식 할당을 적용하여 생성형 의료 멀티모달 대규모 언어 모델(MLLM)의 지속 사전학습(CPT)을 위한 9.63B 토큰 규모의 말뭉치를 구축합니다. 고정된 지도 미세조정(SFT) 환경에서 PMC-InterCPT는 토큰 수가 일치하는 원본 데이터 대조군 대비 Qwen3.5-4B-Base의 의료 평균 점수를 1.46점, 일반/과학 평균 점수를 3.11점 향상시켰으며, 42% 더 큰 원본 데이터 학습 결과도 능가했습니다. 이러한 성능 향상은 Qwen3.5-2B-Base 및 LLaVA-OneVision-1.5-4B-Base에도 전이됩니다. 통제된 소거 연구(ablation study)는 단순히 논문 문맥을 덧붙이는 것이 아니라 문맥 기반 재구성을 수행하는 것이 유용한 생의학 멀티모달 CPT의 핵심임을 보여줍니다.
이미지 캡셔닝 및 시각적 질의응답(VQA)과 같은 많은 멀티모달 태스크에서는 비전-언어 모델(VLM)이 객체를 해당 속성 및 공간적 관계와 바인딩(결합)해야 합니다. 그러나 이러한 연관성이 VLM 내에서 어디서 어떻게 계산되는지는 여전히 불분명합니다. 본 연구에서는 VLM이 공간 변수 바인딩(spatial variable binding)을 표현하기 위해 두 가지 병행 메커니즘에 의존함을 보입니다. 언어 모델(language model) 백본에서는 중간 레이어가 객체에 해당하는 시각적 토큰 위에 내용 독립적인 공간 관계를 표현합니다. 하지만 이 메커니즘은 모델(model) 예측을 형성하는 데 부차적인 역할만 수행합니다. 반면, 주된 공간 정보의 원천은 비전 인코더에서 발생하며, 비전 인코더의 표현은 객체의 배치를 인코딩하고 언어 모델 백본에 의해 직접 활용됩니다. 특히, 이러한 공간 신호는 시각적 토큰 전반에 걸쳐 전역적으로 분산되어 있으며, 객체 영역을 넘어 주변 배경 영역까지 확장됩니다. 우리는 COCO 데이터셋(dataset)의 복잡한 자연 이미지에 대해 이러한 발견의 일반화 가능성을 검증하였으며, 모든 이미지 토큰에 걸쳐 비전 유래 공간 표현을 전역적으로 증폭시키는 것이 다양한 크기의 모델 전반에서 공간 변수 바인딩 오류를 교정함을 확인했습니다. 종합적으로, 본 연구 결과는 VLM 내에서 공간 변수 바인딩이 어떻게 계산되는지 명확히 밝히고 이를 가능하게 하는 비전 인코더의 중심적 역할을 강조합니다.
다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
ELSA3D는 텍스트와 3D 토큰을 단순히 연결하는 기존 방식의 암묵적 상호작용 문제를 해결하기 위해, 스케일 인식 옥트리 토크나이저와 Anchor Tokens 기반의 탄력적 의미론적 앵커링(elastic semantic anchoring)으로 언어-기하학 추론을 추상화 스케일에 맞춰 구조화한다. 이미지-to-3D, 텍스트-to-3D 생성 및 3D 캡셔닝 전 분야에서 최고 성능을 달성하면서도, 비탄력적 버전 대비 FLOPs를 1081G에서 632G로, 추론 지연 시간을 29.8초에서 17.2초로 절반 수준으로 줄였다.
스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.
재캡션된 이미지-텍스트 코퍼스는 이제 텍스트-투-이미지(T2I) 학습의 표준이 되었으며, 비전-언어 모델(VLM) 캡셔너가 희소한 대체 텍스트(alt-text)를 밀도 높은 설명으로 대체하고 있다. 재캡션된 코퍼스는 문서화된 캡셔닝 정책($π$), 캡셔너($V_c$), 소스 코퍼스($C$)에 의해 유도된 감독 분포(supervision distribution)이다. 길이 상관 프록시(proxy)는 캡션 문체(register) 관련 아티팩트를 포착하지 못하고, 하류(downstream) T2I 벤치마크는 코퍼스를 학습 선택지와 뒤섞어버리기(entangle) 때문에, 이 분포는 코퍼스 규모에서 감사하기가 어렵다. 본 논문은 재캡션된 감독 분포 $D_{π,V_c,C}$에 대해 재사용 가능한 매칭 예산 감사 프레임워크를 제안한다. 이 프레임워크는 $B = 64$로 고정된 텍스트 예산에서 프롬프트 측 커버리지, 이미지 조건부 충실도, 캡션 표면 건강성(surface health)에 걸친 5축 프로파일을 보고하며, 주장된 통제 가능 기본 단위(controllable basic unit, CBU)를 공통 주장 단위로 사용한다. 우리는 5개의 공개 소스 코퍼스에 대한 7개의 짝지어진 비교를 통해 이 프레임워크를 구체화한다. 4개의 교차 코퍼스 쌍 전반에서, 공개된 표면(surface)은 Qwen과 Gemma 판정자(Judge) 모두에서 캡션당 지지되는 CBU를 $+3.39$에서 $+6.36$까지 끌어올리며, CC12M에서는 동일한 프레임워크가 두 판정자와 네 가지 예산 전반에서 일관되게 나타나는 긴/밀집(long-vs-dense) 프런티어를 드러낸다. 우리는 감사된 다중 소스 재캡션 코퍼스(약 4억 9천만 개)를 감사 아티팩트 번들과 함께 공개한다.
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.
원격 탐사 비전-언어 모델(VLM)은 지구 관측(Earth Observation) 데이터와 다양한 태스크에 대해 개방형 추론(open-ended reasoning)을 지원하도록 점점 더 요구받고 있습니다. 이 분야의 최근 진전은 대부분 새로운 인코더, 정렬(alignment) 모듈 또는 태스크별 융합 메커니즘을 도입하는 원격 탐사 특화 아키텍처 설계를 통해 주도되었습니다. 본 연구에서는 이러한 아키텍처적 특화의 필요성에 의문을 제기합니다. 우리는 일반적인 능력을 갖춘 비전-언어 모델이라도 다양한 데이터와 태스크 전반에 걸쳐 충분한 규모로 학습(training)된다면, 까다로운 원격 탐사 벤치마크에서 경쟁력 있거나 최고 수준(SOTA)의 성능을 달성할 수 있음을 보여줍니다. 우리 모델은 텍스트로 직접 답변하거나 분할(segmentation) 및 그라운딩(grounding)을 위한 위치 특정 도구를 호출할 수 있는 단일 언어 정책을 사용합니다. 이러한 이종 동작을 학습시키기 위해, 우리는 매우 다양한 입력 유형에 걸친 객관식 VQA, 자유 형식 VQA, 캡셔닝, 검출 및 분할을 포괄하는 적응형 태스크 보상을 갖춘 멀티태스크 강화학습(reinforcement learning) 프레임워크를 사용합니다. 우리의 접근 방식은 고해상도, 다중 시점(multi-temporal), 멀티모달 및 다각도(multi-view) 태스크를 포함한 광범위한 벤치마크 세트 전반에서 경쟁력 있는 결과를 달성합니다. 나아가 학습 데이터가 스케일링됨에 따라, 우리 실험은 분포 내외(in- and out-of-distribution) 대부분의 태스크 전반에서 태스크별 데이터 다양성과 상관관계를 갖는 일관된 성능 향상을 보여줍니다. 이러한 결과는 원격 탐사 VLM에 있어 아키텍처적 새로움이 없더라도 데이터 규모만으로 충분함을 시사합니다.
통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.
멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.
문맥 내 학습(ICL)은 대규모 비전-언어 모델(LVLM)이 문맥 내 예시의 패턴을 따름으로써 과제를 수행할 수 있게 하지만, 사회적 바이어스를 증폭시킬 잠재력은 아직 충분히 탐구되지 않았다. 우리는 6가지 ICL 설정, 3가지 과제, 4개 데이터셋으로 구성된 평가 프레임워크 VL-BICLE을 통해 ICL이 LVLM의 성별 바이어스에 어떤 영향을 미치는지 체계적으로 조사한다. 6개 LVLM에 대한 실험 결과, 성별이 드러난 ICL 시연이 방향성 있는 힘으로 작용하여 교차 성별 메커니즘을 통해 모델 바이어스를 시연된 성별 쪽으로 이동시키며, 반대 성별에 대한 성능을 불균형적으로 저하시킨다. 이 효과는 이미지 캡셔닝과 대명사 예측에서는 나타나지만 시각적 질의응답(VQA)에서는 나타나지 않으며, 성별이 드러난 ICL이 바이어스에 영향을 미치는 것은 과제 출력이 성별이 드러난 언어를 포함할 때에만 해당함을 시사한다. 유사도 기반 검색(retrieval) 방법은 학습 풀의 성 불균형을 그대로 물려받으며 디바이어싱 이점을 제공하지 않고, 표준 품질 지표는 이러한 바이어스 변화를 포착하지 못한다. 이 바이어스를 완화하기 위해, 캡션은 그대로 유지한 채 문맥 내 실제 이미지를 stable diffusion 모델에서 생성한 합성 이미지로 교체한다. 이 단순한 개입은 캡션 품질을 저하시키지 않고 성별 바이어스를 줄인다.
방사선 판독문 생성에서 대규모 비전-언어 모델(LVLM)을 안전하게 배포하기 위해서는 정확한 예측뿐만 아니라, 출력을 면밀히 검토해야 할 시점을 임상적으로 해석 가능하게 알려주는 지표가 필요하며, 이를 통해 영상의학과 전문의의 선택적 검증을 가능하게 하고 환각(hallucination)된 소견이 임상적 결정에 영향을 미치는 위험을 줄일 수 있다. 이에 대한 한 가지 직관적인 접근법은 모델이 자신의 확실성을 명시적으로 진술하는 언어화된 확신도(verbalized confidence)이다. 그러나 현재의 최첨단 언어 모델은 종종 과도한 확신(overconfident)을 가지며, 방사선 판독문 생성과 같은 멀티모달 환경에서의 캘리브레이션(calibration, 보정)에 관한 연구는 제한적이다. 이러한 공백을 해결하기 위해, 우리는 방사선 판독문과 함께 보정된 언어화된 확신도 추정치를 생성하도록 의료 LVLM을 미세조정(fine-tuning)하는 강화학습(reinforcement learning) 프레임워크인 ConRad(Confidence Calibration for Radiology Reports)를 도입한다. 우리는 단일 판독문 수준의 확신도 점수와 각 주장에 확신도를 할당하는 문장 수준 변형이라는 두 가지 설정을 연구한다. 두 방식 모두 오보정(miscalibration)에 불이익을 주어 진실된 자기 평가를 유도하고 보상 극대화 시 최적의 캘리브레이션을 보장하는 로그 점수 규칙(logarithmic scoring rule) 기반 보상(reward) 함수와 함께 GRPO 알고리즘을 사용하여 학습된다. 실험을 통해 ConRad가 캘리브레이션을 실질적으로 개선하고 경쟁 방법들보다 뛰어난 성능을 보임을 확인하였다. 임상적 평가에서는 ConRad의 판독문 수준 점수가 임상의의 판단과 잘 일치함을 보여준다. ConRad는 집중적인 검토를 위해 전체 판독문이나 확신도가 낮은 진술을 강조 표시함으로써 판독문 생성을 위한 AI 보조 기능의 보다 안전한 임상 통합을 지원할 수 있다.
멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.
건설 모니터링에 사용되는 컴퓨터 비전(CV) 시스템은 불리한 환경 및 시각적 조건에서 성능이 저하될 수 있으나, 기존 건설 이미지 데이터셋에서는 이러한 조건이 여전히 과소 대표되고 있습니다. 본 논문에서는 3,109개의 실제 소스 장면에서 파생된 34,199개의 이미지를 포함하는 쌍(paired) 형태의 합성 건설 현장 이미지 데이터셋인 ConSynth-X를 제시합니다. 이 데이터셋은 강수, 안개, 야간 조명, 야간 악천후, 소형 객체 또는 원거리 뷰를 아우르는 11개의 조건별 하위 집합으로 구성됩니다. 각 합성 이미지는 해당하는 소스 장면에 연결되어 있어 환경 및 시각적 조건 전반에 걸친 통제된 비교를 가능하게 합니다. ConSynth-X는 소스 기반 주석, 생성 메타데이터, 출처(provenance) 정보 및 이미지 품질 지표를 포함하여 객체 검출(object detection), 이미지 캡셔닝, 시각적 그라운딩(visual grounding), 시각적 질의응답(VQA)을 지원합니다. 기술적 검증(validation)에서는 임베딩(embedding) 기반 유사도 및 분포 분석을 사용하여 소스-합성 충실도와 실제 악조건 이미지와의 정렬(alignment)을 평가합니다. 이 데이터셋은 까다로운 현장 조건에서 건설 비전 및 비전-언어 모델의 강건성을 평가하고 개선하기 위한 체계적인 자원을 제공합니다.
관할권 간 의미적으로 유사한 법령 문구를 구분하는 문제는 기존 방법으로는 해결되지 않는 검색(retrieval) 문제이다. 이러한 문맥 간 충돌은 생성 모델이 주제적으로는 관련 있으나 관할권상으로는 잘못된 출처에 근거한, 확신에 찬 답변을 내도록 이끌 수 있다. 담배 및 니코틴 규제는 미국 관할권마다 달라 종종 유사한 표현을 공유하므로, 견고한 추론을 위해서는 관련 문장만 검색하는 것이 아니라 특정 제품에 어떤 관할권의 법이 적용되는지 식별해야 한다. 신규 제품(예: 파우치)은 모호한 정의를 이용해 규제를 회피한다. 최신(SOTA) 문서 검색-증강 생성(RAG) 방법은 이러한 문맥 간 충돌을 다루기 어려워, 이미지 속성(예: 풍부한 속성 캡션)과 유사한 법령 텍스트 집합을 연결하는 데도 어려움을 겪는다. 우리는 NicoPRISM(Nicotine Product and Regulation Image-and-Text Surveillance Multimodal)을 제안하며, 이는 161,563장의 이미지, 속성 캡션, 13개 미국 관할권에 걸친 제품·보건·입법 문서 지식 베이스, 그리고 정책 준수 QA와 제품 지식 QA 두 과제에 걸친 1,495개의 검증된 질의-응답 쌍으로 구성된다. 또한 PRISM-RAG를 제안한다. 이는 이미지, 캡션, 엔티티 위에 구축된 멀티모달 하이퍼그래프 RAG 프레임워크로, 인덱싱 시점에는 LLM 호출 없이 모든 질의를 제품 이미지에 그라운딩(grounding)하고, 질의된 관할권의 법령 텍스트가 구조적으로 언어 모델에 전달되도록 관할권 인식 문맥 조립 메커니즘을 통해 검색을 라우팅한다. PRISM-RAG는 정책 준수 질의의 93.9%에서 올바른 관할권의 구절을 검색하며, 표준 RAG 대비 48.6%p 우위(p<0.001)를 보인다. 인덱싱 시점 LLM 호출은 0회, 쿼리 시점 1회이며, 키워드·의미·관할권·준수 정확도 지표에서 최신 RAG 프레임워크와 동등하거나 더 나은 성능을 낸다.
전역 비전-언어 유사도(global vision-language similarity)는 이미지와 캡션을 하나의 벡터로 압축하여 의미는 보존하지만, 어떤 단어가 어떤 영역에 대응하는지 또는 그 영역들이 어떻게 배치되어 있는지는 보존하지 못한다. 그 결과 모델은 모든 단어와 객체를 인식하면서도 구성적으로 잘못된 캡션을 선호할 수 있다. 우리는 고정된(frozen) 인코더가 이러한 연관 구조를 이미 보유하고 있으며, 따라서 문제는 사전학습된 유사도 옆에 이를 재구축하는 것이 아니라 그것을 읽어내는 것이라고 주장한다. 우리는 하나의 잠재 객체 위에 구축된 쌍별(pairwise) 스코어러인 BindCLIP을 제안한다: 이는 후보 캡션들과 여러 시각적 깊이(visual depth)를 하나의 계획(plan)에 배치하는 균형 잡힌 토큰-패치-깊이 최적수송(optimal-transport) 커플링이다. 의미적, 개체적, 순서적, 공간적 증거는 이 상태의 에너지로 읽히며, 후보들을 교환하면 계획이 치환되어 점수가 정확히 반대칭(antisymmetric)이 된다. 커플링 내부의 기하학적 정제(geometric refinement)는 후보들과 시각적 깊이가 뒷받침하지 않는 이동(move)을 수축시킨다. 과제 레이블, 파서(parser), 관계 목록(relation inventory), 검출기(detector)는 전혀 사용되지 않는다. 하나의 체크포인트와 하나의 추론 경로만으로 고정된 전역 CLIP 대비 공식 What'sUp, ARO, SugarCrepe 벤치마크에서 성능이 향상되며, 관계(relation) 분할에서 가장 강한 전이(transfer) 성능을 보인다. 대조군(control) 실험은 패치 접근이나 캡션 길이를 이용한 지름길(shortcut) 가능성을 배제하며, 추론 시점의 병변(lesion) 실험은 공간적 배치 정보가 커플링에 국지화되어 있음을 보여준다.