arXiv:2610.00196v1 cs.CV

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

Arefeh Rezaei

제출 2026-09-18

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

원문 초록

Multimodal large language models (MLLMs) have shown strong potential for video understanding and caption generation, but their performance may decline in specialized medical imaging domains such as echocardiography. This work introduces Gaussian Process Embedding Correction (GPEC), a modular and computationally efficient pre-LLM error-correction method that improves the visual representations used by VideoChat2 for cardiac ultrasound caption generation. GPEC is inserted between the visual projection layer and the language model and learns a residual correction that moves the projected visual representation toward an annotation-guided target. The target is constructed by converting structured video annotations into qualitative attributes, generating a fixed-format reference caption, and mapping it into the language-model embedding space. The correction is modeled using a sparse variational Gaussian Process with inducing points, natural-parameter variational updates, and a block-wise linear kernel, while the original VideoChat2 components remain frozen.The method is evaluated using representation-level, caption-level, content-oriented, and execution-time metrics by comparing the original VideoChat2 with VideoChat2 + GPEC under identical input and reference conditions. Results show improved caption similarity and content alignment after applying the proposed correction. Furthermore, GPEC adds less than 0.05 s of inference-time overhead per video in the evaluated setting. These findings indicate that GPEC can improve caption generation in specialized medical video domains with minimal computational cost, without requiring end-to-end fine-tuning of the pretrained multimodal backbone.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00196v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.38840v3cs.LG공통 태그 Variational Inference, Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2609.27710v3cs.CV공통 태그 Representation Learning, Medical Image Analysis

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.13599v1cs.LG공통 태그 Representation Learning, Medical Image Analysis

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.13656v1stat.ML공통 태그 Variational Inference, Gaussian Processes

비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론

Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields

잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.

arXiv:2610.13819v1cs.LG공통 태그 Representation Learning, Medical Image Analysis

전문가 뷰를 넘어서는 공유 정준 성분 제거

Shared Canonical Component Removal Beyond Expert Views

임상 현장에서 전문가들은 종종 결정을 내리기 전에 원시 입력(raw input)을 일련의 전문가 특징(expert feature)으로 변환하는 작업부터 시작합니다. 원시 입력을 기반으로 학습된 블랙박스 모델이 전문가 뷰(expert view)로 학습된 모델보다 우수한 성능을 보일 수 있지만, 원시 모델이 전문가 뷰가 포착하는 것 이상으로 어떤 예측 신호를 활용하는지는 여전히 불분명합니다. 본 논문에서는 공유 정준 성분 제거(Shared Canonical Component Removal, SCCR)를 사용하여 이러한 격차를 정량화하는 감사 프레임워크를 제안합니다. 표준 잔차화(residualization)나 개념 소거(concept erasure)와 달리, SCCR은 학습된 원시 임베딩과 전문가 임베딩 사이에서 강하게 공유되는 방향만을 선택적으로 제거합니다. 합성 데이터, 관상동맥 질환(CAD) 감지, 항우울제 치료 중단(dropout) 예측, 그리고 SkinCon 주석을 활용한 피부 병변 분류에 대한 평가를 통해, SCCR이 전문가 뷰가 불충분한 방식을 식별하고 전문가 뷰와의 중복성을 최소화하면서 잔여 예측 신호를 복원함을 보여줍니다.

arXiv:2610.13915v1cs.CV공통 태그 Representation Learning, Medical Image Analysis

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.