arXiv:2410.09750

Surgical-LLaVA: Toward Surgical Scenario Understanding via Large Language and Vision Models

Juseong Jin, Chang Wook Jeong

제출 2024-10-13

원문 초록

Conversation agents powered by large language models are revolutionizing the way we interact with visual data. Recently, large vision-language models (LVLMs) have been extensively studied for both images and videos. However, these studies typically focus on common scenarios. In this work, we introduce an LVLM specifically designed for surgical scenarios. We integrate visual representations of surgical images and videos into the language feature space. Consequently, we establish a LVLM model, Surgical-LLaVA, fine-tuned on instruction following data of surgical scenarios. Our experiments demonstrate that Surgical-LLaVA exhibits impressive multi-modal chat abilities in surgical contexts, occasionally displaying multi-modal behaviors on unseen instructions. We conduct a quantitative evaluation of visual question-answering datasets for surgical scenarios. The results show superior performance compared to previous works, indicating the potential of our model to tackle more complex surgery scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26097v1cs.CL공통 태그 Question Answering, Visual Question Answering, Instruction Following

하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM

One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data

원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.

arXiv:2607.24743v4cs.CV공통 태그 Visual Question Answering, Instruction Following

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

arXiv:2610.15938v1cs.AI공통 태그 Question Answering, Instruction Following

사각지대의 해부학: LLM 판사에게 무엇을, 얼마나 보여주어야 하는가

The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

대규모 언어 모델(LLM)이 생성한 텍스트에 대한 평가(evaluation)는 판사 역할을 하는 LLM에게 점점 더 많이 위임되고 있으나, 이러한 판사에게 무엇을 보여주어야 하는지는 여전히 해결되지 않은 문제로 남아 있습니다. 본 연구에서는 보고서가 실제로 반영되는 판사를 사이버네틱스(cybernetics) 관점의 조절기(regulator)로 취급하며, 판사에게 무엇을, 얼마나, 어떤 형태로 보여주어야 하는지, 그리고 판사의 보고서가 무엇을 정확히 짚어내야 하는지 질문을 던집니다. 7개의 공개 벤치마크(benchmark)에서 판사에게 보여주는 내용만을 다르게 구성하여 실험을 진행했습니다. 비용 차이가 10배에서 17배에 달하는 세 종류의 판사를 비교했을 때, 어떤 판사를 사용하느냐보다 판사에게 무엇을 보여주느냐가 더 중요했습니다. 준수해야 할 자료를 보지 못한 판사의 피드백을 바탕으로 시스템이 답변을 수정했을 때, 인스트럭션 준수(instruction following) 및 질의응답(question answering) 성능은 시작 지점보다 더 낮아졌습니다. 인스트럭션 준수의 경우 라운드가 거듭될수록 손실이 증가했으며, 판사가 제약 조건은 보지 못한 채 사용자의 요청만 보았을 때나 두 번째 판사 모델군을 사용했을 때도 이러한 현상이 지속되었습니다. 뉴스 요약 과업에서는 원문과 함께 올바른 참조 요약(reference summary)을 제공했을 때 원문이 기여하는 바가 대부분 상쇄되었으나, 단일 답변 질문에서는 참조가 도움이 되었습니다. 원문의 약 10분의 1 수준만으로도 거의 전체 역할을 수행했으며, 소규모 함의 그래프(entailment graph)는 그라운딩(grounding)된 텍스트에서 오류를 찾아내는 데 있어 LLM 판사와 대등한 성능을 보였습니다. 실험 실행 전 83개의 검증 가능한 조항을 사전에 확정했으며, 실행된 81개 중 32개가 기준을 충족했고 50개는 예측된 방향으로 전개되었으나, 이론 기반의 정량적 예측은 대부분 빗나갔습니다. 본 논문에서는 모든 미흡한 점을 빠짐없이 보고하고 측정된 효과에 기반한 설계 규칙을 도출합니다.

arXiv:2608.08477v4cs.CL공통 태그 Visual Question Answering, Instruction Following

VectraYX-Vision-1B: 구조화된 시각적 추론과 네이티브 도구 사용을 갖춘 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델

VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

우리는 동결된 SigLIP-so400m 인코더를 2층 MLP 프로젝터로 10.4억 매개변수 디코더에 결합한 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델 VectraYX-Vision-1B를 구축하고, 진단적 부정 결과를 보고한다. 시각적 그라운딩이 실패했다는 것이 아니라, 왜 그랬는지를 밝힌다. 다섯 가지 조용한 미세조정 결함을 수정한 뒤, 셔플된 이미지 대조를 포함한 9개 필드 추출 게이트에서의 그라운딩은 인코더를 그대로 두는 모든 구성에서 불변인 2/9이며, 이를 바꾸는 유일한 2×2 타일링은 필드 하나를 잃고 새로 얻는 것은 없다. 해상도는 작동 변수가 아니다. 거의 완벽하게 읽히는 필드가 코퍼스에서 가장 높은 엔트로피를 갖는다. 동결 SigLIP 특징에 대한 선형 프로브는 글리프별 복구 가능성 p~0.61을 주며, 관측 0.00 대비 1.9%를 예측한다. 타일링은 두 필드에서 복구 가능성을 거의 두 배로 늘리지만, end-to-end 모델은 더 나빠진다. 네이티브로 학습된 시각 타워를 동일한 동결 디코더와 레시피에 이식하면, 아무것도 복구하지 못한 타일링 조건보다 더 거친 토큰 예산에서 주소 필드를 0.00에서 0.81 exact로 끌어올린다. 해상도가 아니라 사전학습 체제가 손실이 얼마나 멀리 미치는지를 정한다. 이후 별도로 학습된 체크포인트는 하나의 긍정 결과를 추가한다. B8(34개 필드, 16개 템플릿, 2,040개 항목, 이중 셔플-이미지/최적 상수 대조)에서 9개 필드가 통과하여, 학습된 템플릿-필드 조합 내에서만 진정한 그라운딩이 있음을 확인한다. 가장 날카로운 새 발견은, 잘 학습된 템플릿 안에서 학습되지 않은 필드는 이미지와 무관하게 거의 일정한 오답을 반환한다는 것이다. 즉 자유 텍스트 읽기가 아니라 랜드마크 키 조회이다. B6/B7 도구 식별은 이 체크포인트를 포함한 모든 체크포인트에서 0.0을 유지한다. 더 강한 모델이 숨길 수 있는 세 가지 하네스 결함을 발견한 뒤 이전 0.08 tool-id 점수를 철회한다. 코드, 세 벤치마크 전부, 설정, B8 코퍼스를 포함한 모든 학습 체크포인트를 공개한다.

arXiv:2609.13814v3cs.CV공통 태그 Question Answering, Visual Question Answering

Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템

Realtime-Venus: A full-duplex interaction system with asynchronous delegation

디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.

arXiv:2609.28222v1cs.CV공통 태그 Question Answering, Visual Question Answering

3D 비전-언어에서 정렬에서 융합으로

From Alignment to Fusion in 3D Vision-Language

통합 3D 비전-언어 시스템은 인스턴스 분할(instance segmentation)부터 언어 유도 추론(language-guided reasoning)에 이르는 작업을 지원하면서, 상호 보완적인 기하(geometry), 스케일(scale), 외형(appearance) 단서를 결합해야 한다. 기존 방법들은 종종 포인트 클라우드(point cloud), 복셀 그리드(voxel grid), 다중 뷰(multi-view) 이미지를 독립적으로 처리한다. 이러한 이질적 표현을 직접 결합하면 상당한 특징 불일치가 해소되지 않은 채 남을 수 있으며, 이후 제약 없는 적응(unconstrained adaptation)은 내부 기하를 왜곡할 수 있다. 우리는 먼저 세 표현 간 쌍별 코사인 정렬(triple pairwise cosine alignment)을 적용해 세그먼트 수준(segment-level) 대응을 확립한 다음, 프롬프트 유도 쿼리 디코더(prompt-guided query decoder)로 작업 조건화(task-conditioned) 특징을 검색하는 정렬 후 융합(align-then-fuse) 프레임워크를 제안한다. 융합 전에, 표현별 쿼리 특징은 특수 직교군(special orthogonal group)으로 제약된 학습 가능 매핑으로 변환된다. 이 매핑들은 각 표현 내에서 내적(inner product)과 유클리드 거리(Euclidean distance)를 보존하여, 내부 기하를 임의로 왜곡하지 않으면서 통제된 표현별 재매개변수화(re-parameterisation)를 허용한다. 변환된 특징은 이후 하류 작업(downstream task) 감독 하에 Adaptive Fusion을 통해 결합된다. 실험은 인스턴스 분할, 시각적 그라운딩(visual grounding), 질의 응답(question answering), 밀집 캡셔닝(dense captioning)을 위한 8개 데이터셋을 다룬다. PQ3D와 비교하여, 모델은 ScanNet200에서 평균 정밀도(average precision)를 3.2포인트 향상시키고 ScanRefer, Nr3D, Sr3D, Multi3DRefer에서 각각 그라운딩 정확도(grounding accuracy)를 2.9, 10.6, 4.6, 4.1포인트 향상시키며, ScanQA, SQA3D, Scan2Cap에서도 성능을 개선한다. Ablation은 정렬과 직교 재매개변수화의 상호 보완적 역할 및 Adaptive Fusion의 효과를 추가로 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.