arXiv:2312.04794

Visual Grounding of Whole Radiology Reports for 3D CT Images

Akimichi Ichinose, Taro Hatsutani, Keigo Nakamura, Yoshiro Kitamura, Satoshi Iizuka, Edgar Simo-Serra, Shoji Kido, Noriyuki Tomiyama

제출 2023-12-08

원문 초록

Building a large-scale training dataset is an essential problem in the development of medical image recognition systems. Visual grounding techniques, which automatically associate objects in images with corresponding descriptions, can facilitate labeling of large number of images. However, visual grounding of radiology reports for CT images remains challenging, because so many kinds of anomalies are detectable via CT imaging, and resulting report descriptions are long and complex. In this paper, we present the first visual grounding framework designed for CT image and report pairs covering various body parts and diverse anomaly types. Our framework combines two components of 1) anatomical segmentation of images, and 2) report structuring. The anatomical segmentation provides multiple organ masks of given CT images, and helps the grounding model recognize detailed anatomies. The report structuring helps to accurately extract information regarding the presence, location, and type of each anomaly described in corresponding reports. Given the two additional image/report features, the grounding model can achieve better localization. In the verification process, we constructed a large-scale dataset with region-description correspondence annotations for 10,410 studies of 7,321 unique patients. We evaluated our framework using grounding accuracy, the percentage of correctly localized anomalies, as a metric and demonstrated that the combination of the anatomical segmentation and the report structuring improves the performance with a large margin over the baseline model (66.0% vs 77.8%). Comparison with the prior techniques also showed higher performance of our method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11862v1cs.CV공통 태그 Segmentation, Visual Grounding

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2606.26631v2cs.CV공통 태그 Visual Grounding

효율적인 다중 턴 반복 멀티모달 추론을 위한 적응형 시각 KV 캐시 재사용

Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning

다중 턴 시각 추론은 반복적인 크롭과 국소 검사를 통해 증거를 확보하지만, 관측 영역이 겹치면 시각 인코딩과 프리필이 중복된다. 본 논문은 추가적인 이미지 세부 정보에 대한 접근을 유지하면서 반복 처리를 줄이는 적응형 시각 KV 캐시 재사용 프레임워크를 제안한다. 핵심적인 어려움은 시각 프리필을 생략하면 새로운 관측과 현재 추론 사이의 상호작용도 함께 사라진다는 점이다. 과거의 키는 이전 위치에 묶여 있고, 과거의 값에는 크롭 사이에서 형성된 의도가 반영되어 있지 않다. 본 프레임워크는 먼저 크롭 크기와 캐시 가용성에 따라 전체 재인코딩과 영역 재사용 중 하나를 선택한다. 재사용 경로에서는 위치 키 재결합(Positional Key Rebinding, PKR)이 새로운 위치에서의 어텐션 매칭을 보정하고, 의도 유도 값 강화(Intent-guided Value Enhancement, IVE)가 크롭 이전의 추론 어텐션을 이용해 현재 목표와 관련된 내용을 강화한다. 전체 재인코딩된 크롭의 소스 상태는 이후의 검색과 재사용을 위해 보존된다. 본 프레임워크는 재사용이 적중한 경우 추가 학습이 필요하지 않으며, 선택된 시각 토큰에 대해 시각 인코더와 프리필을 건너뛴 뒤 일반적인 텍스트 추론을 재개한다. 실험 결과, 제안한 방법은 중간 크롭 이미지에 의존하는 다중 턴 시각 추론의 전체 정확도를 유지하면서 추론 시간을 줄인다.

arXiv:2606.09289v4cs.LG공통 태그 Segmentation

시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별

Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning

연속적인 이동 궤적으로부터 의도를 인식하는 것은 시공간 데이터 마이닝에서 중요한 문제이다. 이는 행동이 시간에 따라 변하고 그 경계를 직접 관측할 수 없을 때 어려워진다. 축구는 점유 중 여러 선수의 조율된 움직임에서 전술적 의도가 나타나므로 이 문제를 연구하기에 유용한 환경이다. 경기 국면 인식을 위한 기존 방법은 개별 프레임을 분류하거나, 사전 정의된 공간 규칙을 사용하거나, 일부 선택된 전술 패턴만 식별한다. 따라서 전술적 의도가 시간에 따라 변하는 연속적인 점유 시퀀스를 충분히 기술하지 못한다. 우리는 점유 중 경기 국면의 식별을 계층적 시퀀스 분할 과제로 다룸으로써 이 간극을 해결한다. 이 틀은 세 가지 전술적 의도(상대 공간 침투, 점유 유지, 득점)와 여섯 가지 국면(빌드업, 전진, 역습, 유지, 지속적 위협, 마무리)을 포함한다. 우리는 선수 상호작용 그래프, 맥락 특징, 트랜스포머 기반 시간 모델링을 결합한 시간적 그래프 어텐션 네트워크(T-GAN)를 제안한다. 이 틀은 분데스리가 7개 경기에 대해 한 경기 제외(leave-one-match-out) 검증으로 평가되었으며, 프레임 수준과 시퀀스 수준 모두에서 규칙 기반, 랜덤 포레스트, GNN, 트랜스포머 기준선과 비교되었다. 결과는 일관된 국면 분할에 시간적 모델링이 중요하며, 그래프 모델링은 역습과 같은 전환 국면에 추가적인 가치를 제공함을 보여 준다. 이 틀은 연속적인 선수 추적 데이터로부터 의도 기반 행동 구간을 발견하는 해석 가능한 방법을 제공하며 축구의 자동화된 전술 분석을 지원한다.

arXiv:2606.29984v2cs.AI공통 태그 Visual Grounding

응답 시 충실하라: 비전-언어 모델 강화학습을 위한 유창하고 근거 있는 답변 생성

Be Faithful When Response: Returning Fluent and Grounded Answers for Vision-Language Models Reinforcement Learning

강화학습(RL)은 비전-언어 모델(VLM)의 추론 능력을 향상시키는 중요한 패러다임이다. 그러나 멀티모달 추론의 롤아웃에 RL을 직접 적용하면 언어적 사전 지식의 악용, 시각적 증거의 무시, 유창하지만 시각적으로 근거가 없는 추론 흔적의 생성으로 인해 불안정성이 발생할 수 있다. 이에 다음과 같은 질문이 제기된다. 강화학습을 적용하기 전에 정책을 시각적으로 충실한 추론 영역으로 먼저 유도할 수 있는가? 이를 위해 본 연구는 충실한 웜스타트(Faithful Warm-Start, FWS) 전략을 제안한다. 이 전략은 먼저 여섯 개의 일반 VQA 벤치마크에서 명시적인 비전-언어 인과 관계를 지닌 샘플을 선별하여 FaithfulQA 데이터셋을 구축하며, 각 이미지-질문 쌍은 일정 수준의 시각적 관찰, 질문 요구사항, 상식 지식, 도메인 지식, 그리고 최종 답변을 갖는다. 이후 VLM 기반 판정기를 사용하여 데이터셋을 추가로 정제함으로써 강한 인과적 일관성과 시각적 충실성을 확보한다. 이 웜스타트 단계는 희소한 답변 수준 보상 하에서 이후 RL 최적화를 수행하기 전에, 모델이 인과적으로 근거한 비전-언어 패턴을 이해하는 능력을 갖추도록 한다. 실험 결과는 이러한 충실한 지도가 답변 정확도를 향상시키고, RL 학습을 안정화하며, 시각적으로 뒷받침되지 않는 추론을 줄임을 보여준다.

arXiv:2610.15929v1cs.CV공통 태그 Segmentation

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.