arXiv:2608.00345v1 cs.CV

ORCA: 학습이 필요 없는 3D CT 시각적 토큰 압축을 위한 장기 중심점 집약

ORCA: ORgan-Centroid Aggregation for Training-Free 3D CT Visual Token Compression

Renjie Liang, Zijian Xu, Jinqian Pan, Chengkun Sun, Zhengkang Fan, Shawn Li, You Qin, Mei Liu, Jie Xu

제출 2026-07-31

한국어 초록

비전-언어 모델(vision-language model)에 입력되는 3D CT 스캔은 볼륨당 수천에서 수만 개에 달하는 긴 시각적 토큰(token) 시퀀스를 생성하며, 언어 모델(language model)이 이를 처리하기 위해서는 시퀀스를 압축해야 합니다. 토큰 압축은 일반 컴퓨터 비전(CV) 분야에서 활발히 연구되었으나, 3D CT를 구체적으로 겨냥한 연구는 거의 없습니다. 흔히 쓰이는 기준선(baseline)은 격자 평균(grid average)으로, 이는 정규 격자 셀을 풀링하여 뚜렷한 해부학적 구조, 병변, 공기를 하나의 토큰으로 섞어버릴 수 있습니다. 본 연구에서는 3D CT용 토큰 압축기인 ORCA(ORgan-Centroid Aggregation)를 제시합니다. ORCA는 장기 가이던스(organ guidance)를 통해 인접한 토큰들을 병합하고, 공간적 배치를 보존하기 위해 각 영역 중심점의 사인파 인코딩(sinusoidal encoding)을 추가합니다. 이를 통해 다운스트림 모델이 필요로 하는 해부학적 정보를 보존합니다. ORCA는 학습(training)이 필요 없고 플러그 앤 플레이(plug-and-play) 방식이며, 모델 변경이나 텍스트 쿼리 없이도 조절 가능한 토큰 세트를 생성합니다. 저자들은 두 가지 데이터셋(CT-RATE 및 Merlin)과 다섯 가지 인코더를 대상으로 이를 평가(evaluation)합니다. 평가는 다섯 가지 계열(크기, 밀도, 위치, 질감, 질환)에 대한 속성 예측과 텍스트 생성(시각적 질의응답 및 판독문 생성)이라는 두 가지 작업 유형에 걸쳐 이루어집니다. 동일한 토큰 예산에서 ORCA는 기존 압축 방법들에 비해 일관된 향상을 보입니다. 시각적 컨텍스트를 $64\times$, KV-캐시를 $50\times$ 축소하며, 각 볼륨을 처리하는 속도는 $31\times$ 더 빠릅니다. 코드는 https://github.com/renjie-liang/ORCA-3DCT 에 공개되어 있습니다.

원문 초록

A 3D CT scan entering a vision-language model produces a long sequence of visual tokens, often thousands to tens of thousands per volume, and this sequence must be compressed before a language model can consume it. Token compression is well studied in general vision, but little of it targets 3D CT specifically. A common baseline is grid average, which pools regular grid cells and can blend distinct anatomy, lesion, and air into one token. We present \textbf{ORCA} (ORgan-Centroid Aggregation), a token compressor for 3D CT. It merges adjacent tokens with organ guidance and adds a sinusoidal encoding of each region's centroid to preserve spatial layout. This preserves the anatomical information a downstream model needs. ORCA is training-free and plug-and-play, producing an adjustable token set without any model change or text query. We evaluate it across two datasets (CT-RATE and Merlin) and five encoders. The evaluation spans two task types: attribute prediction over five families (size, density, location, texture, and disease) and text generation (visual question answering and report generation). At matched token budgets, ORCA improves consistently over existing compression methods. It shrinks the visual context $64\times$ and its KV-cache $50\times$, and is $31\times$ faster to process each volume. Code released at https://github.com/renjie-liang/ORCA-3DCT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.00345v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.