PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24691v1cs.CV

좋은 의료 영상 토크나이저의 조건은 무엇인가? 의료 영상 토큰화에서 재구성과 생성 재고찰

What Makes a Good Medical Image Tokenizer? Rethinking Reconstruction and Generation in Medical Image Tokenization

현재 잠재 확산 모델(latent diffusion model)이 의료 영상 생성을 주도하고 있으며, 이러한 모든 파이프라인은 영상 생성이 작동할 잠재 코드(latent code)로 영상을 압축하는 토크나이저(tokenizer)에 기반한다. 따라서 토크나이저 선택은 재구성 충실도와 생성 품질부터 후속 분석에 사용 가능한 표현에 이르기까지 모든 후속 작업(downstream task)을 제약한다. 그러나 의료 영상 파이프라인은 자연 영상용 토크나이저의 동작이 그대로 이전될 것이라는 가정 하에 이를 일상적으로 사용하고 있다. 하지만 이는 데이터셋 규모가 수 자릿수 더 작고 영상 간 분산(inter-sample variance)이 훨씬 낮은 의료 영상 영역에서 한 번도 검증된 적 없는 가정이다. 본 논문은 10개의 모델 계열(model family)에 걸친 30가지 구성을 12개 데이터셋, 3가지 압축률(compression factor)에서 평가하여 재구성, 생성, 잠재 기하 구조(latent geometry), 후속 분류(downstream classification), 암기(memorization)를 아우르는 의료 영상 토크나이저의 체계적 평가를 제시한다. 그 결과 (1) 영상 재구성과 생성 성능은 자연 영상에 대한 기존 보고와 달리 강하게 상관관계를 보이고, (2) 최신 토크나이저는 코드북 항목(codebook entry)의 거의 전부를 사용하지만 여전히 잠재 공간(latent space)의 대부분은 사용되지 않은 채로 남아 있으며, (3) 학습 데이터셋에 대한 암기는 경미하고 잠재 공간 압축이 강해질수록 더욱 억제되고, (4) 이산 양자화(discrete quantization)는 룩업 프리(lookup-free) 방식을 주요 예외로 하여 후속 분류 성능을 대체로 보존할 수 있음을 확인하였다.

arXiv:2607.09892v1eess.IV

다중 모달 자기회귀 시각 모델링을 위한 Next-Dense-Stride 예측

Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling

우리는 DenseAR를 소개한다. DenseAR는 간결한 단일 스케일 토크나이저를 사용하여 자기회귀 이미지 생성을 거친 것에서 세밀한 것으로의 next-dense-stride 예측으로 재정의하는 새로운 생성 패러다임이다. 우리의 핵심 통찰은, 점진적으로 더 조밀해지는 스트라이드로 단일 스케일 잠재 그리드를 순회하면 전역 구조에서 세부 사항으로의 전환을 자연스럽게 포착할 수 있다는 것이다. 이는 기존 자기회귀 모델의 두 가지 한계를 동시에 해결한다: 래스터 순서 자기회귀의 느린 추론(DenseAR는 여러 토큰을 병렬로 예측하여 이를 회피함)과, 거친 것에서 세밀한 것으로의 예측을 달성하기 위해 길고 다중 해상도의 토큰 시퀀스를 필요로 하는 다중 스케일 접근 방식의 높은 비용이다. 효율적인 프레임워크와 자기회귀 모델링의 유연성을 기반으로, 우리는 DenseAR를 단일 백본 내에서 다중 모달리티와 이미징 작업을 처리하는 통합 모델로 더 확장한다. 우리는 DenseAR를 의료 이미지와 자연 이미지 모두에서 검증한다. 다중 대조 뇌 MRI에서, 단일 DenseAR 모델은 교차 모달 변환(cross-modal translation), 모달리티 조건부 생성(modality-conditioned generation), 종양 분할(tumor segmentation)을 통합하면서 작업별 방법들과 경쟁력 있는 성능을 유지한다. ImageNet에서 DenseAR는 스트라이드 순서가 없는 단일 그리드 기준선과 다중 스케일 토크나이저 기반 기준선 모두에 비해 클래스 조건부 생성 품질(FID 및 IS)을 향상시킨다.

arXiv:2606.07185v1cs.CV

AdaTok: 품질 보존 동적 토큰 기반 자체 예산 이미지 토큰화

AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens

2D 그리드부터 최근 1D 시퀀스에 이르는 이미지 토큰화기는 일반적으로 모든 이미지를 동일한 고정 토큰 수로 인코딩한다. 그러나 시각적 복잡도는 매우 이질적이므로, 균일한 예산은 단순한 입력에 과도하게 소비하고 복잡한 입력에는 부족하게 대응한다. 기존 탄성(elastic) 토큰화기는 가변 길이 재구성을 제공하지만, 토큰 길이를 토큰화기 자체의 출력이 아니라 배포 시점의 동작점, 탐색 대상, 또는 외부 예측으로 남겨두는 경우가 많다. 본 연구에서는 이산(discrete) 시각 토큰화기가 한 번의 패스로 스스로 예산을 산정할 수 있는지 묻는다. 핵심 발견은 실행 가능한 탄성(elasticity)이 표현-할당 공동 설계(representation-allocation co-design)를 요구한다는 것이다: 접두 문맥(prefix)은 예산에 걸쳐 디코딩 가능한 상태를 유지해야 하며, 토큰화기는 각 이미지에 필요한 접두 문맥을 학습해야 한다. AdaTok, 자체 예산 산정 이산 1D 토큰화기를 제안한다. AdaTok은 중첩 꼬리 마스킹(nested tail masking)으로 토큰을 정렬하고 Multi-Head LoRA 디코더 헤드로 예산 의존적 의미 변화(semantic shift)를 해결하는 Prioritized Representation Learning과, 후보 예산에 대해 경량 결정론적 그룹(deterministic-group) GRPO 정책을 학습하는 Adaptive Token Allocation을 결합한다. Dynamic Pareto Weighting은 수동 트레이드오프 탐색 없이 정책 학습 중 충실도(fidelity)와 효율성(efficiency)을 균형 있게 조정한다. ImageNet-1K에서 AdaTok-Full은 256개 토큰으로 rFID 1.31에 도달하고, AdaTok-Adaptive는 평균 ~118개의 토큰만 사용하여 rFID 1.50을 달성하며, 유사한 예산에서 이산 1D 기준 방법들을 능가한다. 자기회귀(autoregressive) 이미지 생성에서 더 짧은 적응형 표현은 고정 256 토큰 디코딩 대비 ~2.1배의 처리량(throughput)을 제공하며, 시각 토큰 수를 고정 하이퍼파라미터로 설정하기보다 콘텐츠 조건부 출력으로 학습할 수 있음을 시사한다.