조밀 예측(Dense Prediction)을 위한 Spatial Lifting
Spatial Lifting for Dense Prediction
한국어 초록
우리는 조밀 예측(dense prediction) 작업을 위한 새로운 방법론인 Spatial Lifting(SL)을 제시한다. SL은 2D 이미지와 같은 표준 입력을 더 높은 차원의 공간으로 리프팅(lifting)한 후, 3D U-Net과 같이 해당 고차원에 맞게 설계된 네트워크를 사용하여 이를 처리하는 방식으로 동작한다. 직관에 반하게도, 이러한 차원 리프팅을 통해 기존 접근법 대비 벤치마크 작업에서 우수한 성능을 달성하는 동시에 추론(inference) 비용을 줄이고 모델(model) 파라미터 수를 대폭 줄일 수 있다. SL 프레임워크는 리프팅된 차원을 따라 본질적으로 구조화된 출력을 생성한다. 이러한 창발적(emergent) 구조는 학습(training) 중 조밀한 지도(supervision)를 가능하게 하고, 테스트 시점에 단일 순전파(forward pass)만으로 자기 일관성(self-consistency) 기반의 품질 및 불확실성 추정을 가능하게 한다. Spatial Lifting은 비전(vision) 분야의 조밀 예측 작업을 위해 더 효율적이고 정확하며 신뢰할 수 있는 딥 네트워크로 나아가는 유망한 경로를 제시하는 간단하고 일반적인 모델링 전략을 소개한다.
원문 초록
We present Spatial Lifting (SL), a novel methodology for dense prediction tasks. SL operates by lifting standard inputs, such as 2D images, into a higher-dimensional space and subsequently processing them using networks designed for that higher dimension, such as a 3D U-Net. Counterintuitively, this dimensionality lifting allows us to achieve good performance on benchmark tasks compared to conventional approaches, while reducing inference costs and \textbf{drastically lowering the number of model parameters}. The SL framework produces intrinsically structured outputs along the lifted dimension. This emergent structure facilitates dense supervision during training and enables single-forward-pass self-consistency-based quality and uncertainty estimation at test time. Spatial Lifting introduces a simple and general modeling strategy that offers a promising path toward more efficient, accurate, and reliable deep networks for dense prediction tasks in vision.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
컨포멀 불확실성 추정을 적용한 초음파 영상 내 갑상선 결절 분할
Thyroid Nodule Segmentation in Ultrasound Images with Conformal Uncertainty Estimation
갑상선 결절은 일반 인구의 상당 비율에서 발생합니다. 대부분은 양성이지만, 악성인 경우도 적지 않은 비율을 차지합니다. 초음파 영상은 주요 진단 방식(modality)이며, 악성 여부를 분류(classification)하고 전이 위험을 평가하는 CAD 시스템에서는 정확한 결절 분할(segmentation)이 필수적인 선결 조건입니다. 본 연구에서는 DeepLabV3+, 채널 어텐션(channel-attention) 모듈, 그리고 사후 컨포멀 예측(post-hoc conformal prediction)을 결합하여 정확한 마스크와 픽셀 수준의 불확실성 추정치를 모두 제공하는 갑상선 결절 분할 프레임워크를 제안합니다. 우리는 악성도 분류 및 전이 위험 예측까지 포함하는 파이프라인의 첫 번째 단계로 갑상선 초음파 결절 분할을 다룹니다. Atrous Spatial Pyramid Pooling(ASPP)을 통해 다중 스케일 컨텍스트를 포착하는 DeepLabV3+를 채택하고, 정확도와 효율성 간의 절충(trade-off)을 고려하여 EfficientNet-B5 백본을 사용합니다. 또한 Squeeze-and-Excitation, CBAM, Grouped Channel Attention(GCA)의 세 가지 채널 어텐션 모듈을 두 가지 손실(loss) 함수 구성(Dice-BCE 및 Boundary)과 결합하여 테스트합니다. 이진 마스크는 예측 신뢰도를 나타내지 못하므로, 통계적 커버리지 보장(statistical coverage guarantees)을 제공하는 픽셀 수준의 불확실성 맵을 생성하도록 분할 컨포멀 예측(split conformal prediction) 층(layer)으로 학습된 모델(model)을 감쌉니다. 고정 분할 방식을 사용하여 TN3K 공개 벤치마크에서 모든 구성을 평가하고 최신 기법(SOTA)들과 직접 비교합니다. 기본 백본만으로도 이전에 보고된 결과를 개선하며, CBAM + Dice-BCE가 전반적으로 가장 우수한 구성으로 나타났습니다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현
VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models
마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.
PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측
PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
DecoupleNet: A Lightweight Backbone Network With Efficient Feature Decoupling for Remote Sensing Visual Tasks
CVAE-SM: A Conditional Variational Autoencoder with Style Modulation for Efficient Uncertainty Quantification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
28 pages 5 figures