PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00483v1cs.CV

PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측

PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.

arXiv:2610.00017v1cs.CV

조밀 예측(Dense Prediction)을 위한 Spatial Lifting

Spatial Lifting for Dense Prediction

우리는 조밀 예측(dense prediction) 작업을 위한 새로운 방법론인 Spatial Lifting(SL)을 제시한다. SL은 2D 이미지와 같은 표준 입력을 더 높은 차원의 공간으로 리프팅(lifting)한 후, 3D U-Net과 같이 해당 고차원에 맞게 설계된 네트워크를 사용하여 이를 처리하는 방식으로 동작한다. 직관에 반하게도, 이러한 차원 리프팅을 통해 기존 접근법 대비 벤치마크 작업에서 우수한 성능을 달성하는 동시에 추론(inference) 비용을 줄이고 모델(model) 파라미터 수를 대폭 줄일 수 있다. SL 프레임워크는 리프팅된 차원을 따라 본질적으로 구조화된 출력을 생성한다. 이러한 창발적(emergent) 구조는 학습(training) 중 조밀한 지도(supervision)를 가능하게 하고, 테스트 시점에 단일 순전파(forward pass)만으로 자기 일관성(self-consistency) 기반의 품질 및 불확실성 추정을 가능하게 한다. Spatial Lifting은 비전(vision) 분야의 조밀 예측 작업을 위해 더 효율적이고 정확하며 신뢰할 수 있는 딥 네트워크로 나아가는 유망한 경로를 제시하는 간단하고 일반적인 모델링 전략을 소개한다.

arXiv:2609.25803v2cs.CV

LiFR v2: 고속률 고밀도 예측을 위한 완성 보강 이벤트 전파

LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction

동적 환경에서의 고속률 고밀도 인지는 프레임 사이에 급격한 장면 변화가 일어날 수 있어 RGB 카메라의 낮은 갱신률에 의해 제한된다. 이벤트 카메라는 공간적으로 밀집한 RGB 관측과 상보적인, 시간적으로는 밀집하지만 공간적으로는 희소한 측정을 제공한다. 직접 융합은 이러한 상보성을 완전히 활용할 수 없으며, 이벤트 기반 전파는 유효한 RGB 지원이 없는 새로 등장하거나 가려짐 해제(disocclusion)된 영역에서는 실패한다. 우리는 RGB 키프레임과 이벤트로부터 인과적 anytime 및 스트리밍 고밀도 예측을 위한 통합 전파-완성-메모리 프레임워크인 LiFR v2를 제안한다. LiFR v2는 전파가 지원되지 않는 곳에서 과제 관련 표현을 복구하는 Event-Guided Completion Module(EGCM)과 연속 쿼리에 걸쳐 완성된 표현을 재사용하는 History Retrieval Module(HRM)을 도입한다. 이 프레임워크는 의미 분할(semantic segmentation), 단안 깊이 추정, 다중 과제 고밀도 예측을 지원하며, 급격한 객체 출현(emergence)과 가려짐 해제를 평가하기 위해 SHF-Emerge를 추가로 도입한다. LiFR v2는 DSEC에서 74.37% mIoU, SHF-Emerge에서 56.13%를 달성하며, 후자에서 LiFR-Seg 대비 1.85 percentage point 향상을 보였고, 전파 기준선 대비 SHF-Emerge 깊이 RMSE를 1.564 m에서 1.118 m로 낮췄다. 또한 분할과 깊이 모두에서 100 FPS를 초과하여 RGB 프레임률을 넘어서는 정확하고 효율적인 고속률 인지를 보여준다.

arXiv:2607.21592v1cs.CV

분리된 데이터 기반 통합 비디오 밀집 예측

Unified Video Dense Prediction from Disjoint Data

장면 이해는 기하학, 외관, 의미론에 대한 동시 예측을 요구한다. 그러나 기존 태스크별 주석은 호환되지 않는 도메인별 데이터셋에 걸쳐 파편화되어 있다. 현재의 통합 시스템은 완전 공동 주석 데이터로만 학습을 제한하거나, 의사 라벨링(pseudo-labeling)의 큰 계산 비용을 감수함으로써 이를 우회한다. 이를 완화하기 위해, 우리는 깊이, 표면 법선, 의미 분할, 경계, 인체 부위, 알베도, 셰이딩, 재질이라는 여덟 가지 밀집 장면 속성을 분리된 도메인별 데이터셋에서 공동으로 예측하는 통합 비디오 모델 UniD를 제안한다. 우리는 태스크별 전문가가 경량 태스크 프로젝터를 통해 통합 백본을 지도하는 간단하면서도 효과적인 지식 증류(distillation) 단계를 제안하며, 이를 통해 주석 중복이나 의사 라벨링이 필요 없게 한다. 우리의 핵심 통찰은 사전학습된 diffusion 모델의 강력한 시각적 사전 지식(prior)이 분리된 학습 소스로 인해 발생하는 도메인 간격을 메우기에 충분하여, 학습 중 한 번도 보지 못한 장면-태스크 조합에 대한 강건한 일반화를 가능하게 한다는 것이다. UniD는 태스크별 전문가 및 멀티태스크 기준선 대비 경쟁력 있는 성능을 달성하며, 분포 외(out-of-distribution) 시나리오에 대한 강한 일반화와 향상된 시간적 및 교차 태스크 일관성을 보인다. 코드와 비디오 결과는 https://unid-video.github.io/ 에서 확인할 수 있다.

arXiv:2607.06553v2cs.CV

RGB 생성에서 밀집 필드 판독으로: 텍스트-이미지 모델을 활용한 픽셀 공간 밀집 예측

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

ReChannel은 텍스트-이미지 생성 모델(FLUX-Klein 기반)의 DiT 백본을 밀집 예측(dense prediction)에 재활용할 때, 기존처럼 타깃을 VAE 잠재 공간에 인코딩-디코딩하는 생성적 출력 인터페이스를 제거하고, 각 공간 토큰을 태스크 고유의 픽셀 패치로 직접 매핑하는 토큰-로컬 선형 헤드(약 33K 파라미터)로 대체한다. 트리맵 없는 매팅, KITTI 깊이, 지칭 분할에서 최첨단 성능을 달성하면서 동일한 4B 설정에서 기존 편집-잠재 디코드 방식 대비 2.48배 빠른 추론 속도를 보인다.

arXiv:2607.01902v1cs.CV

시맨틱 분할에서의 사후 캘리브레이션 재고

Rethinking Post-Hoc Calibration in Semantic Segmentation

시맨틱 분할(semantic segmentation) 모델의 사후 캘리브레이션(post-hoc calibration)에서 로짓(logit) 비식별성으로 인한 표현 의존성 문제와 Dice 기반 학습 목적함수와의 불일치 문제를 체계적으로 분석하고, 평행이동 불변(translation-invariant) 캘리브레이터와 의사결정 보존 클래스 조건부 어파인 캘리브레이터를 제안한다. 자연 이미지 및 의료 분할 벤치마크 실험에서 TI 변형은 캘리브레이션 지표를 개선하고, 의사결정 보존 변형은 분할 성능 저하를 방지하면서도 강력한 캘리브레이션 성능을 유지함을 확인하였다.

arXiv:2311.16707v2eess.IV공식 코드 · Papers with Code

Full-resolution MLPs Empower Medical Dense Prediction

Dense prediction is a fundamental requirement for many medical vision tasks such as medical image restoration, registration, and segmentation. The most popular vision model, Convolutional Neural Networks (CNNs), has reached bottlenecks due to the intrinsic locality of convolution operations. Recently, transformers have been widely adopted for dense prediction for their capability to capture long-range visual dependence. However, due to the high computational complexity and large memory consumption of self-attention operations, transformers are usually used at downsampled feature resolutions. Such usage cannot effectively leverage the tissue-level textural information available only at the full image resolution. This textural information is crucial for medical dense prediction as it can differentiate the subtle human anatomy in medical images. In this study, we hypothesize that Multi-layer Perceptrons (MLPs) are superior alternatives to transformers in medical dense prediction where tissue-level details dominate the performance, as MLPs enable long-range dependence at the full image resolution. To validate our hypothesis, we develop a full-resolution hierarchical MLP framework that uses MLPs beginning from the full image resolution. We evaluate this framework with various MLP blocks on a wide range of medical dense prediction tasks including restoration, registration, and segmentation. Extensive experiments on six public well-benchmarked datasets show that, by simply using MLPs at full resolution, our framework outperforms its CNN and transformer counterparts and achieves state-of-the-art performance on various medical dense prediction tasks.