PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.04781v2cs.CV

적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저

Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate

이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.

arXiv:2609.24204v1cs.CV

SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계

SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation

시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.

arXiv:2607.22687v2cs.CV

DINOv3-MIL: KiTS23에서 파운데이션 모델 패치 토큰 기반 신장별 다중 레이블 종양 및 낭종 탐지

DINOv3-MIL: Per-Kidney Multi-Label Tumour and Cyst Detection from Foundation-Model Patch Tokens on KiTS23

자연 이미지로 학습된 파운데이션 비전 모델은 도메인 사전학습 없이 의료 과제로 전이할 수 있지만, 볼륨 분류는 검사당 수만 개의 패치 토큰을 집계해야 하며, 집계기는 결과 모델의 해석 방식을 제약한다. KiTS23(966개 신장; 테스트 n=97)에서 신장 종양/낭종 탐지를 위해 동일한 고정 DINOv3 ViT-H/16+ 특징에 대해 세 가지 집계기를 비교한다: CLS 토큰 선형 프로브, 55,296개 패치 토큰에 대한 게이트 어텐션 다중 인스턴스 학습(MIL), ProtoViT를 따르는 프로토타입 헤드. 어텐션 MIL은 종양(AUROC 0.74, 95% CI 0.64–0.83)과 낭종(0.80, 0.70–0.88)에서 최고 AUROC를 달성하며, 주석이 달린 병변 내에서 어텐션이 우연 대비 7.5–9.8배 농축된다. 프로토타입 헤드는 낭종 탐지로 전이되지 않으며(AUROC 0.51), 이 토큰 규모에서 해석 가능성–성능 트레이드오프를 드러낸다.

arXiv:2607.24453v1cs.CV

ESRVS: 단일 주석 이미지를 이용한 극한 반지도 망막 혈관 분할

ESRVS: Extreme Semi-Supervised Retinal Vessel Segmentation with a Single Annotated Image

의료 영상 분석에서 최소한의 인간 감독으로 학습하는 것은 오랜 목표이며, 밀집된 전문가 주석은 비용이 큽니다. 본 연구는 주석이 달린 이미지 하나와 레이블 없는 이미지 풀을 사용하는 극한 반지도(semi-supervised) 설정에서 망막 혈관 분할을 다룹니다. 우리는 수동 주석을 위해 대표적인 기준 이미지를 선택하고, 대상 도메인에 적응된 DINOv3 특징을 사용하여 혈관 단서를 전이하는 ESRVS를 제안합니다. ESRVS는 다중 세분화 혈관 프로토타입을 구성하고, 프로토타입 유사도 맵과 물리학에서 영감을 받은 사전(prior)을 결합하여 초기 의사 레이블(pseudo-label)을 생성하며, 가중 의사 레이블 학습과 적대적(adversarial) 정제를 통해 전이된 감독을 정제합니다. 8개의 공개 데이터셋에서 ESRVS는 비교된 반지도 방법들이 10~20%의 레이블 데이터를 사용함에도 불구하고, 6개 데이터셋에서 최고의 Dice와 clDice를, 8개 데이터셋 모두에서 최고의 HD95를 달성합니다. Mask2Former와 함께 ESRVS는 평균적으로 완전 감독 Dice의 93.7%와 완전 감독 clDice의 95.1%를 유지합니다. 이러한 결과는 고도로 레이블 효율적인 망막 혈관 분할을 위한 파운데이션 모델(foundation model) 레이블 전파의 잠재력을 보여줍니다. 코드는 https://github.com/IAANNH/ESRVS 에서 이용할 수 있습니다.

arXiv:2607.14423v1cs.CV

고정 비전 기본 모델에서의 창발적 영역 수준 얼굴 대응

Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

고정된 자기지도 비전 모델은 일반 객체의 부분들을 정렬할 수 있지만, 전역 레이아웃은 공유되면서 동일인 특이적 외모가 급격히 달라지는 인간 얼굴에 이 대응이 확장되는지는 여전히 불분명하다. 우리는 고정된 DINOv3 특징이 영역 수준의 얼굴 좌표계를 정의하는지 검증한다. 이는 얼굴 특화 학습 없이도 사람과 시간에 걸쳐 눈, 눈썹, 코, 입, 피부, 머리카락이 구분 가능한 특징 공간이다. DINOv3 ViT-L/16 패치 임베딩을 사용하고 FaRL은 얼굴 부위 라벨링 인터페이스로만 사용하여, 200개의 CelebDF-v2 실제 동영상에서 교차 동일인 최근접 이웃 매칭과 시간적 라벨 전파를 평가한다. DINOv3는 제약 없는 교차 동일인 매칭에서 83.0%의 영역 수준 의미 정확도를 달성하며, 23.0%의 면적 가중 무작위 기준선과 비교된다. 또한 학습된 시간적 모듈 없이 95.5%의 시간적 추적 정확도를 기록한다. FaRL 없는 대조군은 0.9%로 붕괴하여, FaRL이 의미적 초기화를 제공하고 DINOv3가 밀집 공간 대응을 제공함을 보여준다. 가장 강한 대응은 중간 층에서 나타난다. 블록 18은 최종 블록의 1.48배에 비해 동일 영역 대 교차 영역 판별 비율 4.93배를 보인다. CLIP ViT-L/14와 대비하면 DINOv3는 전체적으로 작은 우위만 보이지만 해부학적 영역에서 +16.8퍼센트포인트 향상을 보이며, 이는 이미지 수준 대조 감독이 거친 얼굴 레이아웃은 포착하지만 미세한 해부학적 정체성은 포착하지 못함을 시사한다. 이러한 결과는 고정 DINOv3를 영역 수준 얼굴 대응을 위한 강력한 제로샷 표현으로 확립하고, 밀집 얼굴 분석에 가장 유용한 층으로 중간 자기지도 특징을 확인한다.

arXiv:2607.12372v1cs.CV

UMSS: 비지도 다중모달 의미 분할을 향해

UMSS: Towards Unsupervised Multi-modal Semantic Segmentation

다중모달 의미 분할(MSS)은 복잡한 환경에서 강건한 인식(perception)에 필수적이지만, 사람 주석(annotation)의 막대한 비용으로 인해 잠재력이 대체로 활용되지 못하고 있다. 비지도 의미 분할(USS)은 단일 RGB 모달리티에서 강한 성과를 거두었지만, 이를 다중모달 데이터로 단순 확장하는 것은 종종 융합(fusion) 저하에 의해 방해받는다. 이는 명시적 지도(supervision) 없이 기존 프레임워크가 서로 다른 센서가 포착하는 이질적인 구조적 패턴을 조화시키는 데 어려움을 겪고, 결과적으로 상보적인 정보를 효과적으로 활용하지 못하기 때문이다. 본 논문에서는 완전히 레이블 없는(label-free) 설정에서 상보적인 센서 정보를 효과적으로 활용하는 것을 목표로, 비지도 다중모달 의미 분할(UMSS)이라는 새로운 문제를 다루는 첫 시도를 한다. 이를 위해 DINOv3 기반의 새로운 프레임워크 UniM2(Unified Multimodal)를 제안하며, 이는 기존 융합 방법을 일관된 성능 향상으로 전환한다. 핵심 아이디어는 교차 모달 대응 시너지(CMCS)에 의해 구동되는 통합 잠재 공간(latent space)을 학습하여 본질적인 공유 의미 단서(semantic cues)를 추출하고, 레이블 기반 적응적 융합의 필요성을 우회하는 것이다. 고유한 모달 간 충돌을 완화하기 위해 RGB를 안정적인 기준(reference)으로 지정하는 교차 모달 하모나이저(CMH)를 도입하여, 불일치하는 관계적 지도(relational supervision)를 효과적으로 억제하면서 모델이 상보적인 구조적 특징을 활용하도록 유도한다. NYU Depth v2와 MFNet에 대한 광범위한 실험 결과, UniM2는 각각 mIoU를 6.4% 및 9.8% 향상시켜 UMSS를 위한 기존 프레임워크 대비 명확한 이점을 보여준다.

arXiv:2606.19097v1cs.CV

DVANet: 이미지 복원을 위한 열화 인식 시각적 사전 정렬 네트워크

DVANet: Degradation-aware Visual-prior Alignment Network for Image Restoration

올인원 이미지 복원은 다양한 열화 유형을 처리하기 위한 통합 복원 프레임워크를 개발하는 것을 목표로 합니다. 기존의 엔드투엔드(end-to-end) 방법들은 일반적으로 복원 과정을 블랙박스 매핑으로 간주하여 명시적인 최적화 해석이 부족합니다. 딥 언폴딩(deep unfolding)이 이미지 복원을 위해 해석 가능한 반복적 모델링 패러다임을 제공하지만, 기존 방법들은 대부분 고정된 열화 가정이나 미리 정의된 열화 정보에 의존하여 복잡한 열화와 국소적으로 손상된 콘텐츠 하에서의 통합 복원 요구사항에 적응하기 어렵습니다. 이러한 한계는 열화 억제 및 구조적 디테일 복원 측면에서의 성능을 제한합니다. 이러한 문제를 해결하기 위해 본 논문은 반-이차 분할(half-quadratic splitting) 최적화 알고리즘에서 영감을 받은 딥 언폴딩 네트워크인 DVANet을 제안합니다. 이 네트워크는 복잡한 열화 하에서의 통합 이미지 복원을 열화 인식 관측 일관성과 시각적 사전(visual-prior) 안내 복원 사이의 협업적 언폴딩 과정으로 공식화합니다. 구체적으로, 열화 인식 관측 일관성 분기에서는 전역 열화 속성과 국소 열화 단서를 추출하기 위해 열화 표현 모듈을 사용하고, 다양한 열화 유형에 대한 모델의 적응성을 높이기 위해 열화 조건부 매핑을 활용합니다. 시각적 사전(visual-prior) 안내 복원 분기에서는 DINOv3를 도입하여 계층적 시각적 사전으로서 구조적 및 의미적 정보를 제공함으로써, 손상된 영역의 누락된 구조적 정보를 보완하고 디테일 복원을 향상시킵니다. 광범위한 실험을 통해 DVANet이 다중 시나리오 열화 및 교차 도메인 이미지 복원 작업에서 우수하거나 경쟁력 있는 성능을 달성하며, 우수한 열화 적응성과 일반화 능력을 보여줌을 입증했습니다.

arXiv:2606.18886v1cs.CV

DINO-Med3D: 점진적 적응을 통한 체적 세그멘테이션의 차원 및 도메인 격차 해소

DINO-Med3D: Bridging Dimension and Domain Gaps in Volumetric Segmentation via Progressive Adaptation

DINOv3는 자연 이미지에서 탁월한 의미적 식별력을 입증했으나, 체적 의료 세그멘테이션(volumetric medical segmentation)에 직접 적용하는 것은 본질적인 차원 및 도메인 격차로 인해 제한됩니다. 이러한 문제를 해결하기 위해, 우리는 사전학습된(pre-trained) DINOv3 인코더를 3D 의료 작업에 활용하는 2단계 점진적 프레임워크인 DINO-Med3D를 제안합니다. 첫 번째 단계에서, 우리는 의사 3D 컨텍스트(pseudo-3D context)를 통합하는 멀티-슬라이스 임베딩(embedding) 모듈을 도입하여 차원 격차를 완화하고, 동시에 세그멘테이션 프록시 작업(proxy task)을 사용하여 자연 장면에서 학습된 표현을 의료 도메인에 적응시킵니다. 이어서, 우리는 동결된 백본(frozen backbone)에 경량 3D 어댑터를 추가하여 전역적인 슬라이스 간 연속성을 강제함으로써 체적 이해를 더욱 향상시킵니다. 마지막으로, 임베딩 과정에 내재된 공간 정보 손실을 보상하기 위해, 우리는 고주파 경계 단서를 명시적으로 보존하는 병렬 디테일 복구 스트림을 설계합니다. 5개의 공개 데이터셋에 대한 광범위한 실험을 통해, 우리의 접근 방식이 DINOv3를 의료 도메인에 성공적으로 적응시키며 최신 기법(state-of-the-art) 베이스라인을 유의미하게 능가함을 입증했습니다.

arXiv:2606.17294v1cs.RO

VISTA: 행동 이력 조건화를 통한 스케일 인식 시각 내비게이션

VISTA: Scale-Aware Visual Navigation via Action History Conditioning

비전 내비게이션 파운데이션 모델(VNMs)은 다양한 형태와 환경에 걸쳐 제로샷 배포가 가능한 엔드-투-엔드 학습된 내비게이션 정책을 제공할 것을 약속합니다. 일반성을 유지하기 위해 많은 비전 기반 내비게이션 모델은 정규화된 행동을 예측합니다. 그러나 이러한 정규화는 치명적인 배포 취약점을 야기하는데, 동일한 정규화된 궤적에 서로 다른 스케일링 인자를 적용하면 물리적 기하학적 구조가 변경되어 내비게이션 성능이 저하되고 충돌 위험이 증가합니다. 우리는 모델을 이미지 관찰과 함께 정규화된 행동 이력에 대해 조건화하여 이 취약점을 해결합니다. 이는 모델의 예측과 로봇의 실제 물리적 변위 사이의 관계에 대한 명시적인 컨텍스트를 제공합니다. 또한, 현재의 VNMs는 뚜렷한 특징이 부족한 시각적으로 반복적인 환경에서 종종 어려움을 겪습니다. 이 문제를 해결하기 위해 DINOv3 인코더를 통합했으며, 이의 더 풍부한 표현(representations)을 통해 우리 모델이 관찰 사이의 공간적 및 기하학적 차원을 모두 포착하도록 합니다. VISTA는 분포 외(OOD) 환경에 강건하게 일반화되며, 야외, 숲 및 사무실 환경에서의 제로샷 실제 배포 시 100%의 목표 예측 정확도를 달성하고 평균 95%의 체크포인트를 통과하여, 보이지 않는 환경에서 일관된 경로 추종(path following)을 입증합니다.