PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09526v1cs.CV

ALICE: 비전, 비전-언어, 슬라이드 수준 전문가로부터 학습한 범용 병리학 파운데이션 모델

ALICE: Learning a General-Purpose Pathology Foundation Model from Vision, Vision-Language, and Slide-Level Experts

파운데이션 모델은 전산 병리학을 재편하고 있지만, 그 역량은 사전학습 목표, 데이터 소스, 공간적 스케일에 따라 여전히 제한되며, 상호 보완적인 전문성이 별개의 백본에 분산되어 있다. 본 논문에서는 다단계 집합적 지식 증류(agglomerative distillation)를 통해 학습된 통합 파운데이션 모델 ALICE를 제안한다. ALICE는 8개의 비전 전용, 비전-언어, 슬라이드 수준 교사 모델을 단일 백본의 전용 모듈로 순차적으로 증류한다. ALICE는 24,985,184개의 타일 수준 병리 이미지와 155,604개의 고해상도 이미지로 사전학습되었으며, 관심 영역 조직 분석, 비전-언어 멀티모달 평가, 전체 슬라이드 임상 평가를 아우르는 21개 태스크 시나리오, 96개 다운스트림 태스크, 48개 데이터 소스에 걸쳐 평가되었다. 세 가지 평가 환경 모두에서 ALICE는 태스크 대응 병리학 파운데이션 모델 중 최고 평균 순위를 달성하였다. 이러한 결과는 집합적 지식 증류가 특화된 모델들의 상호 보완적 역량을 단일 백본으로 통합하여 광범위한 전산 병리학 응용에 활용할 수 있음을 입증한다. 모델은 https://github.com/WonderLandxD/ALICE에서 공개되어 있다.

arXiv:2607.09205v1eess.IV

태양광 PV 패널 결함 분류를 위한 조인트-임베딩 예측 아키텍처

Joint-Embedding Predictive Architecture for Solar PV Panel Fault Classification

태양광 발전(PV) 시스템의 급속한 확장으로 인해 신뢰할 수 있고 확장 가능한 결함 분류의 필요성이 증가하고 있으며, 대규모 수동 점검은 현실적으로 어렵다. 열적외선(IR) 영상은 PV 결함을 식별하기 위한 비접촉 솔루션을 제공하지만, 클래스 불균형, 제한된 텍스처 정보, 미묘한 열 차이로 인해 정확한 분류는 여전히 어려운 과제로 남아 있다. 본 연구에서는 열적외선 PV 결함 분류에 대한 조인트-임베딩 예측 아키텍처(JEPA)의 적용 가능성을 다양한 시나리오에서 조사하고, JEPA 기반 자기지도(self-supervised) 표현 학습과 EfficientNetV2-S 기반 지도(supervised) 합성곱 특징 추출을 결합한 다중 브랜치 아키텍처인 JEFFNet(JEPA-EFFicientNet)을 제안한다. JEFFNet은 JEPA 사전학습된 Vision 트랜스포머의 의미론적 표현과 EfficientNetV2-S의 합성곱 특징을 융합하여 상호 보완적인 특징 학습을 가능하게 한다. JEFFNet은 두 개의 공개 열적외선 데이터셋인 PVF-10과 InfraredSolarModules(ISM)에서 다중 클래스 및 파생 이진(정상/결함) 분류 모두에 대해 평가된다. PVF-10에서 JEFFNet은 10-클래스 과제에서 F1-score 93.21, 정확도 94.33을 달성하였고, 파생 2-클래스 과제에서는 F1-score 97.53, 정확도 96.41을 달성하였다. ISM에서 JEFFNet은 12-클래스 과제에서 F1-score 72.60, 정확도 83.88을 달성하였고, 파생 2-클래스 과제에서는 F1-score 94.69, 정확도 94.78을 달성하였다. 또한 JEFFNet은 GEPFNet의 205.91M에 비해 108.6M의 매개변수만을 사용하여 47.2%의 매개변수 절감을 이룬다. 이러한 결과는 자기지도 의미론적 특징과 지도 합성곱 특징의 결합이 열적외선 PV 결함 분류를 위한 효과적이고 매개변수 효율적인 솔루션을 제공함을 보여준다. 소스 코드는 https://github.com/Azimi2kht/JEFFNet 에서 공개적으로 제공된다.

arXiv:2607.09193v1cs.CV

YeTI: 실세계 sRGB 노이즈 생성을 위해 두 장의 노이즈 이미지만으로 충분하다

YeTI: You Only Need Two Noisy Images for Real-World sRGB Noise Generation

실세계 sRGB 이미지 노이즈 제거는 센서 노이즈의 비선형적 특성과 정렬된 클린-노이즈 이미지 쌍 획득의 어려움으로 인해 여전히 난제로 남아 있다. 지도 학습 기반 노이즈 제거기는 제한된 쌍 데이터셋에 과적합되기 쉬우며, 자기 지도 학습 방법 역시 충분히 다양한 노이즈 관측값에 의존한다. 이러한 한계는 클린 정답 데이터나 카메라 메타데이터 없이 실세계 노이즈를 모델링할 수 있는 확장 가능한 노이즈 합성 방법에 대한 동기를 부여한다. 우리는 동일한 장면의 두 장의 노이즈 관측값만으로 학습하는 실세계 sRGB 노이즈 생성 프레임워크 YeTI를 제안한다. YeTI는 재구성 오토인코더(Reconstruction Autoencoder)를 사용해 장면 구조와 노이즈 특성을 분리하고, 일관성 목적 함수로 학습된 단일 단계 조건부 확산 트랜스포머(Conditional Diffusion Transformer)로 잠재 노이즈 분포를 모델링한다. 추론 시 단일 노이즈 입력이 주어지면, YeTI는 기저 장면 콘텐츠를 보존하면서 신호 의존적인 현실감 있는 노이즈를 생성한다. 광범위한 실험을 통해 실세계 벤치마크에서 YeTI의 효과를 입증한다. SIDD에서 노이즈 생성을 평가하고, 스마트폰 및 다양한 소비자 카메라 센서를 포함하는 SIDD+, MAI2021, SID에서 일반화 성능을 추가로 평가한다. DND에서의 다운스트림 노이즈 제거 결과는 YeTI로 합성된 이미지로 학습된 노이즈 제거기가 강력한 실세계 성능을 달성함을 보여주며, 클린 이미지 및 메타데이터가 불필요한 노이즈 생성의 실용적 가치를 부각한다.

arXiv:2607.09185v1cs.CV

구현된 행동 조건부 월드 모델을 위한 인과적 편향 제거 잠재 행동 모델

Causally Debiased Latent Action Model for Embodied Action Conditioned World Models

행동 조건부 월드 모델(ACWM)은 구현된 행동을 조건으로 미래 관측을 시뮬레이션하는 것을 목표로 하며, 로봇 계획, 정책 평가, 데이터 증강(data augmentation)을 위한 유망한 기반을 제공한다. 그러나 제어 가능한 ACWM을 학습하려면 대규모 행동 레이블 데이터가 필요하며, 이를 실세계에서 수집하는 데는 여전히 높은 비용이 든다. 잠재 행동 모델(LAM)은 레이블이 없는 비디오에서 잠재 행동을 추론함으로써 이 병목을 완화하지만, 기존 LAM은 일반적으로 재구성만을 목적으로 학습되기 때문에 행동 관련 동역학과 배경, 미접촉 객체 등 행동과 무관한 시각적 요소가 뒤엉키는 문제가 있다. 본 연구에서는 이러한 행동 무관 바이어스(bias)를 제어 가능한 ACWM의 핵심 장애 요인으로 규명하고, 잠재 행동 바이어스, 행동 추종, 강건성을 측정하기 위한 평가 지표를 도입한다. 우리는 LAM 기반 ACWM을 위한 인과적 편향 제거 프레임워크인 CD-LAM을 제안한다. CD-LAM은 세 가지 효율적인 미세조정(fine-tuning) 목적 함수를 도입한다: 구현체 중심 재구성, 행동 중심 대조 학습, 잠재 공간 보정. 이 세 가지가 함께 구현체에 집중되고 행동을 인식하며 붕괴되지 않는 보정된 잠재 행동 표현을 유도한다. 2B 및 14B ACWM 백본에 대한 실험에서 CD-LAM은 잠재 행동 제어 가능성, 다운스트림 로봇 행동 추종, 시각적 충실도, 적응 효율성을 크게 향상시키며, 단 6,000회의 미세조정 스텝만으로 기준선(baseline) 대비 로봇 행동 적응 업데이트 횟수를 12배 이상 줄이는 것을 확인하였다.

arXiv:2607.09067v1cs.CV

판별적 표현 학습을 위한 확산 디노이징 다이나믹스 탐색

Probing Diffusion Denoising Dynamics for Contrastive Representation Learning

텍스트-이미지 확산 모델은 전례 없는 생성 능력을 보이며, 판별적 비전 태스크에 유용하게 활용될 수 있는 풍부한 중간 표현을 내포하고 있다. 이러한 관찰에 착안하여, 본 연구는 다음의 집중적인 질문을 탐구한다: 사전학습된 확산 모델의 디노이징 다이나믹스를 매개변수 효율적인 업데이트 하에서 생성 동작을 유지하면서도 판별적 표현 학습을 지원하도록 어떻게 적응시킬 수 있는가? 우리는 이 질문에 대한 탐구로서 D$^3$CL을 제시한다. 핵심 관찰은, 서로 다른 확산 타임스텝의 노이즈 잠재 변수를 동일한 원본 이미지의 확률적 뷰로 해석할 수 있다는 것이며, 이를 통해 표준 디노이징 재구성 손실에 대조 목적 함수를 결합할 수 있다. 이 공식화는 처음부터 학습하지 않고도 생성적 디노이징과 판별적 표현 학습 간의 상호작용을 탐색하는 간단한 방법을 제공한다. 적응을 경량화하기 위해, 사전학습된 Stable Diffusion 백본에 LoRA 업데이트를 적용하면서 원래 모델 매개변수는 동결한다. D$^3$CL은 재구성 목적 함수와 노이즈 레벨 대조 목적 함수가 상보적일 수 있다는 강력한 실증적 증거를 제공한다: ImageNet-1K에서 80.1%의 선형 프로빙 정확도와 $256 \times 256$ 비조건부 생성에 대해 5.56의 FID를 달성한다. 설계 공간에 대한 추가적인 어블레이션 실험은 확산 피처의 유용성이 어디서, 어떻게 디노이징 상태를 샘플링하는지에 따라 달라짐을 시사한다. 이러한 결과들은 D$^3$CL을 사전학습된 확산 모델을 위한 매개변수 효율적 적응 프레임워크로 자리매김하며, 노이즈 레벨 대조 학습이 생성 성능을 유지하면서 판별적 태스크를 위한 디노이징 표현을 구조화할 수 있음을 보여준다.

arXiv:2607.09057v1cs.CV

STEAM: 탄력적 매칭과 적응형 정제를 통한 안정적 자기학습

STEAM: Stable Self-Training with Elastic Matching and Adaptive Purification

교차 뷰 지오-로컬라이제이션(Cross-view geo-localization, CVGL)은 드론 뷰 이미지와 위성 뷰 이미지를 매칭하여 GPS 없는 위치 추정을 달성하는 것을 목표로 한다. 기존의 지도 학습 방법은 대규모로 수동 주석된 교차 뷰 이미지 쌍에 의존하기 때문에 비용이 많이 들고 확장이 어렵다. 반면 기존의 비지도 학습 방법은 주로 생성 모델이나 클러스터링 기반의 단계별 최적화에 의존하는데, 이는 분포 바이어스와 노이즈가 많은 의사 레이블(pseudo-label)의 누적에 취약하다. 이러한 한계를 해결하기 위해, 우리는 실제 드론 및 위성 이미지에 대해 직접 자기학습(self-training)을 수행하는 엔드-투-엔드 비지도 교차 뷰 지오-로컬라이제이션 프레임워크인 STEAM(Stable Self-Training with Elastic Matching and Adaptive Purification)을 제안한다. 구체적으로, 제안된 Stable Spatial-Aware Module은 특징(feature) 표현의 안정성을 향상시키고, Elastic Matching은 고품질의 교차 뷰 의사 레이블을 발굴하며, Adaptive Purification은 자기학습 과정 전반에 걸쳐 신뢰할 수 있는 의사 레이블 저장소를 동적으로 유지한다. University-1652 및 SUES-200 벤치마크에 대한 광범위한 실험을 통해, STEAM이 기존의 모든 비지도 방법 중 최고 수준의 성능을 달성하고 지도 학습 방법과 비교 가능한 성능을 제공함을 입증하여, 제안된 프레임워크의 효과성과 우수성을 검증하였다. 소스 코드는 https://github.com/wsx-heu/STEAM.git 에서 확인할 수 있다.

arXiv:2607.09024v1cs.CV

비디오 생성 모델은 범용 비전 학습자다

Video Generation Models are General-Purpose Vision Learners

다음 토큰 예측에 힘입어, 자연어 처리(NLP)는 태스크별 모델에서 강력한 범용 파운데이션 모델로 전환되었다. 그렇다면 컴퓨터 비전(CV)에서 범용 모델을 달성하기 위해 필요한 동등한 촉매는 무엇인가? 본 논문에서 우리는 대규모 텍스트-투-비디오 생성이 컴퓨터 비전을 위한 강력한 사전학습 패러다임으로 기능하며, 범용 시각 지능에 필요한 시공간적 사전 지식, 비전-언어(vision-language) 정렬, 그리고 확장성을 제공한다고 주장한다. 우리는 GenCeption을 소개한다. GenCeption은 사전학습된 비디오 생성 확산(diffusion) 백본을 활용하여 피드포워드 인식 모델을 정의하며, 텍스트 인스트럭션으로 조종되는 다양한 비전 태스크를 수행할 수 있다. 실험 결과, GenCeption은 깊이 추정, 표면 법선 추정, 카메라 포즈 추정, 표정-참조 분할(expression-referring segmentation), 3D 키포인트 예측을 포함한 다양한 태스크에서 최첨단 성능을 달성하며, DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo, Lotus-2 등 전문화된 모델과 동등하거나 이를 능가하는 경우가 많다. 또한, 비디오 생성 사전학습 백본은 동등한 조건에서 V-JEPA, Video MAE 등 대안적 사전학습 패러다임을 능가한다. 중요하게도, GenCeption은 초기적인 데이터 및 모델 스케일링(scaling) 특성과 함께 뛰어난 데이터 효율성을 보이며, D4RT 및 VGGT-Omega와 같은 선도 모델 대비 학습 데이터를 7배에서 500배 적게 사용하면서도 비슷한 성능을 달성한다. 마지막으로, GenCeption은 흥미로운 창발적(emergent) 행동을 보인다. 합성 인간 비디오만으로 학습된 모델이 실제 영상과 분포 외(out-of-distribution) 객체 범주(예: 동물 및 로봇)로 일반화된다. 이러한 결과는 비디오 생성이 단순한 합성 도구가 아니라, 물리적 세계를 위한 범용 시각 지능을 향한 근본적인 경로임을 시사한다. 프로젝트 페이지: https://genception.github.io

arXiv:2607.07361v2cs.CV

BUS: 멀티모달 추론을 위한 역방향 예측 기반 뇌 영감 비지도 자기성찰

BUS: Brain-Inspired Unsupervised Self-Reflection via Backward Prediction for Multimodal Reasoning

현재의 비전-언어 모델(VLM)은 일관되고 세밀한 추론을 요구하는 복잡한 시각적 태스크를 처리하는 데 어려움을 겪는 경우가 많다. 최근 방법들은 자기성찰적 추론, 즉 생성된 추론을 검토하고 개선하는 능력을 모델에 부여하기 위한 학습을 목표로 하지만, 대량의 주석 데이터를 필요로 하며 테스트 시점에서 명시적인 성찰 행동이 결여되어 있다. 이와 달리 인간은 역방향 예측, 즉 주어진 미래 상태에 앞서 현재 상태가 어떠했을지를 예측하는 메커니즘을 통해 명시적이고 효율적인 자기성찰을 수행한다. 본 연구는 신경과학에서 영감을 받아 이러한 과제를 해결하기 위한 새로운 방법을 제안한다. 우선 주류 VLM이 인간의 뇌와 유사하게 역방향 예측을 수행할 수 있다는 현상을 관찰하고 분석한다. 이를 바탕으로 복잡한 시각적 태스크에서 성찰적 추론을 강화하기 위해 역방향 예측 능력을 활용하는 레이블 없는 학습 프레임워크인 뇌 영감 비지도 자기성찰(BUS)을 제안한다. BUS는 역방향 예측을 기반으로 성찰적 추론의 자기검증을 가능하게 하여 비지도 조건에서 명시적인 학습 신호를 제공한다. 이를 통해 BUS는 주석 데이터에 대한 의존성을 제거하면서도 추론 성능을 향상시킨다. 모델에 독립적인 플러그인으로 설계된 본 프레임워크는 지도 미세조정(SFT) 및 강화학습(RL)과 같은 널리 사용되는 미세조정 방법과 호환된다. Qwen3-VL-8B를 초기 모델로 사용하여 HR-Bench-8K (+8.0%), HR-Bench-4K (+7.7%), V* Bench (+6.3%), MME-RealWorld-Lite (+5.8%)에서 성능 향상을 달성하였으며, 이는 역방향 예측이 성찰적 추론 발전의 핵심임을 입증한다.

arXiv:2603.01115v2cs.CV

LUMOS: 분할을 위한 잠재적 범용 의료 사전지식

LUMOS: Latent Universal Medical Priors for Segmentation

범용 비전 파운데이션 모델(VFM)은 주로 자연 이미지를 기반으로 개발되어 왔으며, 의료 이미지 분할에서의 활용도는 비용이 많이 드는 적응 또는 도메인별 미세조정에 의존하는 것으로 흔히 간주된다. 본 논문에서는 이 가정을 다른 관점에서 재검토한다: VFM 분할기가 시각적 규칙성을 재학습하도록 요구하는 대신, 해부학적 경계 구분에 필요한 저수준 시각적 사전지식이 범용 VFM 내에 이미 잠재되어 있는지를 탐구한다. 우리는 의료 감독 없이도 동결된 VFM이 전이 가능한 시각적 규칙성을 인코딩함을 관찰하였다. 이러한 속성은 자연 이미지에만 국한되지 않고 의료 이미지 이해에도 근본적으로 중요하다. 이 관찰에 동기를 얻어, 범용 VFM 사전지식을 기존 의료 분할기에 증폭시키는 새로운 프레임워크인 LUMOS(Latent Universal Medical PriOrs for Segmentation)를 제안한다. LUMOS는 두 가지 핵심 구성 요소로 이루어진다: (1) 동결된 비전 파운데이션 모델로부터 시각적 단서를 증류하는 Pathfinder, (2) 증류된 시각적 규칙성의 공간적 가이던스로 기존 의료 네트워크에 활력을 불어넣는 Inspiror. 이를 통해 분할기는 제한된 의료 어노테이션만으로 복잡한 시각적 규칙성을 완전히 학습하는 부담에서 벗어나 태스크별 해부학적 경계 구분에 집중할 수 있다. 다양한 의료 데이터셋과 토큰 기반 VFM에 걸쳐, LUMOS는 동결된 토큰 공간이 패치 수준의 패턴 관련성을 보존할 때 범용 VFM이 공간적 사전지식 생성기로 기능할 수 있음을 보여준다. DINO는 안정적인 백본 매칭 성능 향상을 제공하는 반면, SigLIP은 상이한 토큰 세분성과 표현 목표로 인한 VFM 특유의 민감도를 드러낸다.

arXiv:2602.18822v3cs.CV

실세계 정렬 불일치 관측에 강건한 자기지도 크로스모달 초해상도

Robust Self-Supervised Cross-Modal Super-Resolution against Real-World Misaligned Observations

실세계 정렬 불일치 데이터에 대한 크로스모달 초해상도(SR)는 레이블이 없는 저해상도(LR) 소스 이미지와 복잡한 공간적 정렬 불일치를 가진 고해상도(HR) 가이드 이미지만 사용 가능하기 때문에 매우 어려운 과제이다. 기존 방법들은 시뮬레이션 학습 데이터에 의존하거나, 크로스모달 의존성을 간과하는 차선책적 정렬 전략을 채택함으로써 실용적 성능이 제한된다. 이러한 문제를 해결하기 위해, 우리는 정렬 불일치 인식 특징 번역기(feature translator)와 콘텐츠 인식 참조 필터를 온라인으로 공동 최적화하는 자기지도 모델 RobSelf를 제안한다. 번역기는 약지도(weakly-supervised) 정렬 불일치 인식 번역을 통해 비지도 크로스모달 및 크로스해상도 정렬을 해결하여 정렬된 가이드 특징을 생성한다. 이 특징에 의해 안내된 필터는 소스에 대해 참조 기반 판별적 자기강화를 수행하여 고해상도 및 고충실도의 SR 예측을 가능하게 한다. 합성 데이터와 수집된 실세계 데이터에 대한 실험을 통해 RobSelf가 기존 자기지도 및 지도 학습 방법을 능가하는 최첨단 성능을 달성함을 입증한다. 또한, 기존 자기지도 방법 대비 최대 15.3배 빠른 우수한 효율성을 달성한다.

arXiv:2607.08168v1cs.SD

MuScriptor: 다중 악기 음악 전사를 위한 오픈 모델

MuScriptor: An Open Model for Multi-Instrument Music Transcription

합성 데이터 사전학습과 실제 음악 오디오 파인튜닝, 강화학습 기반 사후학습을 결합한 다중 악기 자동 음악 전사(Automatic Music Transcription) 모델 MuScriptor를 제안하며, 170k개 실제 녹음(11,000시간)과 145만 개 MIDI로 학습한 결과 기존 모델 대비 실제 음악에서 현저히 향상된 전사 품질을 달성했다. 악기 존재 여부 컨디셔닝을 통해 사용자가 전사 출력을 맞춤화할 수 있으며, 모델 가중치와 추론 코드를 오픈소스로 공개한다.

arXiv:2607.07758v1cs.LG

확장 가능하고 신뢰할 수 있는 지구 관측 파운데이션 모델

Scalable and Trustworthy Earth Observation Foundation Models

위성·항공 데이터의 측정 물리학과 운용 제약을 반영한 원격 탐사 파운데이션 모델(RSFM) 설계 원칙을 체계적으로 검토하며, 사전학습 목표·아키텍처·다운스트림 적응·신뢰성 요건을 종합한다. 유해 조류 번식 예측을 위한 물리 정보 기반 스펙트럼 마스킹(SpecTM)과 강화학습 기반 적응형 관측소 선택(PiCSRL) 사례 연구를 통해, 차세대 RSFM은 벤치마크 정확도뿐 아니라 모달리티 인식 전이와 물리적으로 타당한 표현으로 평가되어야 함을 주장한다.

arXiv:2607.07733v1cs.SD

최소 어노테이션 수중음향 데이터 탐험을 위한 자기지도 접근법

A Self-Supervised Approach for Minimal-Annotation Hydroacoustic Data Exploration

수동 수중음향 모니터링의 대규모 데이터를 최소한의 어노테이션으로 탐색하기 위해, Masked AutoEncoder(MAE)로 스펙트로그램 패치 임베딩을 학습한 뒤 UMAP과 HDBSCAN으로 이벤트 수준 클러스터링을 수행하는 자기지도 파이프라인을 제안한다. 인도양 마요트 섬 인근의 다년간 수중음향 데이터셋에 적용한 결과, 317개 클러스터를 1시간 이내에 15개 클래스로 매핑하였고 기존 탐지기에 필적하는 분류 성능과 함께 미지의 신호 패턴까지 발견하는 실용적 가치를 입증하였다.

arXiv:2607.08465v1cs.AI

JEPA 방식의 예측 학습을 JA4 기반 네트워크 핑거프린트에 적용하기

Applying JEPA-Style Predictive Learning to JA4-Derived Network Fingerprints

JA4, JA4H, JA4S, JA4X 등 네트워크 핑거프린트 서브필드에 JEPA 방식의 자기지도 예측 학습(self-supervised predictive learning)을 적용한 트랜스포머 기반 모델 JA4-JEPA를 제안하며, 약 39만 7천 개의 혼합 출처 샘플로 학습한 결과 TLS, DNS, SSH 프로토콜 분류에서 kNN 정확도 0.9220을 달성했다. 뷰 간 중복이 불완전한 조건에서도 유용한 임베딩 생성이 가능함을 보여주며, 실제 기업 게이트웨이 텔레메트리 2.1M 쌍에 대한 이상 탐지(anomaly detection) 벤치마크에서 AUC 0.922를 기록해 오토인코더 등 여러 베이스라인을 상회했다.

arXiv:2607.08772v1cs.CV

Wat3R: 어노테이션 없는 수중 3D 기하 학습

Wat3R: Underwater 3D Geometry Learning without Annotations

수중 환경의 빛 감쇠 및 산란으로 인한 어노테이션 부재 문제를 해결하기 위해, Wat3R는 교사-학생 아키텍처 기반의 크로스 도메인 준지도 학습(semi-supervised learning) 프레임워크로 VGGT를 수중 도메인에 적응시키며 어노테이션 없이 실제 수중 영상만으로 학습한다. 크로스 뷰 일관성 손실(Cross-View Consistent Loss)과 새로 구축한 Water3D 데이터셋을 통해 수중 다시점 깊이 추정 및 포인트 클라우드 재구성에서 최고 성능(SOTA)을 달성했다.

arXiv:2603.13994v3cs.CV

자기지도 비전 트랜스포머에서의 인간과 유사한 객체 그룹화

Human-like Object Grouping in Self-supervised Vision Transformers

자기지도 학습으로 훈련된 비전 트랜스포머가 인간의 객체 그룹화 지각과 얼마나 잘 정렬되는지를 측정하기 위해, 자연 장면에서 두 점이 동일 객체 위에 있는지를 판단하는 1,000회 이상 규모의 행동 벤치마크를 구축하고 다양한 비전 모델을 평가했다. DINO 목표로 훈련된 트랜스포머 모델이 가장 강한 인간 정렬을 보였으며, 패치 간 유사도 기반의 객체 중심성 메트릭과 Gram 행렬 구조가 이 정렬을 이끄는 핵심 요인임을 확인했다.

arXiv:2607.06132v1cs.LG

Self-Supervised Implicit CEST Reconstruction via Physics-Informed Lorentz Encoding

Multi-Pool Chemical Exchange Saturation Transfer (CEST) MRI provides valuable metabolic information but is clinically limited by long acquisition times. Although sparse sampling reduces scanning time, reconstructing high-resolution Z-spectra from limited data remains an ill-posed inverse problem. Conventional interpolation and generic Implicit Neural Rep-resentations (INRs) often lack physical constraints, leading to spectral artifacts and physically invalid signals. To address this, we propose Lorentz Encoding (LE), a physics-informed framework that formulates CEST reconstruction as a self-supervised reconstruction task via implicit continuous coordinate learning. Unlike generic positional encodings, LE regularizes the continuous spectral mapping by projecting sparse coordinates into a physically constrained space governed by a combination of parametric Lorentzian profiles with learnable basis functions. This mechanism effectively reduces noise and enforces consistency with physical models. Experiments on in vivo human brain data demonstrate that LE significantly outperforms state-of-the-art methods. Specifically, under a 39-point sampling strategy, LE achieves a PSNR of 57.58 dB and an SSIM of 0.9994. Furthermore, the learned physics-informed encodings form a continuous, geometrically ordered trajectory in the latent space, ensuring accurate quantitative metabo-lite mapping (APT, NOE, MT).

arXiv:2506.17182v3cs.LG

분리된 표현의 변분 학습

Variational Learning of Disentangled Representations

DisCoVR는 다중 조건 데이터에서 조건 불변 표현(z)과 조건 특이적 표현(w)을 분리하는 변분 프레임워크로, 적대적 항을 포함한 목적함수를 통해 조건 정보가 불변 표현에 누출되는 것을 명시적으로 방지한다. 합성 데이터, 이미지(CelebA), 단일 세포 RNA 시퀀싱 데이터셋 실험에서 기존 변분 분리 표현 학습 방법 대비 우수한 분리 성능을 달성함을 입증했다.

arXiv:2506.09276v4cs.LG

최소 행동 거리 학습

Learning The Minimum Action Distance

보상 신호나 행동 정보 없이 상태 궤적만으로 마르코프 결정 프로세스(MDP)의 상태 표현을 학습하는 프레임워크를 제안하며, 상태 간 전이에 필요한 최소 행동 수인 최소 행동 거리(MAD)를 자기지도 학습 방식으로 임베딩 공간에 구성한다. 대칭·비대칭 준계량(quasimetric)을 모두 지원하는 MadDist와 TDMadDist 알고리즘을 통해 다양한 환경에서 기존 상태 표현 방법보다 정확한 MAD 근사와 우수한 목표 도달(goal-reaching) 성능을 달성함을 실험으로 검증하였다.

arXiv:2311.07461v4cs.LG

DIRA-SS: 동적 도메인 증분 정규화 적응 - 자기지도학습

DIRA-SS:Dynamic Domain Incremental Regularised Adaptation -- Self-Supervised

분포 이동 환경에서 운용되는 자율 시스템의 DNN 분류기를 레이블 없이 온라인으로 적응시키기 위해, DIRA-SS는 기존 DIRA에 회전 예측 보조 태스크와 탄성 가중치 통합(elastic weight consolidation) 정규화를 결합한 자기지도학습(self-supervised) 방식으로 소수의 비레이블 타겟 도메인 샘플만으로 도메인 적응을 수행한다. CIFAR-10C, CIFAR-100C, ImageNet-C 벤치마크에서 ResNet으로 평가한 결과, 단 100개의 타겟 샘플만으로 기존 비지도 테스트 시간 적응(test-time adaptation) 기준 방법들을 능가하며 지도학습 기반 DIRA에 근접한 성능을 달성했다.