PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.12676v5cs.LG

매개변수화 PDE 풀이를 위한 분리 잠재 역학 매니폴드 융합

Disentangled Latent Dynamics Manifold Fusion for Solving Parameterized PDEs

서로 다른 PDE 매개변수에 걸쳐 신경 대리 모델을 일반화하는 것은 PDE 계수의 변화가 종종 학습을 더 어렵게 하고 최적화를 덜 안정적으로 만들기 때문에 여전히 어렵다. 모델이 학습 시간 범위를 넘어서도 예측해야 할 때 문제는 더욱 심각해진다. 기존 방법은 보통 매개변수 일반화와 시간 외삽을 동시에 처리할 수 없다. 표준 매개변수화 모델은 시간을 단순히 또 다른 입력으로 취급하므로 고유 역학을 포착하지 못하고, 최근의 연속 시간 잠재 방법은 종종 각 인스턴스마다 비용이 큰 테스트 시점 auto-decoding에 의존하여 비효율적이며 매개변수화된 해 공간 전반에 걸친 연속성을 깨뜨릴 수 있다. 이를 해결하기 위해, 공간, 시간, 매개변수를 명시적으로 분리하는 물리 정보 기반 프레임워크인 Disentangled Latent Dynamics Manifold Fusion(DLDMF)을 제안한다. 불안정한 auto-decoding 대신, DLDMF는 순전파 신경망을 통해 PDE 매개변수를 연속 잠재 임베딩으로 직접 매핑한다. 이 임베딩은 매개변수 조건 Neural ODE에 의해 진화가 지배되는 잠재 상태를 초기화하고 조건화한다. 또한 공간 좌표, 매개변수 임베딩, 시간에 따라 진화하는 잠재 상태를 결합하여 해당 시공간 해를 재구성하는 공유 디코더를 사용하는 동적 매니폴드 융합 메커니즘을 도입한다. 예측을 정적 좌표 적합이 아닌 잠재 동역학 진화로 모델링함으로써, DLDMF는 매개변수 변화와 시간적 진화 사이의 간섭을 줄이면서 매끄럽고 일관된 해 매니폴드를 유지한다. 그 결과, 보지 못한 매개변수 설정과 장기 시간 외삽에서도 잘 수행한다. 여러 벤치마크 문제에 대한 실험은 DLDMF가 정확도, 매개변수 일반화, 외삽 견고성에서 최신 베이스라인을 일관되게 능가함을 보여준다.

arXiv:2607.13905v1cs.CV

생체인식 발걸음 인식을 위한 제2회 국제 StepUP 대회: Steps에서 Strides로

The 2nd International StepUP Competition for Biometric Footstep Recognition: From Steps to Strides

국제 StepUP 대회 시리즈는 표준화되고 도전적인 평가 프레임워크를 통해 압력 기반 발걸음 생체인식 연구를 발전시키기 위해 시작되었다. 대규모 StepUP-P150 데이터셋(150명으로부터 20만 건 이상의 고해상도 동적 발걸음)과 이전에 공개되지 않았던 테스트 세트를 사용하여, 이번 2회 대회는 세 가지 핵심 과제를 다루었다: (1) 제한된 등록(enrollment) 데이터를 갖는 미등록 사용자에 대한 일반화, (2) 신발과 보행 속도 변화로 인한 도메인 이동(domain shift)에 대한 강건성, (3) 좌우 발걸음 쌍의 효과적인 융합. 처음 두 과제는 초회 대회를 기반으로 했으나, 이번 회차는 더 극단적인 교차 도메인 조건을 도입했고 개별 발걸음을 넘어 보폭(stride) 수준 검증으로 확장하여 표현 학습과 걸음 간 정보 융합의 새로운 기회를 열었다. 대회에는 학계와 산업계에서 26팀이 등록했으며, ArogyaPandit Research Team이 시공간 CNN과 앙상블 기반 점수 산출 전략을 결합하여 최고 동일 오류율(equal error rate) 8.00%를 달성했다. 상위 솔루션들은 시간적 패턴을 활용하는 것과 점수 산출을 개선하기 위해 추론 시 정규화 및 보정(calibration) 전략을 통합하는 것의 가치를 보여준다. 그러나 결과는 특히 유사한 특성을 가진 혼동 요인(distractor)이 존재할 때, 미등록 개인 신발 환경에서 사용자를 인식하는 것이 여전히 어려운 과제임을 드러낸다.

arXiv:2607.13674v1cs.CV

WAVE-Stereo: 스테레오 매칭을 위한 워프 정렬 볼륨 인코딩

WAVE-Stereo: Warp-Aligned Volume Encoding for Stereo Matching

기존 반복적 스테레오 매칭 방법들은 주로 두 가지 대응 관계 표현 방식을 채택한다. 하나는 상관 볼륨(correlation volume)을 통한 명시적 매칭 탐색이고, 다른 하나는 워프된 특징(warped feature)을 통한 국소 잔차 정제이지만, 이 둘은 여전히 별도로 모델링된다. 우리는 WAVE-Stereo를 제안한다. 핵심 통찰은 상관 볼륨과 특징 워핑(feature warping)이 상보적인 매칭 단서를 제공한다는 것이다. GeoWarp Correspondence Encoder(GWCE)는 ConvGRU 입력에서 매칭 탐색, 잔차 정렬, 시차(disparity) 사전을 병렬로 인코딩한다. 텍스처가 없는 영역에서의 매칭 저하를 완화하기 위해, 주기적으로 전역 공간 정보를 전파하는 Periodic Global Context Propagation(PGCP)을 제안한다. Middlebury, ETH3D, KITTI 2012, KITTI 2015, Booster의 다섯 가지 실세계 벤치마크에서 WAVE-Stereo는 외부 기반 모델(foundation model) 사전 지식 없이 경쟁력 있는 제로샷(zero-shot) 일반화 정확도를 달성한다. KITTI 2015에서 3.18% D1-all, Booster에서 4.42% Bad-2.0, 66ms 실시간 추론을 기록하며 정확도와 효율성 사이의 유리한 균형을 이룬다. 코드는 https://github.com/yamanoko-do/WAVE-Stereo 에서 이용할 수 있다.

arXiv:2607.13669v1cs.CV

언어 및 모달리티 제약을 넘어서는 화자 신원 학습: POLY-SIM 2026 챌린지의 통찰

Learning Speaker Identity Beyond Language and Modality Constraints: Insights from the POLY-SIM 2026 Challenge

다중모달 화자 식별 시스템은 일반적으로 학습과 테스트 모두에서 완전하고 동질적인 시청각 모달리티를 사용할 수 있다고 가정하며, 각 화자가 단일 언어만 사용한다고 가정한다. 그러나 실제 응용에서는 이러한 가정이 종종 성립하지 않는다. 시각 또는 음향 정보는 가림, 카메라 또는 마이크 고장, 또는 프라이버시 제약으로 인해 누락될 수 있다. 다국어 화자는 언어 간 언어학적 변동성으로 인해 추가적인 복잡성을 야기한다. 이러한 상황은 다중모달 화자 식별 시스템의 견고성과 일반화 능력에 상당한 도전을 제기한다. POLY-SIM 2026 챌린지의 목적은 화자 식별의 이러한 측면을 다루고, 제안된 솔루션들의 비교를 위한 표준화된 설정을 제공하는 것이다.

arXiv:2607.13386v1cs.CV

FM$^2$: 이질적 다중 모달 의료 영상을 위한 통합 연합 파운데이션 모델

FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging

의료 영상용 파운데이션 모델 구축은 여러 기관 간 데이터 풀링(pooling)을 요구하지만, 프라이버시 규정으로 인해 중앙 집중식 집계가 금지된다. 기존 연합 파운데이션 모델은 자연 이미지 모델을 파인튜닝하여 의료 도메인 전이 성능이 낮거나, 단일 모달리티 내에서 처음부터 학습하여 작업을 통합할 유연성이 부족하다. 우리는 영상 모달리티 이질성(Imaging Modality Heterogeneity)이라는 미개척 과제를 식별한다. 여기서 클라이언트는 두 가지 구조적 체제에서 동작한다: 겹침(Overlapped, 공유 모달리티와 이질적 레이블 분포)과 비겹침(Non-overlapped, 클라이언트마다 완전히 분리된 모달리티). 우리는 FM$^2$를 제안한다. 이는 핵심 백본을 처음부터 학습하여 의료 도메인 충실도를 보존하면서, 선택적으로 생의학 사전학습 인코더를 비전-언어 정렬에 통합하는 통합 프레임워크이다. FM$^2$는 각 클라이언트에 이중 전문가 혼합(MoE) 모듈(개인화된 범주 지식을 위한 클래스별 MoE와 공유 교차 모달리티 표현을 위한 도메인별 MoE)을 장착하고, 모달리티별 전문가 파라미터를 명시적으로 정렬하는 이질적 모달리티 정렬(HMA) 정규화를 결합한다. 이를 통해 증명 가능한 $O(1/\sqrt{T})$ 수렴 및 일반화 보장을 제공한다. FM$^2$는 또한 캡션 강화 학습(CEL)을 포함한다. 여기서 로컬에 보관된 GPT-4o 생성 캡션이 텍스트 의미적 다리로 작용하여 분리된 모달리티를 가진 클라이언트 간 표현 전이를 가능하게 하며, 연합 의료 VQA로의 확장성을 보여준다. 우리의 MIMH 벤치마크(분류 및 CEL)와 실제 의료 VQA 데이터셋에 대한 실험은 세 가지 작업 모두에서 최신 연합 기준선 대비 일관된 우수성과 강한 모달리티 외 일반화를 확인한다.

arXiv:2607.13192v1cs.CV

자기지도 시각 표현 학습: 사전학습-파인튜닝인가, 공동 학습인가?

Self-Supervised Visual Representation Learning: Pretrain-Finetuning or Joint Training?

자기지도(self-supervision)는 레이블 없는 데이터로부터 시각 표현을 학습하는 강력한 기법이다. 기존 기법들은 주로 자기지도 학습(SSL)에 대해 2단계 접근법을 채택한다: 레이블 없는 데이터에 대한 사전학습 단계와 그에 이어 레이블 있는 데이터에 대한 파인튜닝 단계. 이 파이프라인은 극도의 효과를 보여주었지만, 자기지도 학습 목표와 지도 학습 목표 간의 상호작용은 여전히 충분히 이해되지 않았다. 본 연구에서는 학습 중 자기지도 목표와 지도 목표를 공동으로 최적화하는 것이 더 나은 대안이 되는지를 체계적으로 조사한다. 두 가지 학습 패러다임을 비교한다: (1) 앞서 언급한 사전학습 후 파인튜닝(PFT)과 (2) 동일한 네트워크에서 자기지도 손실과 지도 손실을 동시에 최적화하는 공동 학습(JT). 8가지 대표적인 SSL 방법과 자연, 의료, 위기 대응, 원격 탐사 데이터를 포함한 다양한 컴퓨터 비전(CV) 과제에서 레이블 데이터 비율을 변화시키며 성능을 평가한다. 결과는 PFT와 JT의 상대적 효과가 과제, 레이블 데이터의 가용성, 도메인 복잡도에 크게 의존한다는 것을 보여준다. JT는 레이블이 적은 설정에서 견고하면서 데이터 및 학습 효율을 일관되게 향상시키는 반면, PFT는 더 전문화된 도메인에서 더 신뢰할 수 있다. 표현 품질, 견고성, 교차 도메인 일반화를 추가로 분석하여 최적화 과정에서 자기지도 목표와 지도 목표가 어떻게 상호작용하는지에 대한 새로운 통찰을 제공한다. 하이브리드 SSL 기반 준지도 학습을 위한 포괄적인 경험적 벤치마크를 구축하고, 다양한 시각 응용 분야에서 적절한 학습 전략을 선택하기 위한 실용적 지침을 제시한다.

arXiv:2607.12704v2cs.CV

다중 레이블 원격탐사 장면 분류에서 도메인 일반화를 위한 레이블 분리 스타일 증강

Label-Decoupled Style Augmentation for Domain Generalization in Multi-Label Remote Sensing Scene Classification

다중 레이블 분류는 각 항공 장면에 공존하는 여러 레이블을 부여하지만, 배포된 모델은 종종 학습과 다른 데이터 분포를 마주한다. MixStyle, EFDMix, 상관 스타일 불확실성(correlated style uncertainty)과 같은 특징 통계 기반 증강은 낮은 비용으로 일반화를 향상시키지만 채널 통계를 전역적으로 교란하여 각 이미지를 단일 스타일로 취급하며, 한 클래스가 다른 클래스의 증강을 오염시킬 수 있다. 다중 레이블 원격탐사에서 도메인 일반화(domain generalization)는 연구가 부족하며, 이를 목표로 하는 기존 방법이나 다중 소스 벤치마크는 없다. 따라서 스타일 교란을 레이블별 영역으로 한정하는 레이블 분리(label-decoupled) 증강 프레임워크를 제안한다. 학습 가능한 모듈 또는 그래디언트 클래스 활성화 맵(gradient class-activation maps)에서 얻은 레이블별 어텐션은 레이블별 특징 통계를 산출하며, 이 통계는 공존 레이블을 공유하는 교차 도메인 샘플과 독립적인 레이블별 계수 하에서 혼합되고, 특징은 어텐션 가중 정규화(attention-weighted normalization)로 재구성된다. 두 어텐션 소스와 결합된 세 가지 연산자로 여섯 가지 변형을 만들어, 다중 레이블 UCM, AID, DFC15의 6개 공유 레이블에 대한 leave-one-domain-out 벤치마크에서 평가했다. 세 분할과 다섯 시드에 대해 평균하면 최고 변형은 71.5% 평균 정밀도(mAP)를 달성하여 경험적 위험 최소화(empirical risk minimization)보다 5.0%p, 가장 강한 전역 통계 기준선보다 1.3%p 높으며, 가장 어려운 전이에서 최대 7.7%p의 가장 큰 이득을 보인다. 소거 실험(ablation)은 공간 어텐션과 갱신된 위치 맵(localization maps)이 가장 영향력이 크다는 것을 보여준다. 이 프레임워크는 파라미터를 최대 0.35%만 추가하고 추론은 변경하지 않으며, 다중 레이블 통계 기반 도메인 일반화를 위한 범용적이고 저비용의 업그레이드 경로를 제공하는 것으로 보인다. 코드는 수락 후 https://github.com/Alaa-Almouradi/Style-Augmentation-Upgrade 에서 제공된다.

arXiv:2607.11588v3cs.CV

FoundationGeo: 단안 메트릭 기하학을 위한 공간적 픽셀 단위 필드 학습

FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry

우리는 공간적 보정(spatial calibration)과 원칙적인 데이터 설계를 통해 상대적 예측과 메트릭 예측을 명시적으로 연결하는 2단계 프레임워크인 FoundationGeo를 제안한다. 1단계에서는 DINOv3로 초기화하고 보완적인 지역 세부 지도(local-detail supervision)를 적용하여 엄선된 1,020만 샘플 다중 도메인 코퍼스로 학습함으로써, 고충실도의 어파인 불변(affine-invariant) 기하 모델을 학습하여 선명한 경계와 강력한 도메인 간 일반화를 달성한다. 2단계에서는 메트릭 추정을 위한 경량 픽셀 단위 보정 필드를 도입하여 전역 스케일링을 넘어선다: 공간적으로 변하는 메트릭 정렬을 위한 스케일 필드와 포인트 맵 기하학에서 방향 바이어스를 완화하는 광선 방향 보정 필드를 함께 사용하여 메트릭 일관성 있는 3D 포인트 맵을 생성한다. 모델 설계를 넘어, 우리는 카메라 내부 파라미터 커버리지, 특히 학습 데이터와 테스트 데이터 간 초점 거리 분포 불일치가 제로샷 메트릭 일반화의 핵심 병목임을 확인한다: 테스트 내부 파라미터가 학습 분포 밖에 놓일 경우 성능이 급격히 저하된다. 이를 해결하기 위해 Blender 기반 데이터 엔진을 사용하여 다양한 초점 거리에 걸친 추가 학습 데이터를 합성하고, 커버리지가 부족한 초점 거리 영역을 보완하여 내부 파라미터 변화에 대한 견고성을 향상시킨다. 7개 벤치마크에 걸친 광범위한 제로샷 평가에서 FoundationGeo는 도메인 간 견고성을 크게 강화하여 다양한 도메인에서 상위권을 유지하면서 다른 방법들에서 관찰되는 급격한 도메인 간 성능 저하를 방지한다. 이러한 일관성은 최고의 전체 성능으로 이어지며, 더 무거운 베이스라인 대비 평균 5.2% 이상 성능을 능가한다.

arXiv:2607.13597v1cs.RO

로봇 행동 표현을 위한 의미적 앵커링

Semantic Anchoring for Robotic Action Representations

비전-언어-행동(VLA) 모델은 사전학습된 비전-언어 모델로부터 풍부한 의미 표현을 상속받지만, 제한된 로봇 시연 데이터에 대한 미세조정은 이러한 구조를 저하시키고 일반화를 저해한다. 따라서 근본적인 질문이 제기된다: 좋은 행동 표현은 무엇으로 구성되는가? 관찰과 실행이 의도 수준의 인코딩을 공유한다는 거울 뉴런 이론의 통찰에서 영감을 받아, 우리는 로봇의 행동 표현이 사전학습된 인코더가 포착한 의미 구조를 보존하는지 검토한다. 체계적인 프로빙은 미세조정 과정에서 이러한 구조가 침식된다는 것을 확인하며, 그 품질이 과제 성공과 분포 외(out-of-distribution) 일반화 모두와 동기화됨을 보여준다. 또한 행동 표현을 의미 매니폴드에 앵커링하면서 표현을 공유 의미 채널과 전용(private) 채널로 분해하는 플러그앤플레이 방법을 제안한다. 이는 모두 추론 시 폐기되므로 배포된 모델은 변경되지 않는다. 시뮬레이션과 실세계 벤치마크에서 다양한 VLA 백본에 대해 검증한 결과, 본 방법은 실세계 분포 내(in-distribution) 과제에서 최대 +18.7%, 분포 외 일반화에서 +21.5%의 성능 향상을 달성한다.

arXiv:2607.13558v1cs.AI

도시 지역 프로파일링을 위한 도구 증강 증거 기반 다중 에이전트 협력 추론

Multi-Agent Collaborative Reasoning with Tool-Augmented Evidence for Urban Region Profiling

도시 지역 프로파일링은 인구 추정, 경제 평가, 환경 모니터링 등의 응용을 지원하는 도시 컴퓨팅의 핵심 문제이다. 기존 방법들은 이 과제를 일반적으로 멀티모달 표현 학습으로 공식화하여, 위성 영상, 관심 지점(POI), 텍스트 설명, 3D 건물 정보 등 이질적인 도시 데이터를 잠재 임베딩으로 융합한 뒤 예측한다. 그러나 이러한 접근법은 대체로 상관관계에 기반하며, 교차 모달 일관성을 가정하고 정적 파이프라인에 의존하기 때문에, 이질적이거나 보지 못한 도시 지역에서의 견고성이 제한된다. 우리는 도시 지역 프로파일링을 추론 주도 추론 문제로 재구성하는 에이전트 프레임워크 UrbanAgent를 제안한다. UrbanAgent는 각 데이터 모달리티마다 독립적인 에이전트를 인스턴스화하고, 단일 표현에 흡수하는 대신 교차 모달 불일치를 명시적으로 다루기 위해 구조화된 다중 에이전트 협력 추론을 수행한다. 또한 UrbanAgent는 지표 예측을 능동적 증거 획득과 반복적 추론의 폐쇄 루프 과정으로 확장하여, 에이전트가 강화학습으로 최적화된 외부 지식의 도구 증강 검색을 통해 불확실한 추론을 검증할 수 있게 한다. 탄소 배출, GDP, 인구 추정에 대한 전 세계 도시 데이터셋에서의 광범위한 실험 결과, UrbanAgent는 기존 베이스라인을 일관되게 능가하며 R²에서 평균 8.1%의 향상을 달성하고, 미관측 도시 설정에서 강한 일반화 성능을 보인다.

arXiv:2607.12881v1cs.CV

억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화

Inhibited Self-Attention: Sharpening Focus in Vision Transformers

비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.

arXiv:2607.11941v1cs.CV

GenDiff: 저선량 CT 재구성 및 일반화를 위한 용량·해부학 인식 확산 모델과 구조적 사전 정제

GenDiff: A Dose and Anatomy Aware Diffusion Model with Structural Prior Refinement for Low-Dose CT Reconstruction and Generalization

전산화 단층촬영(CT)은 임상 진단에 핵심적인 영상 방식이지만, 방사선 용량을 줄이면 불가피하게 심한 노이즈와 구조적 아티팩트가 발생하여 영상 품질이 저하된다. 기존의 심층 학습 기반 저선량 CT(LDCT) 재구성 방법들은 일반적으로 고정된 용량 수준이나 특정 해부학적 영역에 맞춰 최적화되어, 실제 임상 환경에서의 견고성과 일반화가 제한된다. 본 연구에서는 연속적인 방사선 용량과 해부학적 정보를 통합 재구성 네트워크 내에서 공동으로 모델링하는, LDCT 재구성을 위한 일반화 가능한 확산 기반 프레임워크 GenDiff를 제안한다. 제안 프레임워크는 촬영 인식 임베딩을 학습하는 용량-해부학 인코더(Dose-Anatomy Encoder), 반복적 정제를 위한 용량·해부학 조건화 cold diffusion 백본, CT 순방향 모델에 대한 충실도를 강제하는 물리 일관성 업데이트, 해부학적 구조를 보존하면서 용량 의존적 아티팩트를 억제하는 구조적 사전 정제 모듈(SPRM)을 통합한다. 미세 용량 조건을 포함한 다중 해부학 임상 데이터셋, 분포 외 팬텀 및 동물 데이터셋에 대한 광범위한 실험 결과, GenDiff가 최신 합성곱 신경망 및 확산 기반 재구성 방법들을 일관되게 능가함을 보여준다. 제안 접근법은 다양한 용량 수준, 해부학적 영역, 촬영 도메인에 걸쳐 강한 견고성을 유지하면서 우수한 재구성 품질을 달성하여, 실용적인 저선량 CT 영상에 유망한 해결책이 될 수 있음을 시사한다.

arXiv:2602.16918v2cs.CV

Xray-Visual 모델: 산업 규모 데이터에서의 비전 모델 스케일링

Xray-Visual Models: Scaling Vision models on Industry Scale Data

우리는 산업 규모의 소셜 미디어 데이터로 학습된 대규모 이미지 및 영상 이해를 위한 통합 비전 모델 아키텍처인 Xray-Visual을 제안한다. 당사 모델은 Facebook과 Instagram의 150억 개 이상의 큐레이션된 이미지-텍스트 쌍과 100억 개의 영상-해시태그 쌍을 활용하며, 의미적 다양성을 극대화하고 레이블 노이즈를 최소화하기 위해 균형 조정과 노이즈 억제 전략을 결합한 견고한 데이터 큐레이션 파이프라인을 사용한다. 우리는 자기 지도 MAE, 준지도 해시태그 분류, CLIP 스타일 대조 학습을 결합하여 이미지와 영상 모달리티를 공동으로 최적화하는 3단계 학습 파이프라인을 도입한다. 아키텍처는 연산 효율 향상을 위해 효율적인 토큰 재구성(EViT)으로 강화된 Vision Transformer 백본 위에 구축된다. 광범위한 실험 결과, Xray-Visual은 이미지 분류를 위한 ImageNet, 영상 이해를 위한 Kinetics 및 HMDB51, 교차 모달 검색을 위한 MSCOCO를 포함한 다양한 벤치마크에서 최첨단 성능을 달성함을 보여준다. 이 모델은 도메인 전이와 적대적 교란에 대해 강한 견고성을 보인다. 또한 대규모 언어 모델(LLM)을 텍스트 인코더로 통합하는 LLM2CLIP은 특히 실세계 환경에서 검색 성능과 일반화 능력을 크게 향상시킴을 추가로 입증한다. Xray-Visual은 뛰어난 정확도와 연산 효율을 유지하면서 확장 가능한 다중 모달 비전 모델의 새로운 기준을 제시한다.

arXiv:2509.24863v2cs.CV

생물학적 영감 기반 희소 대비 표현을 통한 강건성 향상

Improved Robustness from Biologically Inspired Sparse Contrast Representations

딥 신경망은 많은 비전 벤치마크에서 인간을 능가하지만, 조명 및 날씨 변화와 같은 분포 이동에 대해서는 여전히 훨씬 덜 강건하다. 기존 접근법은 추가 학습 데이터, 광범위한 증강, 아키텍처 수정, 또는 테스트 시점 적응을 통해 이 과제를 해결한다. 본 연구에서는 보완적 방향을 탐구한다. 인간 망막에서 영감을 받아, 조명 변화에 대해 더 안정적인 신호를 추출하는 고정된, 모델에 무관한 전처리 모듈을 제안한다. 우리의 방법은 색상 리매핑과 국소 대비 추출을 결합하여 구조적 특징을 강조하는 희소 표현을 생성한다. Cityscapes에서 학습하고 Dark Zurich 및 ACDC에서 불리한 조건 하의 일반화를 평가함으로써 시맨틱 분할에 대한 영향을 연구한다. 결과는 생물학적 영감을 받은 전처리가 분포 내 성능을 유지하는 동시에, 주석이 달린 학습 데이터가 희소한 야간과 같은 어려운 조명 시나리오에서 강건성을 일관되게 향상시킴을 보여준다. 또한 대비 기반 표현이 최대 70%까지 희소화되어도 분할 정확도는 안정적으로 유지된다. 이러한 이득은 입력 표현 자체를 재고하는 것이 강건성을 향상시킬 수 있음을 시사하며, 희소성이 수집에 가까운 곳에서 활용될 수 있을 때 낮은 지연시간, 전송 인식 이미징 센서를 위한 기회도 열어준다.

arXiv:2607.10777v1cs.CV

RED-Sphere: 교차 집단 안저 질환 도메인 일반화를 위한 초구면 잔차 에지 편향 제거

RED-Sphere: Hyperspherical Residual Edge Debiasing for Cross-Population Fundus Disease Domain Generalization

의료 이미지 분류기는 흔히 단일 소스 집단 내에서 학습되지만, 임상 배포 시에는 외형, 촬영 방식, 질병 유병률이 소스 코호트와 다른 환자들에 대한 강건성이 요구된다. 기존의 공정성 및 강건성 방법들은 그룹 감독을 필요로 하거나 외형 변화를 단순한 잡음으로 처리하는 경우가 많으며, 이는 집단과 상관된 저수준 단서와 병변 증거가 에지 및 텍스처 구조를 공유할 때 불충분하다. 우리는 엄격한 소스 전용 교차 집단 설정을 연구하며, 이 설정에서는 외부 집단이 최적화, 검증, 스케줄링, 하이퍼파라미터 및 모델 선택 과정에서 관측되지 않는다. 우리는 미관측 집단 이동 하에서의 이미지 분류를 위한 플러그 앤 플레이 강건성 프레임워크인 RED-Sphere를 제안한다. 이 프레임워크는 에지 및 특징 에너지 사전 분포를 이용해 단축 경로에 민감한 잡음 응답을 추정하고, 잔차 소프트 게이팅을 통해 지배적인 응답을 약화시키며, 반사실적 영감의 일관성 및 분리 손실로 마스킹된 잡음 뷰를 정규화하고, 정규화된 구면 프로토타입으로 레이블을 예측한다. 병변 구조를 보존하면서 소스와 상관된 활성화 크기보다 각도적 의미론적 증거를 선호한다. 노인성 황반변성(AMD)과 당뇨망막병증(DR)을 위한 2D 주사 레이저 안저경(SLO) 안저 분류에서 시연되었지만, RED-Sphere는 망막 해부학에 국한되지 않는다: 외형 단축 경로와 의미론적 증거가 얽혀 있는 모든 곳에서 양식 특화 잡음 사전 분포와 함께 동일한 원리를 적용할 수 있다. 엄격한 백인 전용 Harvard-FairVision 프로토콜 하에서, RED-Sphere는 20가지 태스크 및 백본 비교 전반에 걸쳐 보류 매크로-F1을 향상시키며, AMD와 DR에서 각각 평균 1.28 및 2.98 F1 포인트의 향상을 달성한다. AUC 및 PR-AUC의 향상, 시각적 진단, 절제 연구, 민감도 분석은 더 강력한 외부 의미론적 정렬과 더 안정적인 각도 질환 기하학을 추가로 지지한다.

arXiv:2607.10470v1cs.CV

광학 흐름 모델의 실제 세계 일반화 가능성에 관하여

On the Real-World Generalisability of Optical Flow Models

비전 모델을 실제 세계에 배포하여 사회에 광범위하게 기여하는 것은 주요 연구 목표 중 하나라 할 수 있다. 그러나 광학 흐름(optical flow) 분야에서는 정답(ground truth) 획득의 어려움으로 인해 연구가 주로 합성 데이터와 도메인 특화 벤치마크에 집중되어 왔다. 본 연구에서는 이러한 불일치의 심각성을 조사한다. 우리는 현대 광학 흐름 추정 모델이 실제 세계 비디오에 얼마나 잘 일반화되는지 연구하고, 합성 벤치마크 프록시에서의 정확도가 실제 세계 광학 흐름의 정확도를 실제로 예측하는지 의문을 제기한다. 이를 위해 실제 세계 평가 벤치마크를 구축하고, 표준 체크포인트를 사용하여 최근 광학 흐름 모델 전반의 실제 세계 일반화 가능성을 평가한다. 우리의 벤치마크는 TAP-Flow, Slow Flow, 그리고 자체 데이터셋 FlowFactor에 걸쳐 8,204개의 프레임 쌍을 포함한다. FlowFactor는 1,000개의 HD 프레임 쌍으로 구성된 수동 주석 기반 실제 세계 벤치마크로, 대변위(large displacements), 반복 텍스처(repetitive textures), 가려짐(occlusions), 조명 변화(lighting variation)의 네 가지 교란 요인으로 조직되어 있다. 각 설정은 주로 하나의 요인만 변화시켜 진단적이고 교란 요인별 분석을 가능하게 한다. FlowFactor를 활용하여, 조명 변화 및 대변위 환경에서의 성능이 실제 세계 정확도와 가장 강하게 상관관계를 가지며, 대동작 영역에서의 성능 향상이 소동작의 정적 장면에서의 견고성과 트레이드오프 관계일 수 있음을 밝힌다. 실험 결과, Sintel, KITTI, Spring에서의 발전이 실제 세계 데이터 정확도를 약하게만 예측함을 보여주며, 이는 광범위한 실제 세계 광학 흐름 벤치마크의 필요성을 강조한다. 흥미롭게도, 학습 데이터의 양을 확장하는 것이 반드시 이 격차를 해소하지는 않으며, 단순히 데이터와 컴퓨팅을 확장하는 대신 새로운 혁신적 연구가 요구됨을 시사한다.

arXiv:2607.10308v1cs.CV

합성 모달리티 생성을 통한 대규모 멀티모달 모델의 다양한 시각 모달리티 일반화

Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis

대규모 멀티모달 모델(LMM)이 RGB 비전 분야에서 많은 발전을 이루었음에도 불구하고, 이전에 보지 못한 시각 모달리티로의 일반화 능력은 아직 충분히 탐구되지 않은 과제로 남아 있다. 우리는 서로 다른 시각 모달리티가 동일한 물리적 세계를 단지 다른 방식으로 샘플링한 것에 불과하다고 주장한다. 따라서 효과적인 일반화를 위해서는 모델이 장면 의미론에 대한 모달리티 무관 지각 능력과 모달리티별 특성에 대한 적응력을 모두 갖추어야 한다. 이를 달성하기 위해 우리는 모달리티 합성과 모달리티 컨텍스트를 통해 LMM에 이러한 능력을 부여하는 학습 프레임워크인 VVM-Tuning을 제안한다. 구체적으로, RGB 장면으로부터 다양한 외관 변형 이미지를 합성하여 모델이 변화하는 시각적 외관으로부터 불변 의미론을 분리하도록 학습시키고, 이러한 외관을 모달리티에서 분리된 시각적 개념을 위해 언어와 정렬한다. 이후 프롬프트에 모달리티 컨텍스트를 도입하고 지시 미세조정을 활용하여 모델이 이러한 외관 변화를 모달리티 관련 속성으로 매핑하도록 지원함으로써, 추론 시 이전에 보지 못한 모달리티에 대한 제로샷 적응을 가능하게 한다. 이 방향의 연구를 촉진하기 위해 의미론적 지각과 모달리티 이해를 평가하는 6가지 실제 및 합성 모달리티를 포함한 종합 벤치마크인 VVM-Bench를 소개한다. 실험 결과, 합성 모달리티에 대한 학습을 통해 테스트된 5개 모델이 모달리티 내 학습 없이도 실제 모달리티와 새로운 합성 모달리티 모두에서 일관된 성능 향상을 보였다. 소스 코드와 데이터는 https://github.com/Hunter-Will/VVM-Tuning 에서 공개될 예정이다.

arXiv:2607.10116v1cs.LG

데이터 불균형이 도움이 될 때: 단축키 포화를 통한 강건한 일반화

When Data Imbalance Helps: Robust Generalization Through Shortcut Saturation

우리는 허위 상관관계 하에서의 강건한 일반화를 연구한다. 이는 단축키 특징(shortcut feature)이 학습 시 실제 레이블과 상관되지만, 적대적 홀드아웃 분할에서는 반상관되는 태스크다. 허위 비율 $r$(단축키 = 실제 레이블인 학습 예제의 비율)과 모델 용량을 변화시키면서, 우리는 직관에 반하는 결과를 발견했다: 데이터 불균형은 충분히 유능한 모델에서 일반화를 촉진한다. 실제 레이블이 정수 시퀀스의 합 패리티이고 단축키가 최댓값 원소의 패리티인 합성 태스크에서, 2층 2헤드 트랜스포머는 $r{=}0.50$일 때 0%의 시드에서 일반화(적대적 정확도 $100\%$ 달성)했지만, $r{=}0.90$일 때는 77%의 시드에서 일반화했다. 이 효과는 1층 모델에서는 나타나지 않으며, 불균형이 오히려 모델을 단축키에 고착시킨다. 그래디언트 충돌 동역학, 회로 진화, QK/OV 회로 절제 분석 등 기계론적 분석을 통해, 우리는 불균형이 일반화를 촉진하는 것과 일관된 기계론적 경로를 규명한다.

arXiv:2607.09695v1cs.LG

FedCausal-Dyn: 동적 특징 드리프트 하의 연합학습을 위한 인과-동적 패러다임

FedCausal-Dyn: A Causal-Dynamic Paradigm for Federated Learning under Dynamic Feature Drift

본 논문은 연합학습(federated learning)에서 동적 특징(feature) 드리프트(drift)라는 난제를 다룬다. 이는 데이터 분포가 클라이언트 간, 그리고 시간에 걸쳐 변화하는 현상으로, 금융 기술과 같은 실세계 응용에서 흔히 발생한다. 기존 접근법들은 정적 드리프트를 가정하는 경우가 많아 비정상(non-stationary) 환경에서의 효과가 제한적이다. 이를 극복하기 위해 우리는 인과-동적 패러다임에 기반한 새로운 연합학습 프레임워크 FedCausal-Dyn을 제안한다. 핵심 혁신은 인과-도메인 특징 분리(causal-domain feature separation)로, 전문화된 프로젝션 헤드와 적대적 학습(adversarial training)을 통해 도메인 불변 인과 특징을 허위적(spurious)이고 도메인 특화적인 변동으로부터 분리한다. 이를 통해 신뢰성 있는 동적 프로토타입 집계(reliable and dynamic prototype aggregation)가 가능해지며, 전역 집계 전에 추정된 신뢰도에 따라 로컬 클래스 프로토타입에 가중치를 부여한다. 나아가 인과-특징 기반 협력적 정규화(causal-feature guided collaborative regularization)를 도입하여 프로토타입 대조 정렬(prototype contrastive alignment)과 도메인 불변성을 하나의 통합 목적 함수로 결합한다. 세 가지 연합 도메인 일반화 벤치마크에 대한 광범위한 실험을 통해 FedCausal-Dyn이 일관되게 최고 수준의 성능을 달성하며, 가장 높은 평균 정확도와 가장 안정적인 결과를 보임을 입증한다. 절제 연구(ablation study)를 통해 각 구성 요소의 핵심적인 기여가 확인된다. 본 연구는 동적 특징 드리프트 하의 연합학습에 대한 견고하고 원칙적인 해결책을 제시한다.

arXiv:2607.09284v1cs.CV

일반화된 스테레오 매칭을 위한 단안 깊이 임베딩 재고찰

Rethinking Monocular Depth Embedding for Generalized Stereo Matching

일반적으로 단안(monocular) 방법은 풍부한 맥락적 사전 정보를 포착하지만 기하학적 정밀도(precision)가 부족한 반면, 스테레오 방법은 기하학적으로 정확하지만 텍스처가 없거나 가려진 영역에서 어려움을 겪는다. 여러 접근 방식이 단안 깊이를 스테레오 정보와 정렬함으로써 스테레오 매칭(SM)의 일반화를 향상시키기 위해 양쪽의 강점을 결합하려 시도한다. 그러나 안정적이고 일반화 가능한 정렬을 구축하는 것은 어렵고, 신뢰할 수 없는 단안 단서는 성능을 크게 저하시킬 수 있다. 본 논문은 단안 깊이 임베딩(embedding)을 재고찰한다. 첫째, 단축 학습(shortcut learning)을 방지하기 위해 네트워크 너비를 확장하는 대신 브랜치 결합을 줄인다. 둘째, 단안 깊이 오류에 대한 허용 오차를 높이기 위해 단안 깊이로부터 강한 제약 대신 소프트 제약을 구성한다. 이러한 원칙에 기반하여, 특징(feature) 추출과 GRU 반복 모두에 단안 정보를 통합한다. 구체적으로, 단안 깊이 맵을 RGB 이미지와 융합하여 깊이 경계 인식을 선명하게 하고 매칭 모호성을 억제한다. 융합된 이미지는 이후 특징 추출에 사용되어, 맥락적 특징이 전역 기하학적 정보를 인코딩할 수 있게 한다. 나아가, 단안 깊이 그래디언트(gradient) 특징을 활용하여 시차 업데이트를 안내함으로써 국소 진동에서 벗어나도록 돕는다. 마지막으로, 데이터 증강(data augmentation)으로 인한 지도 시차의 경계 흐림 문제를 해결하기 위해 엣지 신뢰도 추정 방법과 엣지 인식 손실(loss) 함수를 제안한다. 우리의 방법은 다수의 표준 벤치마크에서 최첨단(SOTA) 성능을 달성하며, 정확도를 향상시키는 동시에 우수한 일반화 능력을 보여준다. 코드는 https://github.com/linliboabc-maker/stereo-matching-digital 에서 확인할 수 있다.