PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22716v1cs.CV

ZIL: 제로샷 이미지-투-LiDAR 정합

ZIL: Zero-shot Image-to-LiDAR Registration

이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.

arXiv:2609.22582v1cs.CV

리더보드를 넘어서: 도메인 시프트 하의 엔드투엔드 및 VLA 주행 정책에 대한 반사실적 진단

Beyond the Leaderboard: Counterfactual Diagnosis of End-to-End and VLA Driving Policies Under Domain Shift

엔드투엔드 및 비전-언어-행동(VLA) 주행 정책은 리더보드 순위로 비교되지만, 순위는 결과만 보여줄 뿐 그 뒤에 있는 행동을 보여주지 않기 때문에 새로운 장소에서 정책이 어떻게 행동할지를 잘 예측하지 못한다. 공개된 여섯 개의 정책에서, nuScenes 오픈루프 오차나 NAVSIM 리더보드 상의 순위는 새로운 장소에서 자아 차량(ego) 주행 통로 근처에 보행자가 있는 장면으로는 이어지지 않는다. 우리는 반사실적 점검(counterfactual check-up)을 제안한다: 수백 개의 실제 프레임을 각각 두 가지 방식(보행자 제거, 또는 야간 스타일 섭동에 의한 재조명)으로 편집하고, 모든 편집을 독립적인 검출기로 검증하며, 계획된 궤적의 변화를 점수가 아닌 진단으로 해석한다. 이러한 편집으로부터 두 개의 인과 축(causal axes)을 읽어내고, 이를 기반으로 한 다섯 가지 검사는 하나의 점수가 뒤섞어 놓은 것들을 분리한다: 정책이 얼마나 멀리까지 주행할 계획인지, 보행자를 인지하는 것이 안전성을 확보해주는지, 그 반응이 위험도에 비례해 커지는지, 아무런 요구가 없을 때도 계획이 변하는지, 그리고 무관한 조명 변화가 계획을 얼마나 움직이는지. 246개의 NAVSIM 보행자 인접 장면에서, 보행자가 계획된 경로 위에 있는 셀 중 단 1.9%만이 진정한 회피 반응이었으며, 우리의 오픈루프 프로토콜 하에서 모든 정책에 대해 여유 거리(clearance)의 중앙값 변화는 최대 0.03 m, 계획된 거리의 중앙값 변화는 최대 0.08 m에 불과했다. 좌측통행에서 우측통행으로의 사전등록된(pre-registered) 테스트에서, 노출(exposure) 및 특이성(specificity) 순위, 조명 판정(lighting verdict), 충돌 결과는 전이되었지만, 점수 값과 위험 민감도(hazard-sensitivity) 판정은 전이되지 않았다. 선별 보고서(selection report)로 읽으면, 이 프로파일들은 어떤 정책이 짧게 계획하기 때문에 안전한지, 어떤 정책이 양보 없이도 인간과 비슷한 거리를 확보하는지, 어떤 정책이 아무런 반응이 필요 없는 변화에도 불안정한지를 말해주며, 각 판정에 드는 비용도 알려준다: 대부분은 수십 개의 프레임 내에서 안정되지만, 위험 민감도는 수백 개가 필요하다. 코드와 편집된 프레임은 공개될 예정이다.

arXiv:2609.22398v1eess.IV

심방세동을 위한 LGE-MRI 다기관 양심방 분할: 2D 및 3D 프레임워크

Multicentre Bi-atrial Segmentation from LGE-MRI for Atrial Fibrillation with a 2D and 3D Framework

지연 가돌리늄 강화 MRI(LGE-MRI)에서 양심방 구조를 정확히 윤곽화하는 것은 심방세동(AF)에서의 구조 분석과 향후 섬유화 정량화 워크플로우를 위한 중요한 선행 조건이다. 그러나 얇은 벽을 가진 해부학적 구조, 영상 센터 간 도메인 시프트(domain shift), 기존 방법에 대한 제한된 벤치마킹 때문에 자동 분할은 어렵다. 본 연구는 다기관 LGE-MRI 데이터셋에서 ROI(관심 영역) 지역화, 인코더 설계, 2D/3D 차원, 앙상블 융합이 양심방 벽 및 심방강 분할에 미치는 영향을 평가하기 위한 2단계 분할 프레임워크와 벤치마킹 플랫폼을 제시한다. 이 프레임워크는 ResNeXt 인코더를 갖춘 2D·3D U-Net 변형으로 3D 국소화와 세밀 분할을 통합하고, 컨볼루션, 트란스포머 기반, 상태 공간(state-space) 아키텍처와 비교한다. 세 개의 독립 코호트에 걸친 평가는 타깃 도메인 미세조정 없이 정확도와 교차 도메인 전이를 측정했다. 심방강 분할은 심방 벽 분할보다 센터 간 더 일관되게 전이되었고, 벽 성능은 도메인 시프트, 특히 Kobe 코호트에서 민감하게 유지되었다. 2D, 3D, 앙상블 아키텍처가 센터 간 및 벽과 심방강 사이에서 어떻게 동작하는지 정량화함으로써, 본 연구는 향후 방법론 개발과 임상 검증을 위한 재현 가능한 벤치마크를 제공한다.

arXiv:2609.22323v1cs.CV

ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정

ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning

퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.

arXiv:2609.22284v1cs.CV

말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서

Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection

말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.

arXiv:2609.17068v2cs.CV

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

arXiv:2608.08381v2cs.CV

DoRF++: 강건한 Wi-Fi 센싱을 위한 도플러 래디언스 필드 기반 구면 표현 학습

DoRF++: Spherical Representation Learning over Doppler Radiance Fields for Robust Wi-Fi Sensing

IEEE 802.11bf가 고급 WLAN 센싱 표준화를 추진하는 가운데, 비침해적·무기기·프라이버시 보존형 활동 및 제스처 인식을 위한 Wi-Fi 채널 상태 정보(CSI) 활용에 대한 관심이 빠르게 커지고 있다. 최근 연구는 CSI에서 추출한 도플러 속도 투영이 사람 움직임 속도를 직접 반영하여, 더 강건한 인간 활동 인식(HAR)과 사용자 및 보지 못한 조건에 걸친 일반화를 가능하게 함을 보여 주었다. 그럼에도 실세계 가변성 하에서의 신뢰할 만한 일반화는 Wi-Fi 센싱 도입을 가로막는 핵심 난제로 남아 있다. 이를 해결하기 위해 본 연구는 도플러 래디언스 필드(DoRF)를 기반으로 하며, 컴퓨터 비전(CV)의 신경 래디언스 필드(NeRF) 개념을 Wi-Fi 센싱에 맞게 적용한다. DoRF는 추출된 도플러 속도 투영을 사람 움직임에 대한 희소 가상 카메라 뷰로 취급한다. 이러한 뷰로부터 정규화된 잠재 3차원 모션 디스크립터를 복원하고, 학습된 유효 도플러 방향을 따른 이 디스크립터의 투영이 CSI 관측을 설명한다. 복원된 모션은 단위 구(unit sphere) 위 등각 방향 그리드로 재투영되어 기저 활동의 구면 표현을 만든다. DoRF가 구면 위에 정의된 신호를 생성하므로, 본 논문은 행동 분류를 위해 구면 필드에 quadrature-aware 구면 Transformer를 직접 적용하는 구면 표현 학습 모델 DoRF++를 제안한다. 자체 수집 손 제스처 데이터셋 실험에서 DoRF++는 단일 다중 안테나 수신 액세스 포인트(AP)만 가용한 경우, 특히 어려운 제스처에 대해 교차 사용자 일반화 정확도에서 최신 Wi-Fi 기반 HAR 방법을 눈에 띄게 능가한다.

arXiv:2604.15555v2cs.CV

CXR-LT 2026 챌린지: 다기관 롱테일 및 제로샷 흉부 X-ray 분류

CXR-LT 2026 Challenge: Multi-Center Long-Tailed and Zero Shot Chest X-ray Classification

흉부 X-ray(CXR) 판독은 병리 소견의 롱테일 분포(long-tailed distribution)와 임상 환경의 오픈월드(open-world) 특성으로 인해 어려움을 겪는다. 기존 벤치마크는 흔히 단일 기관의 폐쇄형(closed-set) 클래스에 의존하여, 희귀 질환의 유병률이나 새로운 소견의 출현을 포착하지 못한다. 이를 해결하기 위해 우리는 CXR-LT 챌린지를 제시한다. 첫 번째 대회인 CXR-LT 2023은 롱테일 다중 레이블(multi-label) CXR 분류를 위한 대규모 벤치마크를 구축하고 희귀 질환 인식에서의 주요 과제를 규명했다. CXR-LT 2024는 레이블 공간을 더욱 확장하고, 미확인 소견에 대한 일반화를 연구하기 위한 제로샷(zero-shot) 과제를 도입했다. CXR-LT 2023 및 2024의 성공을 바탕으로, 이 벤치마크의 세 번째 반복(iteration)은 PadChest 및 NIH Chest X-ray 데이터셋에서 가져온 14만 5천 개 이상의 이미지로 구성된 다기관(multi-center) 데이터셋을 도입한다. 또한 CXR-LT 2026의 모든 개발(development) 및 테스트 세트는 영상의학과 전문의(radiologist)가 주석을 달아, 보고서에서 도출된 레이블보다 더 신뢰할 수 있고 임상적으로 근거 있는 평가를 제공한다. 이번 챌린지는 두 가지 핵심 과제를 정의한다: (1) 30개의 기지(known) 클래스에 대한 강건한 다중 레이블 분류, (2) 6개의 미확인(unseen, 분포 외(out-of-distribution)) 희귀 질환 클래스에 대한 오픈월드 일반화. 본 논문은 CXR-LT 2026 챌린지의 개요를 요약한다. 우리는 데이터 수집 및 주석 절차를 설명하고, 참가 팀들이 채택한 해결 전략을 분석하며, 헤드(head) 대 테일(tail) 성능, 캘리브레이션(calibration), 그리고 기관 간(cross-center) 일반화 격차를 평가한다. 우리의 결과는 비전-언어(vision-language) 파운데이션 모델(foundation model)이 분포 내(in-distribution) 성능과 제로샷 성능을 모두 향상시키지만, 다기관 분포 변화(shift) 하에서 희귀 소견을 탐지하는 것은 여전히 어려운 과제임을 보여준다. 본 연구는 현실적인 롱테일 및 오픈월드 임상 조건에서 AI 시스템을 개발하고 평가하기 위한 기반을 제공한다.

arXiv:2504.14280v2cs.CV공식 코드 · Papers with Code

CLIP 기반 도메인 일반화 및 도메인 적응: 종합 서베이

CLIP-Powered Domain Generalization and Domain Adaptation: A Comprehensive Survey

기계학습이 발전함에 따라 도메인 일반화(DG)와 도메인 적응(DA)은 다양한 환경에서 모델 견고성을 높이는 데 핵심이 되었다. Contrastive Language-Image Pretraining(CLIP)은 이러한 과제에서 중심적 역할을 하며, 보지 못한 도메인에서도 모델이 효과적으로 동작하게 하는 강력한 제로샷(zero-shot) 능력을 제공한다. 그러나 CLIP의 영향력이 커지고 있음에도 DG와 DA에서의 CLIP 응용을 체계적으로 검토한 종합 서베이는 없어, 본 리뷰의 필요성이 부각된다. 본 서베이는 CLIP 기반 DG와 DA에 대한 통합적이고 심층적인 개관을 제공한다. 방법을 검토하기에 앞서, 소스 접근성(SA vs. SF), 소스 수(SS vs. MS), 레이블 관계(CS, PS, OS, OPS)를 포괯하는 정밀하고 완전한 시나리오 정의를 수립하여, 이후 모든 분석을 구조화하는 일관된 분류 체계를 형성한다. DG에 대해서는 과제 정렬(task alignment)을 강화하는 프롬프트 최적화 기법과, 이전 가능한 특징 추출을 위해 CLIP을 백본(backbone)으로 활용하는 아키텍처로 방법을 분류한다. DA에 대해서는 레이블이 있는 소스 데이터에 의존하는 소스 이용(source-available) 접근과, 주로 타깃 도메인 샘플에서 동작하는 소스 프리(source-free) 접근을 모두 검토하며, 이질적 설정 간 적응을 가능하게 하는 지식 전이(knowledge transfer) 메커니즘을 강조한다. 또한 DG와 DA 모두에 대해 통합된 동향 분석을 제공하여, 전반적 패턴, 방법론적 원칙, 시나리오 의존적 행동을 드러낸다. 이어 현실적 배포 시나리오, LLM 지식 통합, 멀티모달 융합, 해석 가능성(interpretability), 파국적 망각(catastrophic forgetting) 등 핵심 과제를 논의하고, 확장 가능하고 신뢰할 수 있는 CLIP 기반 DG·DA 시스템 개발을 위한 향후 방향을 개괄한다. 본 서베이는 실제 시나리오에서 CLIP 기반 도메인 견고성을 발전시키기 위한 실행 가능한 통찰을 제공한다.

arXiv:2603.01250v4cs.CV

MAMA-MIA 챌린지: 유방 MRI 종양 분할 및 치료 반응 예측에서 일반화 성능과 공정성 향상

The MAMA-MIA Challenge: Advancing Generalizability and Fairness in Breast MRI Tumor Segmentation and Treatment Response Prediction

유방암은 전 세계 여성에게 가장 흔하게 진단되는 악성 종양이며, 암 관련 사망의 주요 원인입니다. 동적 조영 증강 자기 공명 영상(dynamic contrast-enhanced MRI)은 종양 특성화 및 치료 모니터링에서 중추적인 역할을 하며, 특히 신보조 화학요법을 받는 환자에게서 그러합니다. 그러나 기존 유방 자기 공명 영상(MRI)용 인공지능 모델은 일반적으로 이질적인 데이터셋, 연구 대상군, 평가 프로토콜을 사용하여 개발 및 평가되므로, 직접적인 비교가 어렵고 기관 간 및 임상적으로 관련 있는 환자 하위 그룹 간 모델의 강건성(robustness)에 대한 이해가 제한됩니다. MAMA-MIA 챌린지는 치료 전 MRI만을 사용하여 원발 종양 분할(segmentation)과 병리학적 완전 반응(pathologic complete response) 예측을 함께 평가할 수 있는 표준화된 벤치마크를 제공함으로써 이러한 문제를 해결하기 위해 설계되었습니다. 학습 코호트는 미국 내 여러 기관의 환자 1,506명으로 구성되었으며, 평가는 대륙 간 및 기관 간 일반화 성능을 살펴보기 위해 3개의 독립적인 유럽 센터에서 온 환자 574명으로 구성된 외부 테스트 세트에서 수행되었습니다. 통합 점수 프레임워크는 예측 성능과 연령, 폐경 상태, 유방 밀도에 걸친 하위 그룹 일관성을 결합했습니다. 26개 국제 팀이 최종 평가 단계에 참여했습니다. 결과는 공통의 외부 평가 프레임워크 하에서 성능 변동이 상당함을 보여주며, 전체 정확도와 하위 그룹 공정성 사이의 상충 관계를 드러냅니다. 이 챌린지는 유방암 영상을 위한 강건하고 공평한 인공지능 시스템의 개발을 촉진하기 위해 표준화된 데이터셋, 평가 프로토콜, 공개 자원을 제공합니다.

arXiv:2607.10358v3cs.CV

도메인 시프트 하에서 유방촬영술을 위한 기반 모델의 강건성 벤치마킹

Benchmarking the Robustness of Foundation Models for Mammography under Domain Shift

기반 모델(foundation model)은 유방촬영술의 이미지 특징 추출기로 점점 더 많이 활용되고 있으나, 외부 도메인 시프트 하에서의 강건성은 아직 불분명하다. 우리는 통합된 고정 백본 선형 프로브(linear-probe) 프로토콜을 사용하여 유방 밀도, BI-RADS 중증도, 암 여부 과제에 걸쳐 15개의 기반 모델 백본을 벤치마킹하였으며, 3개의 소스 데이터셋에서 학습하고 레이블 조화(label harmonization) 후 12개의 과제 호환 분포 외(OOD) 데이터셋에서 평가하였다. 유방촬영술 특화 비전-언어 모델(Mammo-FM 및 MaMA)이 가장 높은 평균 OOD 성능을 제공하지만, 강건성은 유방촬영술 노출만으로 설명되지 않는다. DINOv3는 경쟁력 있는 비전 전용 기준선으로 남아 있으며, 유방촬영술 적응형 사전학습이 일반화를 일관되게 향상시키지는 않는다. 데이터셋 수준의 분석은 선도적인 모델조차 데이터셋 전반에서 이질적인 성능을 보임을 추가로 보여준다. 특징 공간 분석은 유용한 표현이 데이터셋 및 획득 구조를 유지하면서도 임상 신호를 보존할 수 있음을 보여준다. 이러한 발견들은 데이터셋 수준의 OOD 평가를 유방촬영술 표현 평가의 핵심 기준으로 강조한다. 코드는 공개되어 있다: https://github.com/biomedia-mira/mammo-ood.

arXiv:2607.00369v2cs.CV

SFDATrack: 악천후 환경에서의 일반화된 소스 프리 도메인 적응 추적

SFDATrack: Generalized Source-Free Domain Adaptive Tracking Under Adverse Weather Conditions

소스 데이터 없이 타겟 도메인의 악천후 샘플만으로 시각 객체 추적 모델을 적응시키는 SFDATrack을 제안하며, Dual Interactive Mamba(DIM) 모듈로 날씨 변화에 강인한 토큰을 증류하고 초구면 프로토타입 투영(HPP) 모듈로 다중 도메인 적응을 달성한다. 다양한 벤치마크 실험에서 기존 최신 방법들 대비 우수한 성능을 입증하였으며, 소스 프리 도메인 적응을 시각 객체 추적에 최초로 적용한 연구이다.

arXiv:2607.04029v2cs.CL

CrossHallu: 대규모 언어 모델의 내부 표현에서 환각 신호는 언어와 도메인을 넘어 일반화되는가?

CrossHallu: Do Hallucination Signals Generalize Across Languages and Domains in Large Language Model's Internals?

대규모 언어 모델(LLM)에서의 최근 환각 탐지 기법들은 모델의 내부 표현에서 직접 특징을 추출하고 이 특징으로 분류기를 학습시켜 환각을 탐지하는 방식에 집중하며 유망한 결과를 보여주고 있다. 이러한 발전에도 불구하고, 내부 상태 기반 환각 탐지 기법의 대부분은 영어를 중심으로 탐구되어 왔으며, 이러한 내부 신호가 서로 다른 언어와 도메인에 걸쳐 일반화될 수 있는지에 대한 의문이 제기된다. 이 공백을 해소하기 위해 우리는 CrossHallu를 제시한다. 이는 생성적 질의응답 태스크에서 여섯 개의 LLM의 내부 표현을 활용한 환각 탐지의 교차 언어 및 교차 도메인 일반화를 평가하는 최초의 연구이다. 우리는 TruthfulQA, 아랍어로 번역된 TruthfulQA, 그리고 HalluScore를 사용하여 아랍어와 영어 간 체계적인 양방향 평가를 수행한다. 이 평가는 단일 언어 학습 및 테스트, 교차 언어 전이, 교차 도메인 전이, 그리고 교차 언어와 교차 도메인을 결합한 전이를 포함한다. 결과에 따르면, LLM 내부 상태의 환각 신호는 대부분의 모델에서 언어와 도메인에 걸쳐 전이되며, 교차 언어 성능은 특징 공간에서의 클래스 분리 가능성과 언어 정렬 모두에 크게 의존하는 반면, 아랍어 내 교차 도메인 전이는 환각 탐지기에 사용된 학습 및 테스트 데이터셋에 따라 달라진다. 코드는 https://github.com/aishaalansari57/CrossHal 에서 공개적으로 이용 가능하다.

arXiv:2607.20028v2cs.CV

3D 무릎 MRI 분할 및 교차 도메인 일반화를 위한 강도 정규화 방법의 체계적 벤치마크

A Systematic Benchmark of Intensity Normalisation Methods for 3D Knee MRI Segmentation and Cross-Domain Generalisability

의료 영상에서 심층 학습 모델의 임상 배포를 위해서는 즉시 사용 가능한(out-of-the-box) 견고한 성능이 필수적이다. 모델 일반화에 영향을 미치는 중요하지만 충분히 탐구되지 않은 요인 중 하나는 강도 정규화이며, 특히 스캐너와 프로토콜에 따라 영상 강도가 달라지는 자기공명영상(MRI)에서 그렇다. 본 연구에서는 무릎 MRI에서 반월상연골 분할을 위한 3D U-Net 모델의 성능에 미치는 영향을 평가하기 위해 7가지 정규화 방법을 체계적으로 비교했다. 방법에는 표준 스케일링 접근법, 히스토그램 기반 기법, 그리고 가우시안 혼합 모델(GMM) 기반 방법이 포함되었다. 모델은 IWOAI 2019 데이터셋에서 학습되었고, 내부 및 외부 테스트 세트(SKM-TEA)에서 평가하여 일반화 성능을 측정했다. 내부에서는 성능이 유사했으나 외부 데이터에서는 차이가 유의미했으며, Z-score, Nyúl 히스토그램 매칭, CLAHE가 다른 방법보다 더 큰 견고성을 보였다. 그러나 이러한 차이는 데이터셋 간에 관찰된 유의미한 성능 저하에 비해 작았다. 전반적으로 강도 정규화는 모델 일반화에 측정 가능한 영향을 미쳤지만, 도메인 이동(domain shift)의 영향에 비해 그 영향은 제한적이었으며, 이는 견고한 배포를 위한 보완적 전략의 필요성을 강조한다.

arXiv:2607.11623v3cs.CV

엔드 투 엔드 실세계 이미지 안개 제거를 위한 백본 불변 확률적 섭동 학습

Backbone-Agnostic Stochastic Perturbation Learning for End-to-End Real-World Image Dehazing

실세계 페어드(paired) 이미지 안개 제거는 안개 열화가 공간적으로 비균일하고 조명에 의존적이며, 안개 없는 참조가 있더라도 물리적으로 모호하기 때문에 여전히 어려운 과제로 남아 있다. 기존 엔드 투 엔드 복원 네트워크는 일반적으로 흐릿한 관측에서 깨끗한 목표로의 결정론적 매핑을 학습하지, 열화 민감 특징 응답, 역방향 안개 형성 일관성, 교차-도메인 부정 구조는 충분히 활용되지 못한다. 본 논문에서는 엔드 투 엔드 실세계 이미지 안개 제거를 위한 플러그 앤 플레이(plug-and-play) 프레임워크인 Backbone-Agnostic Stochastic Perturbation Learning(BSPL)을 제안한다. BSPL은 먼저 입력 조건(channel-wise) 채널별 및 공간(spatial-wise)별 섭동 분포를 학습하고, 그에 따른 특징 응답 불일치를 적응형 변조 가중치로 변환하는 Learnable Stochastic Perturbation Modulator(LSPM)를 도입한다. 다음으로 학습된 병목(bottleneck) 섭동을 투과율(transmission) 및 대기광(atmospheric-light) 사전 정보(prior)와 함께 재사용하여 복원 결과로부터 흐릿한 관측을 재구성하고 열화 일관성을 강제하는 Prior-informed Perturbation-guided Reconstruction Module(PPRM)을 개발한다. 또한 실세계 및 합성(synthetic) 부정 샘플로 깨끗한 복원 공간과 흐릿한 재구성 공간을 모두 정규화하기 위해 Dual-space Domain-diversified Distribution-aware Contrastive Loss($D^3$CL) 손실을 제안한다. 5개의 실세계 페어드 벤치마크에서의 실험은 BSPL이 추론(inference) 오버헤드를 최소한으로 추가하면서 여러 대표적 백본을 일관되게 향상시킴을 보여 준다.

arXiv:2607.23994v2cs.CV

적외선 소형 표적 탐지에서 유효 수용 영역 순서의 중요성

Effective Receptive Field Ordering Matters for Infrared Small Target Detection

본 연구에서는 적외선 소형 표적 탐지를 위한 이전에 탐구되지 않은 아키텍처 차원인, 특징 정제 과정에서의 유효 수용 영역(ERF) 조직화를 조사한다. 개별 특징 연산자를 개선하는 데 주로 초점을 맞춘 기존 접근법과 달리, 우리는 ERF 조직화가 수용 영역 설계 자체와는 독립적인 아키텍처 차원을 구성한다고 주장하며, 깊은 특징 변환을 점진적 잔차 보정 과정으로 공식화하고, 이로부터 ERF 스케줄링을 위한 이론적 프레임워크를 수립한다. 구체적으로, ERF 정제는 두 가지 근본적 특성에 의해 지배됨을 밝힌다: 서로 다른 ERF 스케일을 각기 다른 잔차 주파수 특성과 정렬하는 스케일-주파수 대응(scale-frequency correspondence), 그리고 서로 다른 ERF 순서가 근본적으로 다른 정제 궤적을 만들어내는 비선형 비가환성(nonlinear non-commutativity). 이 두 특성은 ERF 스케일만이 아니라 ERF 조직화가 정제 역학을 지배함을 보여준다. 이러한 원칙에 따라, 표준 $3\times3$ 컨볼루션만을 사용하여 multigrid에서 영감을 받은 V-cycle 전략을 통해 계층적 ERF 스케줄링을 구현하는 Receptive Field Ordering Network(RFONet)를 제안한다. RFONet은 단 1.16M개의 파라미터와 157 FPS 이상의 추론 속도로 여러 벤치마크에서 최첨단 성능을 달성한다. 실증적 성능을 넘어, 우리의 이론적 분석은 교란, 주파수 이동, 부분 가림 하에서 안정적인 잔차 정제에 대한 이론적 보장을 제공하며, 이는 우수한 노이즈 견고성과 교차 데이터셋 일반화에 일관되게 반영된다. 마지막으로, 우리의 프레임워크는 ERF 조직화를 과제 의존적 최적화 목표로 재공식화하여, 향후 적응형 수용 영역 스케줄링을 위한 원칙적 기반을 제공한다.

arXiv:2605.16427v3cs.CV

EAGT: 일반화와 전이성을 위한 심초음파 데이터 증강

EAGT: Echocardiography Augmentation for Generalisability and Transferability

심초음파 분할을 위한 심층 학습 모델은 기관, 스캐너, 환자 집단 간 일반화에 자주 어려움을 겪으며, 대규모의 일관되게 주석이 달린 데이터셋을 수집하는 것은 불가능한 경우가 많다. 데이터 증강은 저렴하고 심층 학습 모델의 견고성을 향상시키는 데 널리 사용되지만, 심초음파에서 데이터셋 간 일반화를 향상시키는 데 있어 그 역할은 여전히 충분히 이해되지 않았다. 본 연구는 Unity, CAMUS, EchoNet Dynamic 데이터셋으로 학습된 U-Net을 사용한 2D 좌심실 분할에 대해 29가지 데이터 증강 기법과 그 쌍별 조합을 대규모 다중 데이터셋 평가로 제시한다. 각 증강은 여러 하이퍼파라미터 설정 하에서 탐색되었으며, 도메인 내 및 교차 데이터셋 시나리오 모두에서 Dice와 IoU를 사용한 반복 실행을 통해 평가되었고, 통계적 유의성은 독립 표본 t-검정을 통해 정량화되었다. 도메인 내 정확도는 거의 포화 상태였고 증강에 민감하지 않았으나, 교차 데이터셋 성능은 크게 달랐다. 아핀 변환, shift-scale-rotate, 뒤집기, 원근 변환을 포함한 기하학 기반 증강이 가장 크고 일관된 향상을 보였고, 공격적인 강도 및 아티팩트 기반 변환은 종종 전이를 저하시켰다. 또한 쌍별 조합은 주로 두 변환이 상보적일 때 개별 증강보다 우수한 성능을 보였으며, 특히 어려운 도메인 이동 사례 중 일부를 낮은 수준에서 허용 가능한 수준으로 개선했다. 이러한 결과는 심초음파 분할 모델의 견고성과 전이성을 향상시키는 증강 정책 설계를 위한 실증적 지침을 제공한다.

arXiv:2607.22794v1cs.LG

우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습

Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training

심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.

arXiv:2607.22770v1cs.LG

협력적 메타 지식 강화를 통한 치매 원인 진단

Dementia Etiology Diagnosis via Collaborative Meta Knowledge Enhancement

인공지능(AI)은 여러 의료 과제에서 유망한 성능을 보여왔지만, 질환 간 복잡하게 겹치는 증상으로 인해 AI를 이용한 정확한 치매 원인 진단은 여전히 어려운 과제로 남아 있다. 센터 간 샘플을 결합하여 데이터셋 크기를 확대하면 성능 향상을 기대할 수 있지만, 센터나 인구 집단 간 고유한 데이터 이질성은 이를 저해하는 갈등을 유발한다. 기존 다중 과제 학습(multi-task learning) 패러다임은 유망한 틀을 제공하지만, 이질성에 대응하기 위한 핵심 메타 정보(예: 사이트별 촬영 방식, 모달리티 가용성)를 고려하지 못한다. 이 문제를 해결하기 위해, 우리는 치매 원인 진단을 위한 협력적 메타 지식 강화(Collaborative Meta Knowledge Enhancement, COME) 프레임워크를 제안한다. 이 프레임워크는 다중 센터 촬영 의미, 출처 식별자, 모달리티 지표를 이질성 인식 임베딩(heterogeneity-aware embedding)으로 통합 트랜스포머 아키텍처에 주입하여 확장 학습(scale-up training)을 수행하고, 이질성의 명시적 모델링을 가능하게 한다. 또한 참조 모델을 통해 학습 중 모델이 허위 상관(spurious correlation)에 빠지지 않도록 정규화하기 위해 신뢰 영역 제약 최적화(trust-region constrained optimization) 방식을 설계하였다. 7개의 독립 코호트 전반에서 우리 방법은 도메인 내(in-domain) 최첨단 성능을 달성하며, 평균 매크로 평균 AUC 85.62%와 최강 기준선 대비 4.29%p 향상을 기록하면서, 센터 간 및 시퀀스 간 평가 모두에서 우수한 도메인 외(out-of-domain) 일반화를 유지한다. 광범위한 검증 또한 모델 예측과 확립된 바이오마커(아밀로이드, 타우) 및 임상 중증도 간의 정렬(alignment)을 확인하여, COME이 실제 환경에서 견고하고 해석 가능한 치매 진단을 가능하게 할 잠재력을 보여준다.

arXiv:2607.24688v1cs.DB

스케일과 생성을 넘어: 언어 모델 기반 엔티티 매칭 이해

Beyond Scale and Generation: Understanding Language Model-based Entity Matching

엔티티 매칭은 동일한 실세계 엔티티를 가리키는 레코드를 식별하는 작업이다. 언어 모델은 bi-encoder, cross-encoder, generative matcher 아키텍처를 통해 이 작업에 적용할 수 있다. 그러나 선행 연구들은 종종 매처 아키텍처와 모델 백본, 모델 변형(서로 다른 사전학습 목표를 반영), 모델 크기의 차이를 혼동하여 성능 향상의 원인을 분리하기 어렵게 한다. 우리는 Qwen3 패밀리의 세 가지 매처 아키텍처, 세 가지 모델 변형, 세 가지 모델 크기, 그리고 아홉 개의 데이터셋에 걸친 통제된 요인 실험을 통해 이 문제를 해결하며, 총 1,215회의 미세조정 실행을 수행한다. 또한 데이터셋 간 전이 가능성과 계산 비용을 평가한다. 결과는 bi-encoder에서 모델 변형이 핵심적임을 보여준다: 임베딩 지향 변형은 더 강한 초기화와 하위 매칭 성능을 예측하는 더 유리한 표현 기하학을 제공한다. cross-encoder는 각 레코드를 독립적으로 표현하는 대신 레코드 쌍을 공동으로 인코딩하기 때문에 bi-encoder 대비 일관된 이점을 유지하며, 더 큰 모델이 이 격차를 부분적으로 줄이기는 한다. generative matcher는 보편적으로 cross-encoder를 능가하지 않는다. 대신 그들의 이점은 레코드 스키마의 미묘한 미관측 차이와 데이터셋 간 전이를 포함한 분포 이동(distribution shift) 하에서 집중된다. 우리는 더 큰 모델이 단축 학습(shortcut learning)에 더 크게 의존하므로 반드시 더 나은 성능을 내지는 않는다는 점도 추가로 밝힌다. 이러한 발견은 매처 아키텍처 간 성능 차이를 뒷받침하는 요인을 명확히 하고, 분포 이동과 데이터셋 간 전이 가능성을 명시적으로 평가하면서 아키텍처 선택과 모델 수준 요인을 더 잘 분리하는 미래 연구 및 벤치마크 설계를 촉진한다. 우리는 실험 결과, 코드, 학습 스크립트, 평가 데이터를 https://github.com/Jantory/llm-trained-matcher 에서 공개한다.