PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21736v1cs.CV

단일 도메인 일반화를 위한 적대적 도메인 프롬프트 튜닝 및 생성

Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization

단일 도메인 일반화(SDG)는 학습에 단 하나의 도메인만 사용할 수 있는 상황에서도, 보지 못한 다양한 도메인에서 잘 작동하는 견고한 모델을 학습하는 것을 목표로 한다. 단일 도메인 일반화를 달성하기 위한 유망한 방향 중 하나는 데이터 증강 또는 이미지 생성을 통해 도메인 외(OOD) 학습 데이터를 생성하는 것이다. AI 생성 콘텐츠(AIGC)의 급격한 발전에 따라, 본 논문은 강력한 사전학습된 텍스트-이미지(T2I) 기반 모델을 활용하여 학습 데이터를 생성하는 방법을 최초로 제안한다. 그러나 가능한 모든 도메인에 대해 이미지를 생성하기 위해 텍스트 프롬프트를 수동으로 설계하는 것은 종종 비현실적이며, 일부 도메인 특성은 언어로 설명하기에는 너무 추상적일 수 있다. 이러한 과제를 해결하기 위해, 본 연구는 사전학습된 확산 모델을 위한 새로운 점진적 적대적 프롬프트 튜닝(Progressive Adversarial Prompt Tuning, PAPT) 프레임워크를 제안한다. 정적인 텍스트 도메인에 의존하는 대신, 본 접근법은 확산 모델의 조건으로 두 세트의 추상 프롬프트를 학습한다: 하나는 도메인 불변 범주(category) 정보를 포착하고, 다른 하나는 도메인 특유의 스타일을 모델링한다. 이 적대적 학습 메커니즘은 T2I 모델이 핵심 범주적 특징을 보존하면서 다양한 도메인 스타일의 이미지를 생성할 수 있게 한다. 광범위한 실험을 통해 제안 방법의 효과를 입증하였으며, 최신 단일 도메인 일반화 접근법들보다 우수한 성능을 달성하였다.

arXiv:2606.21108v1cs.CV

SARIF: 강건한 이미지 포렌식을 위한 Segment Anything

SARIF: Segment Anything for Robust Image Forensics

이미지 위조 영역定位은 다양한 조작 기법과 분포 변화(distribution shift)로 인해 여전히 어려운 과제이다. 기존 위조 영역定位 모델들은 벤치마크에서 높은 정확도를 달성하지만, 교차 도메인 일반화(cross-domain generalization)와 강건성(robustness)에서는 종종 어려움을 겪는다. 본 논문에서는 SARIF(Segment Anything for Robust Image Forensics)를 제안한다. 이는 프롬프트 가능한 아키텍처와 강한 일반화 능력을 갖춘 Segment Anything Model(SAM)을 활용하는 프레임워크이다. SARIF는 SAM 아키텍처를 활용하면서 포렌식 흔적을 포착하기 위해 위조 특화 정보를 추출하는 피드백 유도(feedback-guided) 마스크 디코더와 이중 인코더(dual-encoder) 설계를 도입한다. 조작된 영역을定位하기 위해, 적응(adapted) 인코더와 동결(frozen)된 대응 인코더 간 잔차 특징(residual features)으로부터 위조 특화 단서를 도출하는 블록 단위(block-wise) 프롬프트 메커니즘을 설계한다. 이러한 특징은 이전 마스크 프롬프트와 융합되어 피드백 기반 마스크 정제 과정을 구동하며, 수동 입력 없이 자동 위조 분할(forgery segmentation)을 가능하게 한다. 표준 위조 영역定位 벤치마크에 대한 광범위한 실험 결과, SARIF는 강한 평균 교차 데이터셋 성능과 일반적인 이미지 손상(image corruption)에 대한 강건성을 달성함을 보여준다.

arXiv:2606.20980v1cs.CV

Robusto-2: 리마와 뉴욕시 자율주행을 위한 인간 및 VLM 벤치마킹

Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City

자율주행차가 국제적으로 확대되면서 VLM과 같은 멀티모달 시스템을 Action model의 인지적 백본으로 사용하고 있는 가운데, 이러한 시스템은 새로운 환경, 특히 새로운 지역에서의 분포 밖(out-of-distribution, OOD) 엣지 케이스(edge-case) 시나리오에서 얼마나 잘 일반화될 것인가? 본 논문에서는 리마의 운전자, 뉴욕시 출신 운전자, VLM에 리마와 뉴욕시에서 수집한 대시캠 영상을 보여주고 시각적 질의응답(Visual Question Answering, VQA) 패러다임 하에 다양한 질문을 제시하는 전 요인 분석(full factorial analysis)을 수행하여 이 열린 질문을 연구한다. 특히, 현재 어느 자율주행차 기업도 운영하지 않는 매우 도전적인 운전 지역이기 때문에 이 두 도시를 선택했으며, 사실(Factual), 평가(Ratings), 반사실(Counterfactual), 추론(Reasoning) 4개 범주에 걸친 질문을 제시한다. 인간과 VLM은 응답에서 차이를 보이지만, 이는 질문 유형에 의해 조절되며, 인간은 출신지(리마/뉴욕시)와 무관하게 유사하게 응답한다는 것을 발견했다. 놀랍게도, (인간이든 VLM이든) 지리에 의해 조절되는 응답의 강한 차이는 발견하지 못했으며, 이는 높은 분포 밖 특성 때문일 가능성이 있다. 데이터셋은 다음에서 이용 가능하다: https://huggingface.co/datasets/Artificio/robusto-2

arXiv:2606.20909v1cs.CV

BELDE: 유럽 대규모 지구관측 토지피복 데이터셋 구축

BELDE: Building a Large-scale Earth-observation Land-cover Dataset for Europe

지구관측 영상은 환경 모니터링, 도시 계획, 재난 평가, 기후 분석에서 중요한 역할을 한다. 다중분광 센서가 점점 더 보급되고 있지만, 많은 위성 및 항공 플랫폼의 전력, 비용, 배치 제약으로 인해 true-color(RGB) 영상은 여전히 널리 사용된다. 그러나 기존 토지피복 분할(segmentation) 데이터셋은 지리적 범위, 규모, 또는 공개 접근성 면에서 종종 제한적이다. 이 격차를 메우기 위해, RGB 기반 원격탐사 의미론적 분할(semantic segmentation)에 맞춘 공개 데이터셋인 BELDE(Building a Large-scale Earth-observation Land-cover Dataset for Europe)를 소개한다. Sentinel-2 true-color 영상과 ESA WorldCover 데이터 주석으로 구성된 BELDE는 유럽 전역에 걸쳐 10m 공간 해상도로 7개 토지피복 클래스를 포함하는 1,088,385개의 엄선된 영상-분할 맵 쌍을 포함하며, 이는 공개적으로 이용 가능한 지구관측 RGB 토지피복 분할 데이터셋 중 가장 큰 규모 중 하나이다. 지역 간 일반화(cross-region generalization) 연구를 지원하기 위해, 대한민국을 포함하는 BELDE-K(16,607쌍)와 미국 캘리포니아 및 네바다를 포함하는 BELDE-CA-NV(88,155쌍)를 추가로 소개한다. 여러 의미론적 분할 아키텍처를 사용하여 기준선 결과를 수립하고, 도메인 내(in-domain) 및 교차 도메인(cross-domain) 성능을 모두 평가한다. BELDE로 학습된 모델은 유럽 테스트 세트에서 F1 점수 83.0%를 달성하는 반면, BELDE-CA-NV에서는 66.4%, BELDE-K에서는 58.3%로 성능이 감소하여, 분포 외(out-of-distribution) 지리적 도메인 이동(domain shift)이 제기하는 도전 과제를 부각한다. 대륙 규모의 RGB 분할 및 평가 벤치마크를 제공함으로써, BELDE는 견고하고 전이 가능한(transferable) 지구관측 모델의 개발을 지원한다. 데이터셋 및 벤치마크 자원은 공개적으로 배포될 예정이다.

arXiv:2606.20734v1cs.CV

Task Arithmetic을 통한 개방 어휘 행동 인식의 견고한 제로샷 일반화

Robust Zero-Shot Generalization for Open-Vocabulary Action Recognition via Task Arithmetic

개방 어휘 행동 인식(Open Vocabulary Action Recognition, OVAR)은 비전-언어(vision-language) 표현을 활용하여 새로운 행동을 인식할 수 있게 하며, 기존 폐쇄 집합(closed-set) 접근법의 한계를 극복한다. 그러나 실제 환경에서 견고한 성능을 달성하려면 일반적으로 도메인 특화 미세조정(fine-tuning)이 필요하며, 이는 종종 비용이 크고 개인정보 및 규제 측면의 우려를 야기한다. 본 연구에서는 대상 도메인 학습(training)을 우회하고 기존 데이터셋(dataset)과 모델(model)의 지식을 재결합하는 대안적 패러다임을 제안한다. 모델 병합(model merging)과 태스크 산술(task arithmetic)을 활용하여, 다양한 공개 OVAR 데이터셋에서 미세조정된 모델로부터 태스크 벡터(task vector)를 추출하고 결합한다. 분포 외(out-of-distribution) 설정에서, 결과적으로 병합된 모델이 사전학습(pre-trained) 베이스 모델보다 우수한 제로샷 일반화를 달성함을 보인다. 코드는 https://github.com/omaymaMoussadek/robust-ovar 에서 제공된다.

arXiv:2606.20725v1cs.CV

D2HDMap: 온라인 벡터화 HD 맵 예측을 위한 비가시 드라이브라인 맵 프라이어

D2HDMap: Non-visible Driveline Map Prior for Online Vectorized HD Map Prediction

정확하고 최신의 도로 구조 표현은 자율주행 차량의 안전한 운행에 매우 중요하다. 기존 시스템은 비용이 많이 들고 유지보수 부담이 큰 고해상도(HD) 맵에 의존하여 정보가 낙후될 때 안전성이 저하되거나, 순수 센서 기반 온라인 맵핑에 의존하여 장거리 신뢰성과 가림(occlusion) 문제에 어려움을 겪는다. 온라인 맵핑에 맵 프라이어 정보를 통합하는 시스템은 두 접근법을 일정한 방식으로 결합하여 각각의 단점을 극복하고자 한다. 우리는 'Driveline To HD Map'(D2HDMap)을 제안한다. 이는 차선 구분선, 도로 경계, 횡단보도 등 가시적인 도로 구조의 추정을 유도하기 위해 경량의 비가시 드라이브라인 프라이어를 주입하는 온라인 맵핑 시스템이다. 이 프라이어는 다른 접근법에서 사용되는 전체 HD 맵 프라이어에 비해 생성 및 갱신에 필요한 노력이 적다. 또한 이러한 프라이어로 학습하면 프라이어가 없을 때 추론 시 일반화가 개선될 수 있음을 보여준다. nuScenes 및 Argoverse 2 데이터셋에서 수행한 절제 실험(ablation study)은 드라이브라인 프라이어로 학습한 모델이 프라이어가 없을 때도 대부분의 성능을 유지함을 보여준다. 지리적으로 분리된 분할에서 D2HDMap은 44.8 mAP를 달성하여 최근 state-of-the-art를 능가한다. 또한 노이즈 인식 학습은 현실적인 위치 추정 오차에 대한 강건성을 크게 향상시킨다.

arXiv:2606.19998v1cs.RO

Tri-Info: 정보 이론을 통한 VLA 모델을 위한 일반화 가능하고 해석 가능한 실패 예측

Tri-Info: Generalizable, Interpretable Failure Prediction for VLA Models via Information Theory

비전-언어-행동(VLA) 모델은 다양한 작업에 걸쳐 점점 더 배포되고 있으나, 여전히 블랙박스로 남아 있으며 물리적 상호작용은 되돌릴 수 없는 손상을 초래할 수 있어, 일반화 가능하고 해석 가능한 실패 탐지가 필수적입니다. 우리는 성공적인 롤아웃과 실패한 롤아웃이 체계적으로 다른 정보이론적 특징을 지님을 관찰했습니다. 이를 바탕으로 VLA 제어를 폐루프 정보 파이프라인으로 공식화하고, 행동이 다양성을 유지하는지, 시간적으로 일관적인지, 그리고 상태 전이(state transitions)와 결합되어 있는지를 포착하는 삼중 정보이론적(Tri-Info) 신호를 도출했습니다. 6개의 VLA 모델과 3개의 벤치마크 환경에서 Tri-Info는 동일 도메인(in-domain) 내에서 가장 강력한 베이스라인과 대등한 성능을 보였습니다. 더욱이, Tri-Info는 재학습 없이 아키텍처, 환경, 시뮬레이션-실제(sim-to-real) 격차에 걸쳐 전이되며, 이전 탐지기들이 무작위 수준(chance)으로 추락하는 실제 세계(real-world) 작업에서 83%의 정확도에 도달했습니다. 이는 Tri-Info가 강력한 교차 도메인 일반화(cross-domain generalization)로 실패를 탐지할 뿐만 아니라, 근본적인 실패 모드에 대한 해석 가능한 진단을 제공하는 간단하면서도 강력한 방법임을 입증합니다.

arXiv:2606.19603v1cs.LG

마할라노비스 코사인 유사도를 이용한 선형 프로브 비교

Comparing Linear Probes with Mahalanobis Cosine Similarity

선형 프로브(linear probe)는 해석 가능성(interpretability) 연구에서 널리 사용되며, 종종 코사인 유사도로 비교됩니다. 두 방향 사이의 마할라노비스 코사인 유사도(MCS)는 테스트 데이터 공분산으로 내적을 재가중치하는 것으로, 자연스러운 태스크 인식(task-aware) 개선 방법입니다. Ying et al. (2026)은 분포 외(OOD) 데이터로 학습된 참조 프로브(reference probe)에 대한 프로브의 MCS가 해당 프로브의 OOD AUROC을 거의 완벽하게 선형으로 예측한다고 보고했습니다 (R^2 = 0.98). 본 연구에서는 이러한 경험적 발견을 모델, 레이어, 개념 도메인 전반으로 확장하고, 이 일반적인 현상을 닫힌 형식(closed form)으로 증명합니다. 투영이 가우시안(Gaussian)인 균형 잡힌 클래스의 경우, OOD AUROC과 참조 프로브에 대한 MCS는 둘 다 테스트 데이터에 대한 프로브의 신호 대 잡음비(SNR)의 시그모이드(sigmoid) 형태 함수이기 때문에 선형적입니다. 이 이론은 또한 이 선형성이 언제 실패하는지 예측하며, 우리는 이를 경험적으로 검증합니다. MCS는 선형 프로브를 비교할 때 유클리드 코사인 유사도에 대한 이론적으로 타당하고 경험적으로 효과적인 대안을 제공합니다.

arXiv:2606.05846v2cs.CL

진정한 다국어 ASR을 향하여: 미관측 언어 쌍으로의 코드 스위칭 ASR 일반화

Towards Truly Multilingual ASR: Generalizing Code-Switching ASR to Unseen Language Pairs

자동 음성 인식(ASR)은 인간과 AI 상호작용을 위한 핵심 기술이 되었습니다. 그러나 코드 스위칭 ASR(CS-ASR)은 다양한 언어 쌍에 걸쳐 다국어 CS 음성 리소스가 심각하게 부족하기 때문에 여전히 특히 어려운 과제입니다. 기존 접근 방식은 주로 합성 CS 음성 생성이나 제한된 이중 언어 데이터셋에 대한 언어 쌍 특화 미세조정을 통해 CS-ASR 성능을 향상시킵니다. 그럼에도 불구하고, 이러한 접근 방식은 지원되는 언어의 수에 따라 조합적으로 증가하는 언어 쌍에 대해 CS 지원을 별도로 개발해야 하므로 본질적인 확장성 한계에 직면해 있습니다. 본 연구에서는 모델 병합 및 도메인 일반화 방법을 통해 제한된 수의 관측된 언어 쌍에서 학습된 CS 능력이 미관측 언어 쌍으로 일반화될 수 있는지 조사합니다. 실험 결과, 병합된 이중 언어 CS-ASR 모델이 미관측 언어 쌍으로 다소 일반화되는 것으로 나타났으며, 이는 언어 쌍 간의 이중 언어 CS 능력 전이가 제한적임을 시사합니다.

arXiv:2606.19921v1cs.AI

eCNNTO: 위상 최적화 가속화를 위한 높은 일반화성을 지닌 합성곱 신경망

eCNNTO: A Highly Generalizable ConvNet for Accelerating Topology Optimization

본 연구는 밀도 기반 위상 최적화(Topology Optimization, TO)를 가속화하기 위해 요소 기반 합성곱 신경망(Convolutional Neural Network, CNN)인 eCNNTO를 제안합니다. TO는 일반적으로 다수의 반복(iteration)을 거치며, 각 반복마다 유한 요소 해석이 수행되므로, 특히 고해상도 설계를 위해 조밀한 메쉬를 사용할 경우 효율성 병목이 발생합니다. 이러한 제한을 해결하기 위해 eCNNTO는 Kallioras et al. (2020)을 기반으로 제안되었습니다. 해당 연구에서는 각 요소의 초기 이력으로부터 준최적 밀도를 예측하도록 모든 요소에 대해 심층 신뢰 신경망(Deep Belief Network, DBN)을 학습시켜, 대다수의 반복을 건너뛰고 TO 절차를 획기적으로 가속화했습니다. 그러나 이 방법은 인접 요소 간의 공간적 상관관계가 부족하여 최종 구조에서 분리된 특징이 나타날 수 있습니다. 제안하는 방법은 이 문제를 해결하기 위해 잔차 연결(residual connections)이 포함된 CNN을 활용합니다. 여기에 더해 최적화 효율을 더욱 높이기 위해 새로운 학습 전략이 도입되었으며, 여기서 학습 데이터셋은 초기 이력이 아닌 최종 단계 밀도 이력으로 구성됩니다. 이러한 변화는 필요한 학습 데이터 크기를 줄이는 데에도 도움이 될 수 있습니다. eCNNTO는 학습에 작은 데이터셋만 필요하지만, 경계 조건, 하중 조건, 설계 영역 형상, 메쉬 해상도, 그리고 비설계 영역이 크게 다른 문제들로 일반화될 수 있습니다. 마지막으로, 2차원 및 3차원의 다양한 예제를 통해 eCNNTO의 일반화 능력과 효율성을 입증하였으며, 각각 최대 90%와 97%의 반복 횟수 감소를 달성했습니다.

arXiv:2606.19791v1eess.AS

데이터셋, 연령 및 성별 일반화: 저자원 아동 ASR을 위한 미세조정 전략에 대한 포괄적 분석

Cross-Dataset, Age, and Gender Generalization: A Comprehensive Analysis of Fine-Tuning Strategies for Low-Resource Children's ASR

운동 실조증(dysarthric) 음성 인식과 관련된 문제는 주로 손상된 조음 정밀도(precision)로 인한 두드러진 음향 변동성에서 기인합니다. 과거 연구에서는 하이브리드 DNN/HMM 시퀀스 판별 학습(training)을 사용하여 인식 성능을 향상시키는 것으로 입증되었습니다. 본 논문은 서로 다른 음향 모델(model)에 맞춰진 다양한 음향 특징(feature) 조합에 대한 포괄적인 조사를 제시하며, 각 모델에 적합한 특징 선택을 제안합니다. 피치(Pitch) 특징의 통합은 특히 운동 실조증 음성이 포함된 문장 인식 작업에서 인식 성능을 현저히 향상시켰습니다. TORGO 데이터셋(dataset)에 대한 체계적인 검토를 통해, 우리는 운동 실조증 음성 인식을 위한 최첨단 인자화 시간 지연 신경망(F-TDNN) 모델(model)의 성능을 향상시킬 잠재력을 입증했습니다. F-TDNN 모델로 구현된 우리의 방법은 이전 연구에 비해 운동 실조증 음성의 고립 단어 인식에서 4.65%의 상대적 개선과 문장 인식에서 4.63%의 상대적 개선을 이끌어냈습니다. 이러한 개선은 연속적인 학습 예제 청크 사이의 중첩 프레임 수를 의도적으로 선택한 덕분에 음성 변동성을 효과적으로 보상합니다.

arXiv:2606.19579v1cs.SD

FlowFake: 오디오 딥페이크 탐지를 위한 액체 네트워크

FlowFake: Liquid Networks for Audio Deepfake Detection

신경망 기반 텍스트 음성 변환 및 보이스 클로닝 시스템에 의해 생성된 오디오 딥페이크는 대규모 화자 확인과 공론을 위협합니다. 핵심 과제는 데이터셋 간 일반화입니다. 즉, 하나의 합성 파이프라인에서 학습된 탐지기는 보지 못한 위조 데이터에서 붕괴합니다. 우리는 이러한 실패가 주로 다중 시간 척도 궤적 이상치인 구조적 합성 음성 인공물 때문이라고 주장합니다. 모든 기존 탐지기는 고정 윈도우 프레임 통계를 집계하지만, 이는 아키텍처와 신호 간의 정렬을 어긋나게 합니다. 우리는 FlowFake를 제안합니다. 이는 학습된 상미분 방정식(ODE)을 통해 은닉 상태가 진화하는 Liquid Time-Constant (LTC) 아키텍처로, 뉴런별 적응형 시간 상수를 통해 스펙트럼(10ms) 및 운율(2s) 단서를 동시에 해결합니다. 단 34K 매개변수로 FlowFake는 형식적 BIBO 안정성과 O(dt^4) 적분 오차를 달성합니다. 4개 데이터셋 교차 도메인 벤치마크(ASVspoof2019-LA, FakeOrReal, InTheWild, MLAAD)에서 FlowFake는 FakeOrReal에서만 학습되었을 때 ASVspoof2019에서 75.29%에 도달하고, MLAAD에서만 학습되었을 때 79.97%에 도달합니다. 이는 평가된 모든 쌍에서 RawGAT-ST 및 Whisper-DF를 능가하며, 매개변수 수의 0.01%로 300배 더 큰 SSL Wav2vec2와 대등한 성능을 보입니다. 소스 코드는 다음에서 확인할 수 있습니다: https://github.com/GhostRider2023/FlowFake

arXiv:2606.20303v1cs.CV

GEN-Guard: 배포 가능한 연합 수술 AI의 일반화 실패 교정

GEN-Guard: Correcting Generalization Failures for Deployable Federated Surgical AI

수술 비디오 AI에서의 연합 학습(FL)은 민감한 데이터를 공유하지 않고 협업적 모델 학습을 가능하게 합니다. 그러나 참여 병원의 검증 데이터만을 기반으로 "최상의" 전역 모델을 선택하는 표준 평가 관행은 최적이지 않은 배포 선택으로 이어질 수 있습니다. 우리는 이러한 중요한 실패 모드를 성능 누출(performance leakage)로 식별했으며, 여기서 선택된 모델은 내부 연합 데이터에 과적합되어 보이지 않는 기관에 대해 일반화하지 못합니다. 우리는 연합 수술 AI에서 일반화 실패를 감지하고 교정하는 실용적인 사후(post-hoc) 프레임워크인 GEN-Guard를 제안합니다. 이는 성능 누출을 방지하기 위해 격리된 클라이언트 분포에서 성능을 검증하는 클라이언트 차단 평가(Client-Blocked Evaluation, CBE)를 통한 일반화 감지와, 기관 간 견고성을 위한 적응형 특징(feature) 수준 교정을 학습하는 불일치 인식 증류(Disagreement-Aware Distillation, DAD)를 통한 일반화 교정을 통합합니다. 두 구성 요소는 모두 표준 FL 수렴(convergence) 후에 작동하며, 보이지 않는 환경에 대한 제로샷(zero-shot) 적응을 위한 견고한 지원을 제공합니다. 우리는 먼저 성능 누출의 심각성을 정량화하여, 표준 평가 하에서 모델 선택 실패(Model Selection Failures, MSFs)가 80%를 초과함을 관찰했습니다. GEN-Guard는 복강경 담낭 절제술의 수술 단계 인식과 대장 내시경 검사의 용종 분할이라는 두 가지 다기관 임상 챌린지에서 평가되었습니다. 두 데이터셋 모두에서 GEN-Guard는 이러한 실패를 일관되게 교정하여, 연합 내 F1 점수를 최대 2점, 보이지 않는 기관 성능을 최대 3점, 최악의 기관 성능을 3-9점 향상시켰습니다. 성능 누출은 연합 수술 AI에서 체계적이지만 이전에 간과되었던 위험을 나타냅니다. GEN-Guard는 이러한 실패를 감지하고 교정하는 실용적인 솔루션을 제공합니다. 기관 간 견고성과 제로샷 일반화를 향상시킴으로써, 실제 수술 배포를 위한 FL의 신뢰성을 강화합니다.

arXiv:2606.19966v1cs.CV

도메인 강건한 전체 슬라이드 생존 분석을 위한 시맨틱 앵커 기반 증거 융합

Semantic-Anchored Evidential Fusion for Domain-Robust Whole-Slide Survival Analysis

전체 슬라이드 이미지(WSIs)는 계산적 암 예후에 널리 사용됩니다. 그러나 대부분의 기존 방법은 주로 도메인 내(in-domain) 성능에 초점을 맞추고 있어 임상 센터 간에 일반화하는 데 실패합니다. 이러한 한계는 염색 프로토콜과 스캐너 하드웨어로 인해 발생하는 도메인 특이적 아티팩트(artifacts)에 매우 취약한 픽셀 기반 표현에 의존하기 때문입니다. 우리는 종양 등급 및 미세 환경 구조와 같은 고수준 병리학적 시맨틱(semantic)이 인간 병리학자의 강건한 진단 논리를 반영하는 도메인 불변 시맨틱 표현을 제공한다고 가정합니다. 따라서 우리는 시맨틱 앵커 기반 증거 융합 생존(SAEFS) 프레임워크를 제안합니다. SAEFS는 시각적 질의응답(VQA)을 통해 WSI에서 시맨틱 앵커를 도출하고, 이중 스트림 WSI 증거 추출 아키텍처를 사용하며, 디리클레 기반 주관적 논리를 활용하여 불확실성을 모델링합니다. 또한, 상관 관계가 있는 소스로 인한 과잉 확신 융합을 피하기 위해 신중한 결합 규칙을 통해 시맨틱 및 시각적 증거를 융합합니다. 하나의 소스 도메인에서만 학습되고 4개의 보이지 않는 도메인에서 제로샷(zero-shot)으로 평가된 SAEFS는 예측 정확도와 신뢰성 모두에서 최첨단(SOTA) 모델을 지속적으로 능가하며 평균 C-지수를 10.2% 향상시켰습니다. 정량적 분석을 통해 VQA 기반 시맨틱 특징이 픽셀 기반 특징보다 센터 간 발산이 현저히 낮음을 보여주어, 센터 간 임상 적용에 대한 강건성을 강조합니다.

arXiv:2604.19196v2cs.CV

도메인 일반화 가능한 얼굴 스푸핑 탐지를 위한 비전 파운데이션 모델 벤치마킹

Benchmarking Vision Foundation Models for Domain-Generalizable Face Anti-Spoofing

얼굴 스푸핑 탐지(FAS)는 보이지 않는 환경 간의 강력한 도메인 일반화가 요구되기 때문에 여전히 어려운 문제로 남아 있습니다. 최근의 추세는 시맨틱 감독을 위해 비전-언어 모델(VLMs)을 활용하지만, 이러한 멀티모달 접근 방식은 종종 과도한 계산 자원을 요구하고 높은 추론 지연을 보입니다. 또한, 이들의 효율성은 기본이 되는 비전 특징의 품질에 의해 본질적으로 제한됩니다. 본 논문은 FAS를 위한 매우 효율적이고 강건한 기준선을 확립하기 위해 비전 전용 파운데이션 모델의 잠재력을 재조명합니다. 우리는 MICO 및 제한된 소스 도메인(LSD) 프로토콜을 포함한 심각한 교차 도메인 시나리오 하에서, 지도 학습 CNN, 지도 학습 ViT, 자기 지도 학습 ViT와 같은 15개의 사전학습 모델에 대한 체계적인 벤치마킹을 수행합니다. 포괄적인 분석 결과, 자기 지도 학습 비전 모델, 특히 Registers가 포함된 DINOv2가 어텐션 인공물을 획기적으로 억제하고 중요한 세밀한 스푸핑 단서를 포착하는 것으로 나타났습니다. 얼굴 스푸핑 탐지 데이터 증강(FAS-Aug), 패치 단위 데이터 증강(PDA), 어텐션 가중 패치 손실(APL)과 결합하여, 제안하는 비전 전용 기준선은 MICO 프로토콜에서 최첨단 성능을 달성합니다. 이 기준선은 우수한 계산 효율성을 유지하면서 데이터가 제한된 LSD 프로토콜 하에서 기존 방법들을 능가합니다. 이 연구는 FAS를 위한 확정적인 비전 전용 기준선을 제공하며, 최적화된 자기 지도 학습 비전 트랜스포머가 비전 전용 및 미래의 멀티모달 FAS 시스템 모두의 백본으로 사용될 수 있음을 입증합니다. 프로젝트 페이지는 다음에서 확인할 수 있습니다: https://gsisaoki.github.io/FAS-VFMbenchmark-CVPRW2026/

arXiv:2606.19184v1cs.CV

AUC가 오도할 때: 도메인 이동 하에서 딥페이크 탐지기의 극성 인식 평가

When AUC Misleads: Polarization-Aware Evaluation of Deepfake Detectors under Domain Shift

디퓨전 모델(diffusion model) 및 얼굴 교체 도구와 같은 생성형 AI의 최근 발전은 매우 현실적인 딥페이크 생성을 가능하게 했으며, 이로 인해 금융 사기 및 동의 없는 음란물을 포함한 실제 피해가 발생하고 있습니다. 이에 대응하여 딥페이크 탐지는 활발한 연구 분야가 되었으며, 최근 방법들은 보이지 않는 조작(unseen manipulation)에 대한 일반화(generalization) 개선에 점점 더 집중하고 있습니다. 이는 일반적으로 여러 데이터셋(dataset)에 대해 별도로 측정된 ROC 곡선 아래 면적(AUC)을 사용하여 평가됩니다. 그러나 이러한 평가는 탐지기가 데이터 소스의 혼합과 다양한 인공물(artifact) 유형에 직면하는 실제 시나리오를 반영하지 못합니다. 이러한 제한을 해결하기 위해, 우리는 도메인 이동(domain shift)에 대한 강건성(robustness)을 고려하기 위해 도메인별 AUC를 예측 극성(prediction polarization) 측정치와 함께 평균화하는 새로운 지표인 교차 데이터셋 AUC(Cross-AUC)를 제안합니다. 극성의 정도는 클래스 점수 분포 사이의 와서스테인 거리(Wasserstein Distance)로 정량화됩니다. Cross-AUC는 도메인 이동 하에서 딥페이크 탐지기의 일반화 능력을 더 현실적으로 평가할 뿐만 아니라, 성능 저하의 이유를 더 잘 설명하므로 해석 가능(interpretable)합니다. 7개의 벤치마크 데이터셋(benchmark dataset)에서 수행된 실험이 그 실용적 관련성을 입증합니다.

arXiv:2606.18554v1cs.CV

Forged Calamity: 디퓨전 시대의 크로스 도메인 합성 재난 탐지를 위한 벤치마크

Forged Calamity: Benchmark for Cross-Domain Synthetic Disaster Detection in the Age of Diffusion

텍스트-이미지 디퓨전 모델(text-to-image diffusion models)의 급속한 발전은 실제 사진과 매우 유사한 고도로 사실적인 합성 이미지 생성을 가능하게 하여, 진본 콘텐츠와 AI 생성 위조물을 구별하는 것을 점점 더 어렵게 만들고 있습니다. 이는 홍수, 화재, 지진 등의 가짜 이미지가 오정보를 확산시키거나 긴급 작전을 방해할 수 있는 사이버 보안, 디지털 포렌식, 재난 대응 분야에 과제를 제기합니다. 이를 해결하기 위해 우리는 30,000장의 이미지를 포함하는 합성 재난 탐지를 위한 벤치마크 데이터셋인 Forged Calamity를 소개합니다. 이 데이터셋은 6,000장의 실제 이미지와 4개의 디퓨전 모델(diffusion models)이 생성한 24,000장의 합성 샘플로 구성됩니다. 파인튜닝(fine-tuned) 및 제로샷(zero-shot) 설정에 걸친 포괄적인 실험을 통해 현재 포렌식 방법의 일관된 약점을 확인했습니다. 파인튜닝된 탐지기는 분포 내(in-distribution)에서는 우수한 성능을 보이지만, 보이지 않는 생성기나 재난 유형에 대해서는 정확도가 최대 50%까지 감소하여 모델 특정 인공물(artifacts)에 과적합(overfitting)됨을 보여줍니다. 제로샷 일반화 탐지기 또한 안정적인 정확도를 유지하는 데 어려움을 겪으며, 소수의 표현 강건 모델에서만 제한된 회복탄력성을 보입니다. 이러한 발견은 지속적인 일반화 격차(generalization gaps)와 디퓨전 시대의 시각적 진본성을 보장하기 위한 도메인 및 모델 독립적인(domain- and model-agnostic) 탐지 방법의 시급한 필요성을 강조합니다.

arXiv:2606.18510v1cs.CV

얼굴 프레젠테이션 공격 탐지에서의 아키텍처 바이어스: 비전 트랜스포머와 합성곱 신경망의 비교 연구

Architectural Bias in Face Presentation Attack Detection: A Comparative Study of Vision Transformers and Convolutional Neural Networks

얼굴 프레젠테이션 공격 탐지(Face PAD) 시스템은 생체 인증의 중요한 보안 계층을 구성합니다. 그러나 기존 접근 방식은 인구통계학적 그룹 간에 체계적인 성능 격차를 보이며, 특히 피부색이 어두운 개인에게 불균형적인 영향을 미칩니다. 본 논문은 비전 트랜스포머(Vision Transformer) 아키텍처가 합성곱 기준선에 비해 얼굴 PAD 시스템 내 인구통계학적 바이어스를 줄이는지에 대한 비교 실증 조사를 제시합니다. 실험은 CASIA-SURF Cross-Ethnicity Face Anti-Spoofing (CeFA) 데이터셋에서 수행되었습니다. 세 가지 아키텍처를 평가합니다: 처음부터 학습된 Multimodal ViT-Tiny, ResNet18 CNN 기준선, 그리고 아프리카, 동아시아 및 제로샷 중앙아시아 인구통계학적 그룹에 대해 CeFA에서 파인튜닝된 사전학습된 DeiT-S입니다. DeiT-S는 97.27%의 가장 높은 전체 정확도와 0.86%의 가장 낮은 등가 오류율(EER)을 달성하여 90.15%의 정확도를 기록한 ResNet18을 능가했습니다. 공정성 측면에서 DeiT-S는 아프리카와 동아시아 피험자 간의 인종 간 공격 분류 오류율(ACER) 격차를 0.13%로 줄였으며, 이는 LBP 기반 연구 [6]에서 보고된 0.75%에 비해 83% 감소한 수치입니다. 가장 주목할 만한 점은, ResNet18이 제로샷 중앙아시아 피험자에게서 10.44%의 정상 프레젠테이션 분류 오류율(BPCER)을 기록한 반면, DeiT-S는 동일한 보이지 않는(unseen) 그룹에서 2.89%를 유지하여 3.6배의 일반화 우위를 입증했다는 것입니다. 이러한 결과는 사전학습된 비전 트랜스포머가 우수한 PAD 정확도를 달성하고, 더 작은 인구통계학적 성능 격차를 생성하며, 보이지 않는 인구통계학적 그룹 간에 더 공평하게 일반화됨을 시사합니다. 이는 PAD의 교차 인구통계학적 공정성이 부분적으로는 아키텍처 설계의 영향을 받을 수 있음을 나타냅니다.

arXiv:2606.18472v1cs.CV

정규화된 미세조정을 통한 3D 비전-언어 모델의 도메인 일반화 가능한 적응

Domain Generalizable Adaptation of 3D Vision-Language Models via Regularized Fine-Tuning

도메인 적응은 3D 비전, 특히 3D 포인트 클라우드를 시각 및 텍스트 데이터와 정렬하는 멀티모달 파운데이션 모델에서 중심적인 과제로 남아 있습니다. 이러한 모델들이 강력한 일반적인 능력을 보여주지만, 제한된 데이터로 하위 도메인에 적용할 때는 종종 과적합과 재앙적 망각으로 이어집니다. 이를 해결하기 위해 우리는 3D 대규모 멀티모달 모델(LMM)의 도메인 일반화 가능한 튜닝을 위해 설계된 정규화된 미세조정 프레임워크인 ReFine3D를 소개합니다. ReFine3D는 선택적 층 튜닝을 두 가지 목표 지향적 정규화 전략과 결합합니다: 증강된 포인트 클라우드 간의 다중 뷰 일관성과 대규모 언어 모델이 생성한 동의어 기반 프롬프트를 통한 텍스트 다양성입니다. 또한, 강인성을 더욱 향상시키기 위해 포인트 렌더링 비전 감독과 신뢰도 기반 집계를 갖춘 테스트 타임 증강 메커니즘을 통합합니다. 다양한 3D 도메인 일반화 벤치마크에 대한 광범위한 실험 결과, ReFine3D는 기본-새로운 클래스 일반화를 1.36%, 데이터셋 간 전이를 2.43%, 손상에 대한 강인성을 1.80%, 퓨샷 정확도를 최대 3.11% 향상시키며, 최소한의 추가 계산 오버헤드로 이전 최신 기법을 능가함을 보여줍니다.

arXiv:2606.00491v2cs.CV

임상적 동기 기반 다중 손상 증강을 활용한 CT 분할 시스템의 배포 전 강건성 스트레스 테스트

Pre-Deployment Robustness Stress Testing for CT Segmentation Systems Using Clinically Motivated Multi-Corruption Augmentation

심층 학습(deep learning) 기반 CT 분할 시스템은 깨끗한 벤치마크 이미지에서 높은 정확도를 달성하는 경우가 많지만, 노이즈, 해상도 손실, 대비 변화, 강도 이동, 아티팩트와 같은 이질적인 임상 영상 조건에서는 성능이 저하될 수 있습니다. 이러한 불안정성은 실제 의료 영상 워크플로우에서의 신뢰할 수 있는 배포를 제한할 수 있습니다. 우리는 CT 분할을 위한 강건성 지향 증강 프레임워크인 증강된 다중 손상 파이프라인을 통한 강건성(RAMP)을 제안합니다. RAMP는 해부학적으로 제약된 공간 섭동, CT 강도 변환, 그리고 확률적 다중 손상 합성을 결합하여 학습(training) 중에 모델을 임상적으로 타당한 이미지 열화에 노출시킵니다. 두 가지 CT 분할 평가 설정에서 RAMP는 가장 강력한 손상 이미지 성능과 가장 작은 깨끗한 이미지-손상 이미지 간 강건성 격차를 달성했습니다. 5장기 노이즈 평가 벤치마크에서 RAMP는 nnU-Net 기준선(baseline)과 비교하여 평균 손상 Dice를 0.610에서 0.753으로 향상시키고 강건성 격차를 0.264에서 0.064로 감소시켰습니다. Abdomen1K 데이터셋에서 RAMP는 평균 손상 Dice를 0.633에서 0.789로 향상시키고 강건성 격차를 0.290에서 0.070으로 감소시켰습니다. RAMP가 가장 높은 깨끗한 이미지 Dice를 달성하지는 못했지만, 심각한 이미지 열화 하에서 최악의 경우 분할 붕괴를 실질적으로 완화했습니다. 이러한 결과는 다중 손상 증강이 이질적인 임상 환경에서 CT 분할 시스템의 신뢰성을 높이기 위한 실용적인 배포 전 전략이 될 수 있음을 시사합니다.