PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07481v1cs.LG

대리 유동 모델링을 위한 드리프팅 모델

Drifting Models for Surrogate Flow Modeling

전산유체역학(CFD)은 실내 환경 최적화를 위해 고충실도 유동장을 제공하지만, 계산 비용으로 인해 빠른 탐험을 제한합니다. 이 문제를 해결하기 위해 생성형 대리 모델은 결정론적 네트워크보다 우수한 분포 모델링을 제공하지만, 반복적 샘플링이 느린 단점이 있습니다. 고품질의 단일 패스 생성을 가능하게 하기 위해, 우리는 새로운 생성형 드리프팅 프레임워크를 유체역학에 적용했습니다. 우리는 학습된 VAE 잠재 공간에서 드리프팅을 수행하고, 생성된 샘플을 경계 조건과 정렬하기 위해 라벨 인식 마스킹을 사용하는 조건부 아키텍처를 소개합니다. 우리의 라벨 조건부 모델은 정확도와 유동 일관성 측면에서 반복적 디퓨전과 대등하면서도 100배 더 빠른 속도로 실행됩니다. 또한, 미지의 형상으로의 일반화를 위한 유망한 경로를 확립하는 공간 조건부 변형을 제안합니다. 결론적으로, 조건부 드리프팅은 디퓨전 기반 접근법에 대한 고도로 효율적인 대안으로서, 추론 속도가 중요한 상황에서 실시간 CFD 대리 모델을 실현합니다.

arXiv:2606.06966v1cs.CV

비전에서 텍스트로: 신분증 위조 제시 공격 탐지를 위한 강인하고 도메인 간 전이 가능한 경량 멀티모달 접근법

From Vision to Text: A Compact Multimodal Approach for Robust, Cross-Domain Presentation Attack Detection on ID Cards

도메인 간 분포 변화(cross-domain shift)는 개인정보 보호 우려로 인한 데이터 제한 속에서 신분증의 위조 제시 공격 탐지(PAD, Presentation Attack Detection)에 어려움을 초래한다. 본 연구는 새로운 생성적(generative) 및 판별적(discriminative) 블록에 기반한 경량 멀티모달 모델을 제안하며, 실제 및 합성 신분증 이미지에 대한 PAD를 위해 시각 데이터와 텍스트 데이터를 결합한다. 멀티모달 모델은 지도 미세조정(supervised fine-tuning) 후 강한 일반화 성능을 보이지만, 제로샷(zero-shot) 환경에서는 성능이 저하된다. 본 연구의 결과는 신뢰할 수 있는 PAD를 위해 모델 용량과 실세계 데이터가 필수적임을 강조하는 한편, 기존 합성 데이터셋이 실세계의 도전 과제를 충분히 반영하지 못할 수 있음을 시사한다. 우리는 벤치마크로서 합성 데이터에 대한 재평가를 주장하며, PAD 연구의 발전을 위해 보다 사실적이고 다양한 데이터셋의 필요성을 강조한다.

arXiv:2606.06918v1cs.CV

DRIFT: AI 생성 이미지 탐지를 위한 강건성 격차에서 불변 다양체로

DRIFT: From Robustness Gaps to Invariance Manifolds for AI-Generated Image Detection

생성 이미지 모델의 급격한 발전은 기존 AI 생성 이미지 탐지기에 도전을 제기하며, 특히 미지의 생성기를 포함하는 오픈 월드 환경에서 더욱 두드러진다. 최근의 학습 없는 접근법들은 동결된 비전 기반 모델(VFM)에서 강건성 격차를 측정하고, 섭동에 의한 임베딩 드리프트를 통해 가짜 이미지를 탐지한다. 그러나 이러한 방법들은 사전학습에서 상속된 고정된 불변 기하학에 의존하며 탐지 과제에 대한 원칙적 적응이 부족하다. 우리는 이와 달리 AI 생성 이미지 탐지를 단일 클래스 감독 하에 실제 이미지의 구조화된 불변 다양체를 학습하는 문제로 공식화한다. 동결된 VFM을 기반으로, 표현 공간을 상보적인 강건한 서브공간과 취약한 서브공간으로 분해하는 경량 투영 헤드를 도입한다. 강건한 서브공간은 물리적으로 타당한 이미징 변환에 의해 유도된 변동을 억제하도록 명시적으로 학습되어 실제 이미지 다양체의 접선 방향을 근사하며, 취약한 서브공간은 편집 유사 섭동에 대한 민감도를 유지한다. 구조화된 순서 마진은 물리적 불변성과 편집 유도 변동성 간의 계층적 분리를 강제하여, 학습된 다양체에 대한 마진 위반 테스트로서의 탐지를 가능하게 한다. 추론 시, 두 변환 계열 모두에 대한 다중 스케일 패치별 드리프트는 이중 채널 불변 서명과 해석 가능한 로컬라이제이션을 산출한다. 광범위한 실험을 통해 미지의 생성기와 해상도에 걸쳐 강력한 오픈 월드 일반화가 입증되며, 해석 가능한 불변성 위반 맵을 제공하면서 학습 없는 강건성 기반 기준선을 지속적으로 능가함을 보인다.

arXiv:2606.06666v1cs.CV

딥페이크 탐지를 위한 아키텍처 적응형 불확실성 융합

Architecture-Adaptive Uncertainty Fusion for Deepfake Detection

딥페이크 탐지 시스템은 벤치마크에서 완벽에 가까운 정확도를 달성하지만, 포렌식 배포 환경에서는 신뢰할 수 있는 예측 불확실성이 요구된다. 기존의 불확실성 정량화(UQ) 방법들은 단일 출처에 의존하며, 최적의 불확실성 구성이 아키텍처마다 다르다는 점을 간과한다. 우리는 다섯 가지 상호 보완적인 불확실성 출처—인식론적(epistemic), 우연적(aleatoric), 보정(calibration), 컨포말(conformal), 분포적(distributional)—를 융합하는 아키텍처 적응형 프레임워크인 상관관계 최적화 융합(COF, Correlation-Optimized Fusion)을 제안한다. COF는 확률 심플렉스(probability simplex) 위의 제약 최적화를 통해 융합된 불확실성 점수와 예측 오류 간의 피어슨 상관관계를 최대화하며, 모델 수정이 필요 없고 가중치 최적화에 단 42초만 소요된다. 이는 5개 모델 Deep Ensemble의 20~45시간과 대비된다. FaceForensics++에서 11개 아키텍처에 대한 평가는 근본적인 트레이드오프를 드러낸다: 동일한 학습/평가 프로토콜 하에서 비선형 방법들이 도메인 내 상관관계에서 COF보다 약 5~6% 더 높은 성능을 달성하지만(평균 r = 0.438), 이는 분포 이동(distribution shift) 상황에서 역전된다. CelebDF에서 COF는 11개 아키텍처 중 9개에서 랜덤 포레스트를 최대 7.3배 높은 상관관계로 능가하며(MaxViT-B: r = 0.249 vs. 0.034), 랜덤 포레스트가 크로스 도메인에서 r = 0.071로 85% 저하되는 반면 COF는 r = 0.116으로 74% 하락에 그쳐 훨씬 더 많은 신호를 유지한다. CelebDF와 DFDC에 대한 크로스 데이터셋 평가는 모든 방법에서 치명적인 일반화 실패를 드러낸다: 0.41~0.47의 도메인 내 상관관계가 외부 평가에서 거의 0으로 붕괴되고(평균 저하율 90.7%), 11개 아키텍처 중 7개에서 불확실성 역전(uncertainty inversion) 현상이 나타난다. 이러한 결과는 COF를 통제된 분포 배포를 위한 실용적이고 해석 가능한 프레임워크로 확립하는 동시에, 도메인 적응 UQ를 포렌식 배포의 핵심적인 미해결 과제로 규명한다.

arXiv:2606.07368v1cs.CV

실제 환경에서의 유사분열 검출: MIDOG 2025 챌린지의 다중 종양 및 문맥 인식 일반화

Mitosis Detection in the Wild: Multi-Tumor and Context-Aware Generalization in the MIDOG 2025 Challenge

자동화된 유사분열 검출은 전산 병리학에서 잘 확립된 과제이다. 기존 벤치마크가 스캐너로 인한 도메인 이동(domain shift)에 초점을 맞춘 반면, 임상 '실제 환경' 적용에서는 조직학적 환경에서 예상되는 광범위한 변동성에 대한 모델의 견고성이 요구된다. MItosis DOmain Generalization (MIDOG) 2025 챌린지는 전례 없는 생물학적 및 문맥적 다양성 전반에 걸쳐 알고리즘 성능을 평가하기 위해 설계되었다. 우리는 여러 스캐닝 플랫폼으로 디지털화된 인간, 개, 고양이의 12가지 종양 유형을 포괄하는 365개 사례로 구성된 테스트 데이터셋을 구성하였다. 수동으로 선택된 핫스팟을 넘어, 이 챌린지는 무작위 조직 영역(전체 슬라이드 검출 상황을 대표하는)과 어려운 영역(하드 네거티브가 풍부한 영역)에서의 검출도 요구하였다. 두 번째 트랙에서는 비정형 유사분열상(AMF, atypical mitotic figures)의 분류를 도입하였다. 검출 트랙에는 18개 팀이 참가하여 F1 점수가 최대 0.740에 달하였다. AMF 검출 트랙에서는 21개의 제출물이 있었으며 균형 정확도(balanced accuracy)가 최대 0.908에 달하였다. 분석 결과, 대부분의 모델이 전통적인 핫스팟에서는 안정적으로 작동하지만, 어려운 관심 영역(ROI)에서는 위양성률이 세 배로 증가하는 등 성능이 크게 저하됨을 확인하였다. 또한 12가지 종양 유형 전반에 걸쳐 성능이 크게 달라져, 희귀하거나 고도로 다형성인 악성 종양을 접할 때 현재 최신 아키텍처의 '사각지대'가 부각되었다. 더불어 앙상블(ensembling)의 효과를 평가한 결과, F1 점수와 균형 정확도에서 각각 평균 1.5 및 1.3 퍼센트포인트의 향상이 확인되었다. 반면 TTA(Test-Time Augmentation)는 유의미한 개선을 보이지 않았다. MIDOG 2025는 '실제 환경에서의' 유사분열 검출이 여전히 중요한 과제임을 보여준다. 핫스팟 전용 평가에서 다중 문맥 프레임워크로의 전환은 임상적 신뢰성에 대한 보다 현실적인 대리 지표를 제공한다.

arXiv:2606.06761v1cs.RO

AxisGuide: RGB 관측에서 로봇 행동 좌표계를 그라운딩하여 강건한 비주모터 조작 실현

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation

대규모 행동 복제(behavior cloning)를 통해 학습된 비주모터(visuomotor) 조작 정책은 강력한 의미론적 장면 이해 능력을 달성했지만, 분포 변화 하에서 올바른 저수준 행동을 안정적으로 실행하는 데 자주 실패한다. 예를 들어, 동일한 장면 배치, 카메라 시점, 조명 조건의 단순한 물체 집기 작업에서도 물체가 학습 시 보지 못한 위치에 놓이면 성능이 크게 저하될 수 있다. 우리는 이러한 격차가 불충분한 행동 이해, 즉 이미지 공간에서 로봇의 베이스 프레임 행동 좌표계를 해석하는 능력의 부재에서 비롯된다고 주장한다. 이 문제를 해결하기 위해, 우리는 의미론적 장면 이해와 행동 좌표 해석을 연결하는 경량 가이던스 방법인 AxisGuide를 제안한다. AxisGuide는 카메라 파라미터와 엔드이펙터 포즈를 활용하여 각 카메라 뷰에 로봇 베이스 프레임 축을 렌더링하고, 이미지 공간에서 +x, +y, +z 방향 움직임의 의미를 명시적으로 시각화하는 소수의 큐 채널로 RGB 관측을 보강한다. LIBERO 시뮬레이션과 실제 환경 모두에서 수행된 광범위한 평가를 통해 AxisGuide가 상당한 성능 향상과 향상된 일반화를 달성함을 입증하며, 이는 신뢰할 수 있고 전이 가능한 범용 비주모터 정책 학습에 있어 명시적 행동 좌표 큐의 효과를 부각시킨다.

arXiv:2606.06696v1cs.CV

MMBU: 비전-언어 모델의 지각 능력을 검증하기 위한 대규모 멀티모달 생물의학 이해 벤치마크

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

비전-언어 모델(VLM)은 흉부 X-ray에서 병변을 검출하는 것부터 현미경에서 세포 특징을 프로파일링하는 것까지, 생물의학 영상 워크플로를 변화시킬 엄청난 잠재력을 지니고 있다. 그러나 이러한 잠재력을 실현하려면 견고하고 세밀한 시각적 지각(perception)이 필요하다. 모델은 이미지의 미묘한 특징을 올바르게 해석해야 하며, 다양한 생물의학 영상 모달리티, 규모, 맥락에서 그렇게 해야 한다. 그럼에도 불구하고 현재 벤치마크는 여전히 제한적이다. 이러한 격차를 해소하기 위해, 우리는 대규모 멀티모달 생물의학 이해(MMBU) 벤치마크를 제안한다. 이는 지금까지의 최대 규모 생물의학 비전-언어 벤치마크로, 풍부한 구조화 메타데이터와 함께 35개 하위 모달리티를 포괄한다. 언그라운딩 분류(ungrounded classification), 그라운딩 분류(grounded classification), 객체 검출의 공개 및 비공개 버전을 모두 포함하여, 생물학적 규모, 임상 설정, 영상 모달리티 전반에 걸친 모델 성능의 체계적 평가(evaluation)를 가능하게 한다. 15개의 오픈웨이트(open-weight) 및 2개의 프론티어 VLM을 평가한 결과, 의료 적응(adaptation)이 일부 모델에 대해 측정 가능한 향상을 제공하는 반면, 기존 벤치마크에서 종종 보고되는 높은 정확도는 시각적 지각과 도메인 일반화(domain generalization)의 결함을 가릴 수 있음을 확인했다.