PyTorchKR Papers

최신 논문

총 774편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1710.09412공식 코드 · Papers with Code

mixup: Beyond Empirical Risk Minimization

Large deep neural networks are powerful, but exhibit undesirable behaviors such as memorization and sensitivity to adversarial examples. In this work, we propose mixup, a simple learning principle to alleviate these issues. In essence, mixup trains a neural network on convex combinations of pairs of examples and their labels. By doing so, mixup regularizes the neural network to favor simple linear behavior in-between training examples. Our experiments on the ImageNet-2012, CIFAR-10, CIFAR-100, Google commands and UCI datasets show that mixup improves the generalization of state-of-the-art neural network architectures. We also find that mixup reduces the memorization of corrupt labels, increases the robustness to adversarial examples, and stabilizes the training of generative adversarial networks.

arXiv:1804.10745공식 코드 · Papers with Code

Generalizing Across Domains via Cross-Gradient Training

We present CROSSGRAD, a method to use multi-domain training data to learn a classifier that generalizes to new domains. CROSSGRAD does not need an adaptation phase via labeled or unlabeled data, or domain features in the new domain. Most existing domain adaptation methods attempt to erase domain signals using techniques like domain adversarial training. In contrast, CROSSGRAD is free to use domain signals for predicting labels, if it can prevent overfitting on training domains. We conceptualize the task in a Bayesian setting, in which a sampling step is implemented as data augmentation, based on domain-guided perturbations of input instances. CROSSGRAD parallelly trains a label and a domain classifier on examples perturbed by loss gradients of each other's objectives. This enables us to directly perturb inputs, without separating and re-mixing domain signals while making various distributional assumptions. Empirical evaluation on three different applications where this setting is natural establishes that (1) domain-guided perturbation provides consistently better generalization to unseen domains, compared to generic instance perturbation methods, and that (2) data augmentation is a more stable and accurate method than domain adversarial training.

arXiv:1805.09501공식 코드 · Papers with Code

AutoAugment: Learning Augmentation Policies from Data

Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple procedure called AutoAugment to automatically search for improved data augmentation policies. In our implementation, we have designed a search space where a policy consists of many sub-policies, one of which is randomly chosen for each image in each mini-batch. A sub-policy consists of two operations, each operation being an image processing function such as translation, rotation, or shearing, and the probabilities and magnitudes with which the functions are applied. We use a search algorithm to find the best policy such that the neural network yields the highest validation accuracy on a target dataset. Our method achieves state-of-the-art accuracy on CIFAR-10, CIFAR-100, SVHN, and ImageNet (without additional data). On ImageNet, we attain a Top-1 accuracy of 83.5% which is 0.4% better than the previous record of 83.1%. On CIFAR-10, we achieve an error rate of 1.5%, which is 0.6% better than the previous state-of-the-art. Augmentation policies we find are transferable between datasets. The policy learned on ImageNet transfers well to achieve significant improvements on other datasets, such as Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, and Stanford Cars.

arXiv:1805.12048공식 코드 · Papers with Code

Robust Place Categorization with Deep Domain Generalization

Traditional place categorization approaches in robot vision assume that training and test images have similar visual appearance. Therefore, any seasonal, illumination and environmental changes typically lead to severe degradation in performance. To cope with this problem, recent works have proposed to adopt domain adaptation techniques. While effective, these methods assume that some prior information about the scenario where the robot will operate is available at training time. Unfortunately, in many cases this assumption does not hold, as we often do not know where a robot will be deployed. To overcome this issue, in this paper we present an approach which aims at learning classification models able to generalize to unseen scenarios. Specifically, we propose a novel deep learning framework for domain generalization. Our method develops from the intuition that, given a set of different classification models associated to known domains (e.g. corresponding to multiple environments, robots), the best model for a new sample in the novel domain can be computed directly at test time by optimally combining the known models. To implement our idea, we exploit recent advances in deep domain adaptation and design a Convolutional Neural Network architecture with novel layers performing a weighted version of Batch Normalization. Our experiments, conducted on three common datasets for robot place categorization, confirm the validity of our contribution.

arXiv:2504.14280v2cs.CV공식 코드 · Papers with Code

CLIP 기반 도메인 일반화 및 도메인 적응: 종합 서베이

CLIP-Powered Domain Generalization and Domain Adaptation: A Comprehensive Survey

기계학습이 발전함에 따라 도메인 일반화(DG)와 도메인 적응(DA)은 다양한 환경에서 모델 견고성을 높이는 데 핵심이 되었다. Contrastive Language-Image Pretraining(CLIP)은 이러한 과제에서 중심적 역할을 하며, 보지 못한 도메인에서도 모델이 효과적으로 동작하게 하는 강력한 제로샷(zero-shot) 능력을 제공한다. 그러나 CLIP의 영향력이 커지고 있음에도 DG와 DA에서의 CLIP 응용을 체계적으로 검토한 종합 서베이는 없어, 본 리뷰의 필요성이 부각된다. 본 서베이는 CLIP 기반 DG와 DA에 대한 통합적이고 심층적인 개관을 제공한다. 방법을 검토하기에 앞서, 소스 접근성(SA vs. SF), 소스 수(SS vs. MS), 레이블 관계(CS, PS, OS, OPS)를 포괯하는 정밀하고 완전한 시나리오 정의를 수립하여, 이후 모든 분석을 구조화하는 일관된 분류 체계를 형성한다. DG에 대해서는 과제 정렬(task alignment)을 강화하는 프롬프트 최적화 기법과, 이전 가능한 특징 추출을 위해 CLIP을 백본(backbone)으로 활용하는 아키텍처로 방법을 분류한다. DA에 대해서는 레이블이 있는 소스 데이터에 의존하는 소스 이용(source-available) 접근과, 주로 타깃 도메인 샘플에서 동작하는 소스 프리(source-free) 접근을 모두 검토하며, 이질적 설정 간 적응을 가능하게 하는 지식 전이(knowledge transfer) 메커니즘을 강조한다. 또한 DG와 DA 모두에 대해 통합된 동향 분석을 제공하여, 전반적 패턴, 방법론적 원칙, 시나리오 의존적 행동을 드러낸다. 이어 현실적 배포 시나리오, LLM 지식 통합, 멀티모달 융합, 해석 가능성(interpretability), 파국적 망각(catastrophic forgetting) 등 핵심 과제를 논의하고, 확장 가능하고 신뢰할 수 있는 CLIP 기반 DG·DA 시스템 개발을 위한 향후 방향을 개괄한다. 본 서베이는 실제 시나리오에서 CLIP 기반 도메인 견고성을 발전시키기 위한 실행 가능한 통찰을 제공한다.

arXiv:2411.19715v4cs.CV공식 코드 · Papers with Code

Forensics Adapter: 일반화 가능한 얼굴 위조 탐지를 위한 CLIP 활용

Forensics Adapter: Unleashing CLIP for Generalizable Face Forgery Detection

본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.

arXiv:2105.07610v5stat.ML공식 코드 · Papers with Code

교차 클러스터 가중 포레스트

Cross-Cluster Weighted Forests

생물학적 응용을 위한 신뢰할 수 있는 머신러닝 알고리즘을 구축하려면 서로 다른 출처, 배치, 분포, 또는 연구로 인한 데이터 이질성에 적응해야 한다. 우리는 'Cross-Cluster Weighted Forest'(CCWF)를 제안한다. 이는 특징 분포의 이질성을 명시적으로 활용하는 앙상블 접근법으로, 데이터가 자연스럽게 클러스터링될 수 있는 경우 표준 Random Forest보다 더 정확하고 더 일반화 가능한 예측기를 생성한다. CCWF는 RF 아키텍처를 외부 비지도 층, 지도 하위 과제, 그리고 앙상블로 일반화한다. 구체적으로는 학습 데이터의 비지도 클러스터링, 각 클러스터에 Random Forest를 적합시키는 것, 그리고 클러스터 간 일반화 가능성을 보상하는 스택드 회귀 가중치를 통해 포레스트를 결합하는 것을 포함한다. 우리는 해석적으로 다룰 수 있는 포레스트 모델에 대한 이론적 분석을 제공하며, 클러스터 기반 앙상블이 전체 데이터에 단일 포레스트를 학습하는 것보다 점근적으로 더 정확함을 보인다. 이 이득은 바이어스 감소에 의해 주도된다. 시뮬레이션에서 CCWF는 데이터 생성 체제와 결과 모델 전반에 걸쳐 견고함을 보인다. 또한 데이터 분할 및 앙상블 가중 전략이 우리 방법의 이점에 미치는 영향을 탐구한다. 마지막으로, 우리는 접근법을 자연스럽게 클러스터로 나눌 수 있는 암 분자 프로파일링 및 유전자 발현 데이터셋에 적용한다. 시뮬레이션과 실제 데이터 예시 모두에서, 우리의 접근법이 고전적인 Random Forest를 30-40%의 여유로 능가함을 보여주며, 이는 우리의 이론적 결과와 일치한다. 전반적으로, CCWF가 여러 도메인 또는 하위 집단에 걸친 데이터에 대해 통계적으로 타당한 예측 알고리즘을 제공함을 보인다. 이러한 구조는 생물학적 응용에서 흔하다.

arXiv:2403.01977v5cs.RO공식 코드 · Papers with Code

불확실성을 꿰뚫어 보기: 강건한 시각 내비게이션을 위한 자유 에너지 기반 실시간 적응

Seeing Through Uncertainty: Free-Energy-Inspired Real-Time Adaptation for Robust Visual Navigation

자연 세계에서의 내비게이션은 적응적 추론의 한 결과물이며, 생물은 노이즈가 있고 불완전한 감각 입력 스트림에도 불구하고 목표 지향적 행동을 유지한다. 이 능력의 핵심은 자유 에너지 원리(FEP)로, 지각은 뇌가 변분 자유 에너지(VFE)를 최소화하여 세상에 대한 정확한 내부 모델을 유지하는 생성 과정이라고 본다. 딥 신경망(DNN)은 생물학적 뇌의 강력한 유사 모델 역할을 해왔지만, 갑작스러운 감각 변화를 다루는 데 필요한 실시간 가소성은 일반적으로 부족하다. 본 연구는 강건한 시각 내비게이션에서 실시간 지각 적응을 위한 생물학적 영감 기반 프레임워크인 FEP-Nav를 제안한다. VFE를 예측 오차와 베이지안 서프라이즈로 분해한 구조에 영감을 받아, FEP-Nav는 손상되지 않은 감각 입력에 대한 내부 기댓값을 제공하는 하향식 디코더(Top-down Decoder)와, 편향된 특징 분포를 사전 통계에 맞게 조정하는 적응형 정규화(Adaptive Normalisation)를 결합한다. 재구성과 정규화를 그래디언트 기반 업데이트 없이 추론 중 해당 VFE 관련 항을 줄이는 근사 메커니즘으로 해석한다. 시뮬레이션 및 실제 시각 손상 환경에서의 실험은 FEP-Nav가 시각 손상으로 인한 성능 저하를 회복하며, 비적응 기준선과 강한 적응 방법보다 우수함을 보여준다. 이러한 결과는 변분 원리가 열악한 감각 조건에서 강건한 자율 행동을 위한 유용한 설계 관점을 제공할 수 있음을 시사한다.

arXiv:2403.01560v3cs.CV공식 코드 · Papers with Code

XOV-Action: 일반화 가능한 오픈-보캐뷸러리 행동 인식을 향하여

XOV-Action: Towards Generalizable Open-Vocabulary Action Recognition

XOV-Action은 오픈-보캐뷸러리 행동 인식 모델이 미지의 비디오 도메인에서 일반화에 실패한다는 문제를 해결하기 위해, 다양한 텍스트 설명으로 행동 개념을 풍부하게 학습하는 Diversified Elaboration Representation Learning과 씬 편향을 제거하는 Scene-Aware Video-text Alignment를 제안한다. 이를 평가하기 위한 크로스-도메인 벤치마크 XOVABench도 함께 공개하며, 실험에서 클로즈드-셋 및 오픈-셋 행동 카테고리 모두에 걸쳐 도메인 일반화 성능이 향상됨을 입증했다.

arXiv:2503.09399v4cs.CV공식 코드 · Papers with Code

ForAug: Mitigating Biases in Image Classification via Controlled Image Compositions

ForAug는 이미지 분류 데이터셋의 구성적 편향(배경 의존성, 중심 편향, 크기 편향)을 완화하기 위해 학습 이미지를 전경 객체와 배경으로 분리한 뒤 재조합하는 데이터 증강 기법이다. 오프더쉘프 세그멘테이션·인페인팅 모델을 활용해 전경-배경 상관관계를 명시적으로 차단함으로써, 10개 아키텍처에서 ImageNet top-1 정확도를 최대 6 p.p., 분포 변화 벤치마크에서 최대 19 p.p. 향상시켰다.

arXiv:2209.01754v5stat.ME공식 코드 · Papers with Code

편향된 샘플에서의 학습

Learning from a Biased Sample

데이터 기반 의사결정을 위한 경험적 위험 최소화 접근법은 결정 규칙이 배포될 때 직면하게 될 조건과 동일한 조건에서 추출된 학습 데이터에 대한 접근을 필요로 합니다. 그러나 일부 상황에서는, (관측 가능하거나 관측 불가능한 속성으로 특징지어지는) 일부 집단이 일반 모집단에 비해 과소 또는 과대 표현된다는 의미에서 학습 샘플에 바이어스가 있을 수 있으며, 이 경우 학습 세트에 대한 경험적 위험 최소화는 배포 시 잘 작동하는 규칙을 도출하지 못할 수 있습니다. 우리는 조건부 Γ-편향 샘플링이라는 샘플링 바이어스 모델을 제안하는데, 여기서 관측된 공변량은 샘플 선택 확률에 임의로 크게 영향을 미칠 수 있지만 샘플 선택 확률의 설명되지 않는 변동량은 상수 인자로 제한됩니다. 분포적 강건 최적화(distributionally robust optimization) 프레임워크를 적용하여, Γ-편향 샘플링 하에서 학습 분포를 생성할 수 있는 테스트 분포 집합에서 발생하는 최악의 위험을 최소화하는 결정 규칙을 학습하는 방법을 제안합니다. Rockafellar와 Uryasev의 결과를 적용하여 이 문제가 증강된 볼록 위험 최소화 문제와 동치임을 보입니다. 체 방법(method of sieves)을 통해 샘플링 바이어스에 강건한 모델 학습에 대한 통계적 보장을 제공하고, 손실 함수가 강건 학습 목표를 포착하는 심층 학습 알고리즘을 제안합니다. 건강 설문 데이터로부터 정신 건강 점수 예측에 관한 사례 연구와 ICU 재원 기간 예측에 관한 사례 연구를 통해 제안된 방법을 실증적으로 검증합니다.

arXiv:2405.19062v2cs.LG공식 코드 · Papers with Code

Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

Continuous-Time Dynamic Graphs (CTDGs) enable fine-grained modeling of evolving relational systems. However, most existing CTDG representation learning methods are tailored to in-distribution settings and exhibit limited robustness under out-of-distribution (OOD) shifts. Although recent causal approaches learn invariant representations via interventions, they are primarily designed for static or discrete-time graphs and become computationally prohibitive for CTDGs due to the combinatorial explosion of structural and temporal variations. To address these challenges, we propose CIR, a framework grounded in a novel structural causal model termed the ICCM. To avoid exhaustive interventions, we leverage the Normalized Weighted Geometric Mean (NWGM) to efficiently approximate interventional predictions. We further instantiate ICCM within a practical deep learning architecture that jointly captures invariant structural and temporal patterns through dedicated subgraph extractors, and maintains an environment memory bank to model distributional shifts across evolving contexts. Extensive experiments demonstrate that CIR consistently outperforms existing methods under diverse OOD scenarios.

arXiv:2505.21954v2cs.CV공식 코드 · Papers with Code

활성 화자 탐지(ASD) 재조명: 일반화와 강건성을 위한 실제 환경(in-the-wild) 벤치마크

Revisiting Active Speaker Detection: An In-the-Wild Benchmark for Generalization and Robustness

우리는 활성 화자 탐지(ASD) 작업에서 모델의 일반화 성능을 높이기 위해 도전적인 시나리오를 강조하는 새로운 데이터셋인 UniTalk를 소개합니다. AVA와 같은 기존 벤치마크는 주로 오래된 영화로 구성되어 있어 실제 환경 비디오와 상당한 도메인 격차를 보입니다. 이와 대조적으로, UniTalk는 언어 표현이 부족한 경우, 노이즈가 있는 배경, 혼잡한 장면 등 도전적인 실제 환경 조건을 반영하는 다양한 비디오 유형을 아우르면서도 규모 면에서는 AVA와 대등합니다. 광범위한 평가 결과, ASD는 현실적인 조건에서 여전히 해결되지 않은 문제임이 밝혀졌습니다. AVA에서 거의 완벽한 성능을 보이는 최첨단(SOTA) 모델들조차 UniTalk에서는 성능 포화에 도달하지 못했습니다. 반대로, UniTalk로 학습된 모델은 Talkies와 ASW를 포함한 최신 실제 환경(in-the-wild) 데이터셋에 대해 더 우수한 일반화 성능을 보였습니다. 이에 따라 UniTalk는 ASD를 위한 새로운 벤치마크를 수립하여, 연구자들이 다재다능하고 강건한 모델을 개발하고 평가할 수 있는 귀중한 자원을 제공합니다.

arXiv:2303.18031v2cs.CV공식 코드 · Papers with Code

단순한 도메인 일반화 방법은 오픈 도메인 일반화를 위한 강력한 베이스라인

Simple Domain Generalization Methods are Strong Baselines for Open Domain Generalization

실제 애플리케이션에서 머신러닝 모델은 추론 단계에서 알 수 없는 클래스가 등장하는 오픈셋 인식(OSR)과 학습 및 추론 단계 간 데이터 분포가 달라지는 도메인 이동(domain shift)을 모두 처리해야 합니다. 도메인 일반화(DG)는 모델 학습 시 추론 단계의 타겟 도메인에 접근할 수 없는 도메인 이동 상황을 처리하는 것을 목표로 합니다. 오픈 도메인 일반화(ODG)는 DG와 OSR을 모두 고려합니다. 도메인 증강 메타러닝(DAML)은 ODG를 목표로 하는 방법이지만, 학습 과정이 복잡합니다. 이에 반해 다양한 DG 방법이 제안되었으나, ODG 상황에서는 평가되지 않았습니다. 본 연구에서는 기존 DG 방법을 ODG 환경에서 포괄적으로 평가하였으며, 두 가지 단순한 DG 방법인 상관관계 정렬(CORAL)과 최대 평균 차이(MMD)가 여러 경우에서 DAML과 경쟁력이 있음을 보여줍니다. 또한, DAML에서 사용된 앙상블 학습(ensemble learning) 및 디리클레 믹스업(Dirichlet mixup) 데이터 증강(data augmentation)과 같은 기법을 도입하여 CORAL과 MMD의 단순한 확장 버전을 제안합니다. 실험 평가 결과, 확장된 CORAL과 MMD는 더 낮은 계산 비용으로 DAML과 대등한 성능을 발휘할 수 있음을 확인했습니다. 이는 단순한 DG 방법과 그 단순한 확장들이 ODG를 위한 강력한 베이스라인이 될 수 있음을 시사합니다