PyTorchKR Papers

최신 논문

총 3,783편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1803.00942공식 코드 · Papers with Code

Not All Samples Are Created Equal: Deep Learning with Importance Sampling

Deep neural network training spends most of the computation on examples that are properly handled, and could be ignored. We propose to mitigate this phenomenon with a principled importance sampling scheme that focuses computation on "informative" examples, and reduces the variance of the stochastic gradients during training. Our contribution is twofold: first, we derive a tractable upper bound to the per-sample gradient norm, and second we derive an estimator of the variance reduction achieved with importance sampling, which enables us to switch it on when it will result in an actual speedup. The resulting scheme can be used by changing a few lines of code in a standard SGD procedure, and we demonstrate experimentally, on image classification, CNN fine-tuning, and RNN training, that for a fixed wall-clock time budget, it provides a reduction of the train losses of up to an order of magnitude and a relative improvement of test errors between 5% and 17%.

arXiv:1803.06978공식 코드 · Papers with Code

Improving Transferability of Adversarial Examples with Input Diversity

Though CNNs have achieved the state-of-the-art performance on various vision tasks, they are vulnerable to adversarial examples --- crafted by adding human-imperceptible perturbations to clean images. However, most of the existing adversarial attacks only achieve relatively low success rates under the challenging black-box setting, where the attackers have no knowledge of the model structure and parameters. To this end, we propose to improve the transferability of adversarial examples by creating diverse input patterns. Instead of only using the original images to generate adversarial examples, our method applies random transformations to the input images at each iteration. Extensive experiments on ImageNet show that the proposed attack method can generate adversarial examples that transfer much better to different networks than existing baselines. By evaluating our method against top defense solutions and official baselines from NIPS 2017 adversarial competition, the enhanced attack reaches an average success rate of 73.0%, which outperforms the top-1 attack submission in the NIPS competition by a large margin of 6.6%. We hope that our proposed attack strategy can serve as a strong benchmark baseline for evaluating the robustness of networks to adversaries and the effectiveness of different defense methods in the future. Code is available at https://github.com/cihangxie/DI-2-FGSM.

arXiv:1611.01505공식 코드 · Papers with Code

Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates

Adaptive gradient methods for stochastic optimization adjust the learning rate for each parameter locally. However, there is also a global learning rate which must be tuned in order to get the best performance. In this paper, we present a new algorithm that adapts the learning rate locally for each parameter separately, and also globally for all parameters together. Specifically, we modify Adam, a popular method for training deep learning models, with a coefficient that captures properties of the objective function. Empirically, we show that our method, which we call Eve, outperforms Adam and other popular methods in training deep neural networks, like convolutional neural networks for image classification, and recurrent neural networks for language tasks.

arXiv:1806.05236공식 코드 · Papers with Code

Manifold Mixup: Better Representations by Interpolating Hidden States

Deep neural networks excel at learning the training data, but often provide incorrect and confident predictions when evaluated on slightly different test examples. This includes distribution shifts, outliers, and adversarial examples. To address these issues, we propose Manifold Mixup, a simple regularizer that encourages neural networks to predict less confidently on interpolations of hidden representations. Manifold Mixup leverages semantic interpolations as additional training signal, obtaining neural networks with smoother decision boundaries at multiple levels of representation. As a result, neural networks trained with Manifold Mixup learn class-representations with fewer directions of variance. We prove theory on why this flattening happens under ideal conditions, validate it on practical situations, and connect it to previous works on information theory and generalization. In spite of incurring no significant computation and being implemented in a few lines of code, Manifold Mixup improves strong baselines in supervised learning, robustness to single-step adversarial attacks, and test log-likelihood.

arXiv:1806.05226공식 코드 · Papers with Code

Human Activity Recognition Based on Wearable Sensor Data: A Standardization of the State-of-the-Art

Human activity recognition based on wearable sensor data has been an attractive research topic due to its application in areas such as healthcare and smart environments. In this context, many works have presented remarkable results using accelerometer, gyroscope and magnetometer data to represent the activities categories. However, current studies do not consider important issues that lead to skewed results, making it hard to assess the quality of sensor-based human activity recognition and preventing a direct comparison of previous works. These issues include the samples generation processes and the validation protocols used. We emphasize that in other research areas, such as image classification and object detection, these issues are already well-defined, which brings more efforts towards the application. Inspired by this, we conduct an extensive set of experiments that analyze different sample generation processes and validation protocols to indicate the vulnerable points in human activity recognition based on wearable sensor data. For this purpose, we implement and evaluate several top-performance methods, ranging from handcrafted-based approaches to convolutional neural networks. According to our study, most of the experimental evaluations that are currently employed are not adequate to perform the activity recognition in the context of wearable sensor data, in which the recognition accuracy drops considerably when compared to an appropriate evaluation approach. To the best of our knowledge, this is the first study that tackles essential issues that compromise the understanding of the performance in human activity recognition based on wearable sensor data.

arXiv:1806.05789공식 코드 · Papers with Code

Image classification and retrieval with random depthwise signed convolutional neural networks

We propose a random convolutional neural network to generate a feature space in which we study image classification and retrieval performance. Put briefly we apply random convolutional blocks followed by global average pooling to generate a new feature, and we repeat this k times to produce a k-dimensional feature space. This can be interpreted as partitioning the space of image patches with random hyperplanes which we formalize as a random depthwise convolutional neural network. In the network's final layer we perform image classification and retrieval with the linear support vector machine and k-nearest neighbor classifiers and study other empirical properties. We show that the ratio of image pixel distribution similarity across classes to within classes is higher in our network's final layer compared to the input space. When we apply the linear support vector machine for image classification we see that the accuracy is higher than if we were to train just the final layer of VGG16, ResNet18, and DenseNet40 with random weights. In the same setting we compare it to an unsupervised feature learning method and find our accuracy to be comparable on CIFAR10 but higher on CIFAR100 and STL10. We see that the accuracy is not far behind that of trained networks, particularly in the top-k setting. For example the top-2 accuracy of our network is near 90% on both CIFAR10 and a 10-class mini ImageNet, and 85% on STL10. We find that k-nearest neighbor gives a comparable precision on the Corel Princeton Image Similarity Benchmark than if we were to use the final layer of trained networks. As with other networks we find that our network fails to a black box attack even though we lack a gradient and use the sign activation. We highlight sensitivity of our network to background as a potential pitfall and an advantage. Overall our work pushes the boundary of what can be achieved with random weights.

arXiv:2505.06592v2cs.CV공식 코드 · Papers with Code

대규모 언어 모델의 멀티모달 융합을 위한 단일모달 미세조정 기반 배치 증강

Batch Augmentation with Unimodal Fine-tuning for Multimodal Fusion of Large Language Models

본 논문에서는 멀티모달(multimodal) 학습을 위한 단일모달 미세조정(unimodal fine-tuning) 기반 배치 증강(batch augmentation) 기법을 제안합니다. 먼저 사전학습된 단일모달 모델에서 출발하여 응용 데이터로 해당 단일모달 모델들을 미세조정합니다. 그 후, 단일모달 모델들의 정보를 입력받아 출력을 제공하는 다층 퍼셉트론(MLP) 헤드를 구성합니다. 마지막으로 배치 증강을 적용하여 MLP 층과 단일모달 부분을 함께 학습합니다. 데이터에 따라 일부 단일모달 모델은 하드코딩된 스크립트나 AI 에이전트로 대체될 수 있습니다. 또한 데이터 증강이 가능한 경우 단일모달 학습 과정에서도 배치 증강을 따를 수 있습니다. 우리는 멀티모달 데이터에 대한 배치 증강을 구현하는 멀티모달 배치 증강 데이터로더 스크립트를 작성했습니다. 제안하는 방법은 FPU23 초음파 및 UPMC Food-101 멀티모달 데이터셋에서 검증되었습니다. 제안된 학습법을 적용한 멀티모달 대규모 언어 모델(LLM)은 두 데이터셋 전반에 걸쳐 조사된 기법들 중 가장 우수한 평균 결과를 달성했습니다. 문헌 조사에 따르면, 비전용으로 ViT-L/16 모델을, 텍스트용으로 GPT-2 모델을 적용했을 때 제안하는 방법은 UPMC Food-101 데이터셋에서 93.29%의 최고 수준(SOTA) 정확도를 달성했습니다. 우리는 제안하는 방법과 기존 대응 방식들의 스크립트를 github.com/dipuk0506/multimodal 저장소에 공개합니다.

arXiv:2506.01942v3cs.CV공식 코드 · Papers with Code

OD3: 객체 검출을 위한 최적화 없는 데이터셋 증류

OD3: Optimization-free Dataset Distillation for Object Detection

대규모 데이터셋으로 큰 신경망을 학습하려면 상당한 계산 자원이 필요하며, 특히 객체 검출과 같은 밀집 예측(dense prediction) 작업에서 그렇다. 데이터셋 증류(DD)는 더 큰 데이터셋으로부터 소형 데이터셋을 합성하여 이러한 부담을 줄이려는 방법으로 제안되었지만, 기존 연구의 대부분은 이미지 분류에만 집중하여 더 복잡한 검출 설정은 거의 다루지 않았다. 본 논문에서는 객체 검출을 위해 특별히 설계된 새로운 최적화 없는 데이터 증류 프레임워크인 OD3를 제안한다. 우리 접근법은 두 단계로 이루어진다. 첫째, 객체 인스턴스를 적합한 위치에 따라 합성 이미지에 반복적으로 배치하는 후보 선택 과정이고, 둘째, 사전학습된 observer 모델로 낮은 신뢰도 객체를 제거하는 후보 스크리닝 과정이다. MS COCO와 PASCAL VOC라는 두 대표적인 검출 데이터셋에서 압축률 0.25%부터 5%까지 데이터 합성 프레임워크를 적용하였다. 검출을 위한 기존 유일한 데이터셋 증류 방법 및 기존 코어셋 선택(core set selection) 방법과 비교했을 때, OD3는 더 높은 정확도를 보이며 새로운 최신(state-of-the-art) 결과를 달성하고, 압축률 1.0%에서 COCO mAP50 기준 이전 최고 방법보다 14% 이상 앞선다. 코드는 https://github.com/VILA-Lab/OD3 에서 제공된다.

arXiv:2407.09693v3cs.LG공식 코드 · Papers with Code

신경-기호 시스템을 위한 수학적 프레임워크와 학습 기법 모음

A Mathematical Framework and a Suite of Learning Techniques for Neural-Symbolic Systems

신경-기호(Neural-Symbolic, NeSy) 시스템 분야는 빠르게 성장하고 있다. 제안된 접근법들은 신경망 방법과 기호 방법의 공생적 결합을 달성하는 데 큰 가능성을 보여준다. 그러나 일반적인 NeSy 모델링 패턴을 정리하고 범용 학습 접근법을 개발하기 위해서는 통합 프레임워크가 필요하다. 본 논문에서는 판별적(discriminative) 및 생성적(generative) NeSy 모델링을 위한 통합 수학적 프레임워크인 신경-기호 에너지 기반 모델(Neural-Symbolic Energy-Based Models, NeSy-EBMs)을 소개한다. 중요하게도, NeSy-EBMs는 주요 학습 손실(loss)의 그래디언트에 대한 일반적 표현식을 유도할 수 있게 해주며, 우리는 이중수준(bilevel) 최적화와 확률적 정책 최적화를 포함한 여러 분야의 방법을 활용하는 네 가지 학습 접근법 모음을 소개한다. 마지막으로, 확장성과 표현력을 갖추도록 설계된 오픈소스 NeSy-EBM 라이브러리인 신경 확률적 소프트 논리(Neural Probabilistic Soft Logic, NeuPSL)를 통해 NeSy-EBM 프레임워크를 구체화하여 NeSy 시스템의 실세계 적용을 용이하게 한다. 여러 데이터셋에 걸친 광범위한 경험적 분석을 통해, 우리는 이미지 분류, 그래프 노드 레이블링, 자율주행차 상황 인식, 질의응답을 포함한 과제들에서 NeuPSL을 통해 구체화된 NeSy-EBMs를 연구한다. 결과는 연구된 설정들에서 이러한 구체화의 실용적 유용성에 대한 증거를 제공한다.

arXiv:2405.07338v2eess.IV공식 코드 · Papers with Code

망막 안저 분류를 위한 설명 가능한 합성곱 신경망과 안저 영상 기반 망막 혈관 최신 분할 모델

Explainable Convolutional Neural Networks for Retinal Fundus Classification and Cutting-Edge Segmentation Models for Retinal Blood Vessels from Fundus Images

당뇨망막병증, 녹내장, 연령 관련 황반변성과 같이 시력을 위협하는 질환의 조기 발견은 망막 안저 영상 분석에 달려 있으나, 수동 평가는 느리고 전문가 의존적이다. 자동화된 합성곱 신경망(CNN)은 안저 영상을 정확히 분류하지만 블랙박스처럼 동작하며, 기존 망막 혈관 분할 방법은 병리 상황에서 판별력을 잃고 어텐션(attention)이나 트랜스포머 백본을 거의 활용하지 않는다. FIVES 및 DRIVE 안저 데이터셋을 사용하여, 4클래스 질환 분류와 어텐션·트랜스포머 기반 혈관 분할을 결합한 2-파이프라인 프레임워크를 3단계로 구성했다. (1) FIVES 영상에 회전 및 수평·수직 뒤집기 증강을 적용하고, ImageNet 사전학습 CNN 8종—ResNet101, DenseNet169, Xception, InceptionV3, DenseNet121, InceptionResNetV2, ResNet50, EfficientNetB0—을 파인튜닝한다. (2) Grad-CAM, Grad-CAM++, Score-CAM, Faster Score-CAM, Layer-CAM 등 그래디언트 기반 설명 방법 5가지를 각 분류기의 최종 합성곱 층(block)에 대해 계산하고, 아키텍처 간 정성적으로 비교한다. (3) 혈관 분할을 위해 U-Net 변형 10종을 벤치마크한다: TransUNet(하이브리드 CNN–트랜스포머 인코더), Attention U-Net(게이트(skip) 연결), ResNet50V2·ResNet101V2·ResNet152V2 백본으로 평가하고, DenseNet 백본 Attention U-Net 구성 및 완전 트랜스포머 기반 Swin-UNet을 포함한다. 분류 정확도는 ResNet101이 최고로 94.17%(F1 0.942)이며 EfficientNetB0의 88.33%를 상회한다. 분할에서는 두 데이터셋 모두에서 아키텍처 순위가 일관된다: Attention U-Net > TransUNet > Swin-UNet. 최강 구성은 ResNet101V2 백본 Attention U-Net으로, FIVES IoU 0.722, Dice 0.838; DRIVE IoU 0.648, Dice 0.787이며, 기존 커스텀 U-Net 대비 DRIVE IoU를 60.80→64.83으로 끌어올린다.

arXiv:2502.02118v2cs.LG공식 코드 · Papers with Code

BRIDLE: 양자화를 활용한 일반화 자기지도 학습

BRIDLE: Generalized Self-supervised Learning with Quantization

자기지도 학습(self-supervised learning)은 다양한 도메인에서 레이블 없는 데이터로부터 의미 있는 표현을 학습하는 강력한 접근법으로, 대규모 레이블 데이터셋에 대한 의존을 줄여 왔다. 자연어 처리(NLP)에서 깊은 양방향 문맥을 포착한 BERT의 성공에 영감을 받아, BEATs와 같은 모델이 벡터 양자화(VQ)를 사용해 오디오 신호에 양방향 학습 패러다임을 확장하는 등 유사한 프레임워크가 오디오 등 다른 모달리티에도 적용되었다. 그러나 이러한 프레임워크는 양자화에 단일 코드book에 의존한다는 점 등의 과제에 직면하며, 이는 신호의 복잡하고 다면적인 성격을 충분히 포착하지 못할 수 있다. 또한 codebook 활용의 비효율은 code vector가 저활용되는 결과를 낳는다. 이러한 한계를 해결하기 위해, 우리는 양방향 학습 과정에 잔차 양자화(RQ)를 통합하고 오디오·이미지·비디오 사전학습(pre-training)에 일반화된 자기지도 인코더 사전학습 프레임워크인 BRIDLE(Bidirectional Residual Quantization Interleaved Discrete Learning Encoder)를 제안한다. 다층 계층적 codebook을 사용하는 RQ는 잠재 공간에서 세밀한 이산화를 가능하게 하여 표현 품질을 향상시킨다. BRIDLE는 인코더와 tokenizer 사이의 교차(interleaved) 학습 절차를 포함한다. 우리는 분류 벤치마크를 사용한 오디오 이해 과제에서 BRIDLE를 평가하여 최신(state-of-the-art) 결과를 달성했으며, 이미지 분류 및 비디오 분류 과제에서도 경쟁력 있는 성능을 보였고, 하류(downstream) 성능에서 기존 VQ 방식 대비 일관된 개선을 확인했다.

arXiv:2105.03358v4eess.IV공식 코드 · Papers with Code

소프트 어텐션을 통한 피부암 분류 성능 향상

Soft-Attention Improves Skin Cancer Classification Performance

임상 응용 분야에서 신경망(neural network)은 입력 영상에서 가장 중요한 영역에 집중하고 이를 강조할 수 있어야 합니다. 소프트 어텐션(Soft-Attention) 메커니즘은 신경망이 이러한 목표를 달성할 수 있도록 합니다. 본 논문에서는 심층 신경망 구조에서 소프트 어텐션의 효과를 조사합니다. 소프트 어텐션의 핵심 목적은 중요한 특징의 가치를 높이고 노이즈를 유발하는 특징을 억제하는 것입니다. 저자들은 피부 병변을 분류(classification)할 때 소프트 어텐션 메커니즘을 적용한 경우와 적용하지 않은 경우의 VGG, ResNet, InceptionResNetv2, DenseNet 구조의 성능을 비교합니다. 기존 네트워크에 소프트 어텐션을 결합했을 때 HAM10000 데이터셋(dataset) [25]에서 93.7%의 정밀도(precision)를 달성하여 기준선(baseline)[16]보다 4.7% 향상된 성능을 보였습니다. 또한, 소프트 어텐션 결합을 통해 ISIC-2017 데이터셋 [2]에서 기준선[31] 대비 민감도 점수를 3.8% 개선하며 91.6%를 달성했습니다. 코드는 GitHub에서 공개되어 있습니다.

arXiv:2505.23869v5stat.ML공식 코드 · Papers with Code

Gibbs 무작위성-압축 명제

Gibbs randomness-compression proposition

손실 압축 과정과 연관된 측정 벡터 집합에 대한 Gibbs 엔트로피를 통해 무작위성과 압축을 연결하는 명제를 제안한다. 이 연결을 구축하는 과정에서, 반복적인 압축-학습 주기에서 압축을 탐색하는 수단으로 학습 과제의 성능을 사용한다. 이는 열역학적 효율을 탐색 수단으로 사용하는 통계역학적 관점에서의 반복적 coarse-graining으로 볼 수 있다. 압축률의 매우 작은 감소와 성능 사이의 공단조(comonotonic) 관계를 통해 이 연결을 공식화한다. 기준선 모델로 세 가지 서로 다른 모델 압축 과정을 사용하여, 심층 학습의 정형적인 비전 과제에서 이 명제의 타당성을 입증한다. 다음의 단순한 것부터 복잡한 것까지의 모델 압축 접근법을 사용한다: (1) 무작위 가지치기, (2) 크기(magnitude) 가지치기, (3) 이중 방식의 압축 센싱(compressed sensing)을 활용하는 이중 tomographic 압축을 이용한 보다 복잡한 압축으로, 이는 새로운 방법으로 소개된다. 심층 학습 네트워크의 남은 가중치를 측정 벡터로 사용하여 Gibbs 엔트로피를 측정한다. 성능으로 탐색한 압축과 학습된 모델에 대한 엔트로피 측정으로부터 얻은 무작위성 사이에 본질적으로 계산 가능한 연결이 존재한다는 개념을 보여준다.

arXiv:2112.02353v3cs.CV공식 코드 · Papers with Code

레이블 계층 전이: 심층 분류기 향상을 위한 클래스 계층 구조 탐구

Label Hierarchy Transition: Delving into Class Hierarchies to Enhance Deep Classifiers

계층적 분류에서 기존 멀티태스크 학습의 한계인 계층 간 범주 상관관계 미활용 문제를 해결하기 위해, 레이블 계층 전이 행렬을 명시적으로 학습하는 전이 네트워크와 confusion loss로 구성된 LHT(Label Hierarchy Transition) 프레임워크를 제안한다. 공개 벤치마크 및 피부 병변 진단 과제에서 기존 최신 기법을 상회하는 성능을 달성하였으며, 기존 딥러닝 분류 네트워크에 최소한의 수정으로 적용 가능하다.

arXiv:2405.07332v2cs.CV공식 코드 · Papers with Code

PotatoGANs: 생성적 적대 신경망(GAN), 인스턴스 분할 및 설명 가능한 AI를 활용한 향상된 감자 병해 식별 및 분류

PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification

심층 학습(deep learning) 기법을 이용한 농업 병해 분할의 자동화는 다양한 응용 사례를 낳았다. 그러나 이러한 응용들은 새로운 환경에 적용될 때 과적합(overfitting) 문제에 자주 직면하여 분할 성능이 저하되는 어려움을 겪는다. 감자 농업에서는 병해가 수확량에 큰 영향을 미치므로, 신속하고 정확한 병해 식별이 농업 경제에 매우 중요하다. 회전, 반전, 이동과 같은 전통적인 데이터 증강(data augmentation) 방법은 한계가 있으며 강력한 일반화 결과를 제공하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 본 연구에서는 PotatoGANs이라 명명한 새로운 접근 방식을 제안한다. 이 새로운 데이터 증강 방법에서는 두 가지 유형의 생성적 적대 신경망(GAN)을 활용하여 건강한 감자 이미지로부터 합성 감자 병해 이미지를 생성한다. 이 접근 방식은 데이터셋(dataset)을 확장할 뿐만 아니라 다양성을 추가함으로써 모델(model) 일반화 향상에 기여한다. Inception score를 측정 지표로 사용한 실험 결과, PotatoGANs이 생성한 이미지의 우수한 품질과 사실성이 입증되었으며, 실제 병해 이미지와 밀접하게 유사한 이미지를 생성하는 능력이 강조되었다. CycleGAN 모델은 Pix2Pix GAN 모델보다 이미지 품질 면에서 우수한 성능을 보였는데, black scurf와 common scab에 대해 각각 1.2001과 1.0900의 더 높은 Inception score(IS)를 달성한 것이 그 근거이다. 이러한 합성 데이터는 대규모 신경망의 학습(training)을 크게 향상시킬 수 있다. 또한 데이터 수집 비용을 줄이는 동시에 데이터 다양성과 일반화 능력을 향상시킨다. 본 연구는 감자 병해 분류(classification)를 위해 세 가지 그래디언트(gradient) 기반 설명 가능한 AI 알고리즘(GradCAM, GradCAM++, ScoreCAM)을 세 가지 서로 다른 CNN 아키텍처(DenseNet169, ResNet152 V2, InceptionResNet V2)와 결합함으로써 해석 가능성을 향상시킨다.

arXiv:2503.09399v4cs.CV공식 코드 · Papers with Code

ForAug: Mitigating Biases in Image Classification via Controlled Image Compositions

ForAug는 이미지 분류 데이터셋의 구성적 편향(배경 의존성, 중심 편향, 크기 편향)을 완화하기 위해 학습 이미지를 전경 객체와 배경으로 분리한 뒤 재조합하는 데이터 증강 기법이다. 오프더쉘프 세그멘테이션·인페인팅 모델을 활용해 전경-배경 상관관계를 명시적으로 차단함으로써, 10개 아키텍처에서 ImageNet top-1 정확도를 최대 6 p.p., 분포 변화 벤치마크에서 최대 19 p.p. 향상시켰다.

arXiv:2409.17754v2cs.LG공식 코드 · Papers with Code

탈중앙화 연합학습 보안을 위한 비잔틴-강건 집계

Byzantine-Robust Aggregation for Securing Decentralized Federated Learning

탈중앙화 연합학습(DFL)에서 중앙 서버 전제의 비잔틴-강건 집계 기법이 보안에 취약한 문제를 해결하기 위해, 다중 필터로 비잔틴 공격을 식별·완화하고 동적 탈중앙 토폴로지의 강건성을 높이는 WFAgg 집계 알고리즘을 제안한다. IID 이미지 분류 실험에서 다양한 비잔틴 공격 하에서도 모델 정확도와 수렴을 유지하며 Multi-Krum·Clustering 등 중앙화 기반 최신 기법을 능가했다.

arXiv:2410.01574v4cs.CV공식 코드 · Papers with Code

실세계에서 AI 생성 이미지 탐지기의 적대적 강건성

Adversarial Robustness of AI-Generated Image Detectors in the Real World

생성형 AI 이미지 탐지기들이 실세계 조건에서 적대적 예제(adversarial examples)에 심각하게 취약함을 4가지 탐지 방법과 5가지 공격 알고리즘으로 검증하며, 블랙박스 공격만으로도 평균 AUROC를 87.5%에서 약 0%까지 낮출 수 있음을 보였다. 소셜 미디어 업로드 시 발생하는 압축·리사이즈 등의 품질 저하 후에도 공격이 유효하며, 상용 탐지 도구 HIVE에도 성공적으로 적용되었고, RobustCLIP 기반 방어가 강건성을 부분적으로 향상시키나 완전한 해결책에는 미치지 못함을 확인했다.

arXiv:2407.06136v4cs.CV공식 코드 · Papers with Code

Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Few-shot class-incremental learning (FSCIL) aims to incrementally learn novel classes from limited examples while preserving knowledge of previously learned classes. Existing methods face a critical dilemma: static architectures rely on a constant parameter space to learn from data that arrive sequentially, making them prone to overfitting to the current session, while dynamic architectures continually expand the parameter space, leading to increased complexity. In this study, we explore the potential of Selective State Space Models (SSMs) for FSCIL. Mamba leverages its input-dependent parameters to dynamically adjust its processing patterns and generate content-aware scan patterns without session-wise projector expansion. This enables it to configure distinct processing for base and novel classes, helping preserve existing knowledge while adapting to new ones. To leverage Mamba's potential for FSCIL, we design two key modules: First, we propose a dual selective SSM projector that generates input-conditioned state-space parameters from intermediate features for dynamic adaptation. The dual design structurally decouples base and novel-class processing, employing a frozen base branch to maintain stable base-class features and a dynamic incremental branch that adaptively learns distinctive feature shifts for novel classes. Second, we develop a class-sensitive selective scan mechanism to guide dynamic adaptation of the incremental branch. It reduces the disruption to base-class representations caused by training on novel data, and meanwhile, encourages the selective scan to perform in distinct patterns between base and novel classes. Extensive experiments on miniImageNet, CIFAR-100, and CUB-200 demonstrate that Mamba-FSCIL achieves state-of-the-art performance.

arXiv:2403.18957v3cs.CY공식 코드 · Papers with Code

대규모 비전-언어 모델을 활용한 안전하지 않은 사용자 생성 콘텐츠 게임의 불법 온라인 이미지 홍보 조절

Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models

온라인 사용자 생성 콘텐츠 게임(UGCGs)은 사회적 상호작용과 더 창의적인 온라인 엔터테인먼트를 위해 어린이와 청소년 사이에서 점점 인기를 얻고 있습니다. 그러나 이들은 노골적인 콘텐츠에 노출될 높은 위험을 초래하며, 어린이와 청소년의 온라인 안전에 대한 우려를 증폭시키고 있습니다. 이러한 우려에도 불구하고, 우연히 어린 사용자를 유혹할 수 있는 소셜 미디어상의 안전하지 않은 UGCG의 불법 이미지 기반 홍보 문제를 다룬 연구는 거의 없습니다. 이러한 도전은 UGCG 이미지에 대한 포괄적인 학습 데이터를 확보하기 어렵고, 기존의 안전하지 않은 콘텐츠와는 다른 이러한 이미지의 독특한 특성에서 기인합니다. 본 연구에서는 안전하지 않은 UGCG의 불법 홍보 위협을 연구하는 최초의 단계를 내딛습니다. 우리는 게임 제작자가 UGCG를 홍보하기 위해 사용하는 다양한 성적으로 노골적이고 폭력적인 콘텐츠를 표시하는 2,924개의 이미지로 구성된 실제 데이터셋을 수집했습니다. 우리의 심층 연구는 이 문제에 대한 새로운 이해와 불법 UGCG 홍보를 자동으로 식별할 필요성의 시급성을 밝혀냈습니다. 또한, 우리는 소셜 미디어 플랫폼이 불법 UGCG 홍보에 사용되는 이미지를 효과적으로 식별하도록 돕기 위해 설계된 최첨단 시스템인 UGCG-Guard를 개발했습니다. 이 시스템은 최근 도입된 대규모 비전-언어 모델(VLMs)을 활용하고, 제로샷 도메인 적응을 위한 새로운 조건부 프롬프팅 전략과 문맥 식별을 위한 사고의 연쇄(CoT) 추론을 사용합니다. UGCG-Guard는 실제 시나리오에서 이러한 게임의 불법 홍보에 사용되는 이미지를 감지하는 데 있어 94%의 정확도를 기록하는 탁월한 결과를 달성했습니다.