arXiv:2605.22751v2 cs.CV

AI 생성 이미지 탐지를 위한 스펙트럼 꼬리 보조 학습

Spectral Tail Auxiliary Learning for AI-Generated Image Detection

Xingyi Li, Jiahui Zhang, Yiheng Li, Yun Cao, Wenhao Wang

제출 2026-05-21

한국어 초록

생성형 이미지 모델이 빠르게 발전함에 따라 생성된 이미지와 실제 이미지 간의 지각적 격차가 계속 줄어들고 있으며, 이로 인해 AI 생성 이미지 탐지가 점점 더 어려워지고 있습니다. 기존의 많은 방법은 주파수 영역(frequency-domain) 단서를 탐지에 활용하며, 이는 대개 주파수 영역 아티팩트 또는 고주파 불일치로 설명됩니다. 그러나 구체적이고 반복적으로 나타나는 스펙트럼 규칙성에 대한 이해와 특성 분석은 여전히 미흡한 상태입니다. 본 논문에서는 실제 이미지와 생성된 이미지의 1차원 방사형 로그 파워 스펙트럼(one-dimensional radial log-power spectra)을 체계적으로 분석합니다. 그 결과, 생성된 이미지가 전체 스펙트럼이나 고주파수 대역 전반에서 반드시 더 높거나 낮은 에너지를 나타내는 것은 아님을 발견했습니다. 대신 이들의 스펙트럼은 멱법칙 감쇠(power-law decay)에서 벗어나 초고주파 꼬리 부분에서 변칙적인 상승을 보입니다. 저자들은 이 현상을 '스펙트럼 꼬리 상승(spectral tail uplift)'이라고 명명합니다. 나아가 이 현상이 학습된 생성 모델 내부의 비선형 고조파 누적(nonlinear harmonic accumulation)에 기인함을 밝히며, 이것이 다양한 생성 아키텍처 전반에서 구조적 단서로 작용할 수 있음을 제시합니다. 이러한 관찰을 바탕으로 일반화 가능한 AI 생성 이미지 탐지를 위한 주파수 영역 보조 지도 프레임워크인 STAL(Spectral Tail Auxiliary Learning)을 제안합니다. STAL은 학습(training) 중에 꼬리 인식 주파수 교사(tail-aware frequency teacher)로부터 공간 탐지기로 스펙트럼 꼬리 단서를 전이하며, 추론(inference) 시점에는 모든 주파수 영역 모듈을 제거합니다. 결과적으로 STAL은 추론 오버헤드를 발생시키지 않습니다. 9개의 공개 데이터셋에 대한 광범위한 실험을 통해 STAL이 다양한 생성기, 데이터 분포 및 실제 환경 시나리오 전반에서 뛰어난 일반화 성능과 안정성을 달성함을 입증합니다.

원문 초록

As generative image models evolve rapidly, the perceptual gap between generated and real images continues to narrow, making AI-generated image detection increasingly challenging. Many existing methods exploit frequency-domain cues for detection, typically described as frequency-domain artifacts or high-frequency discrepancies. However, the specific and recurring spectral regularities remain insufficiently understood and characterized. In this paper, we systematically analyze the one-dimensional radial log-power spectra of real and generated images. We find that generated images do not necessarily exhibit higher or lower energy across the entire spectrum or high-band range. Instead, their spectra deviate from the power-law decay and show an anomalous uplift in the ultra-high-frequency tail. We term this phenomenon spectral tail uplift. We further attribute this phenomenon to nonlinear harmonic accumulation in trained generative models, suggesting that it can serve as a structural cue across generative architectures. Based on this observation, we propose Spectral Tail Auxiliary Learning (STAL), a frequency-domain auxiliary supervision framework for generalizable AI-generated image detection. STAL transfers spectral-tail cues from a tail-aware frequency teacher to a spatial detector during training, while all frequency-domain modules are discarded at inference time. Consequently, STAL introduces no inference overhead. Extensive experiments on 9 public datasets show that STAL achieves strong generalization and stability across generators, data distributions, and real-world scenarios.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.22751v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11012v2cs.CL공통 태그 Knowledge Distillation

EasyOPD: 대규모 언어 모델을 위한 사용하기 쉬운 온-정책 지식 증류 프레임워크

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

기존의 언어 모델 지식 증류는 고정된 교사 생성 데이터에 의존하는 경우가 많은데, 이는 진화하는 학생 정책이 마주치는 상태를 충분히 포괄하지 못할 수 있다. 온-정책 지식 증류(OPD)는 대신 학생이 생성한 롤아웃에 대해 교사 또는 평가자의 감독을 수집한다. 그러나 기존 OPD 방법들은 감독 형식, 토크나이저 호환성, 교사 접근 방식, 감독 세분성 면에서 크게 상이하여, 재현 및 확장이 어려운 파편화된 구현들로 이어졌다. 우리는 대규모 언어 모델을 위한 분산 강화학습 프레임워크인 verl 위에 구축된 온-정책 지식 증류 프레임워크 EasyOPD를 제시한다. EasyOPD는 사용자 측 설정, 방법별 감독 로직, verl 기반 실행을 분리한다. 방법 모듈은 손실 구성, 롤아웃 메타데이터, 보상 처리, 토크나이저 정렬, 교사 측 연산을 위한 확장 경계를 통해 공유 백엔드에 연결된다. 우리는 교차-토크나이저 OPD, 온-정책 자기 지식 증류, 단계별 OPD의 세 가지 OPD 설정에 대한 대표 방법을 구현한다. 추론, 코드 생성, 과학 지식, 도구 사용 벤치마크에서의 실험 결과, 이 구현들이 방법별 목표와 과제 의존적 성능 프로파일을 유지하면서 동일한 verl 기반 백엔드를 통해 실행될 수 있음을 보여준다. 우리는 실행 가능한 YAML 설정, 문서, 설치 가능한 시연 패키지 및 영상과 함께 EasyOPD를 공개한다.

arXiv:2607.08170v2cs.LG공통 태그 Knowledge Distillation

모델 크기 보간에서의 층 패칭 이해

Understanding Layer Patching in Model Size Interpolation

레이어 패칭(layer patching)은 대규모 언어 모델(LLM)의 모델 크기 보간을 위한 핵심 기법으로, 증류된 학생 모델의 레이어 일부를 대응하는 교사 모델의 레이어로 대체하여 추가 학습 없이 중간 크기의 모델을 구성한다. 기존 연구는 레이어를 패치하는 순서를 대체로 무시하였으나, 우리는 이 순서가 결과 모델의 성능과 신뢰성에 극적인 영향을 미칠 수 있음을 보인다. 본 연구에서는 모델 크기 보간에서 레이어 패칭의 역할을 연구한다. 우리는 각 모델 크기에 대한 최적의 레이어 부분집합을 찾는 문제를 최적화 문제로 정식화하고, 이것이 특정 비순환 그래프에서의 최단 경로 문제로 볼 수 있음을 증명한다. 실험에서 패칭이 보간 거동을 크게 좌우하며 그 효과가 모델 계열에 따라 상당히 다름을 보인다. 또한 첫 번째 레이어에서 마지막 레이어로, 또는 마지막에서 첫 번째로 패치하는 단순한 순차 전략이 실제로 놀라울 만큼 강한 성능을 내는 경우가 많음을 발견한다. 나아가 KL 발산에 기반한 탐욕적 패칭 알고리즘인 KLPatch를 도입하는데, 이는 마지막에서 첫 번째로 패치하는 방식보다 성능이 향상되는 경우가 많으며 최적화 문제를 근사적으로 푼다. 종합하면 우리의 결과는 레이어 패칭이 모델 크기 보간에 어떻게 영향을 미치는지에 대한 원리적 이해를 제공하며, 거의 최적에 가까운 보간 모델을 구성하기 위한 실용적 지침을 제시한다. 코드와 모델은 https://github.com/dcml-lab/boomerang-distillation 에서 이용할 수 있다.

arXiv:2607.19358v3cs.AI공통 태그 Knowledge Distillation

LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

DeepSeek-R1과 같은 긴 사고 사슬(CoT) 추론 모델은 테스트 시점 스케일링 하에서 추론 사슬을 계속 늘리고 있으나, 표준 셀프 어텐션은 문맥 길이에 대해 이차 비용이 들어 긴 CoT의 실서비스 배포를 고비용으로 만든다. 이에 본 논문은 전체 사전학습이 필요 없는 셀프 어텐션의 플러그 앤 플레이 대체 방식인 LISA(Linear-Indexed Sparse Attention)를 제안한다. LISA는 장거리 메모리를 위한 선형 어텐션 분기와, 희소 셀프 어텐션 분기를 위해 가장 관련성 높은 토큰을 동적으로 선택하는 Lightning Indexer를 결합한다. 두 분기는 학습된 게이트를 통해 융합되어, 모델이 폭넓은 문맥을 유지하면서 연산을 정보량이 많은 토큰에 집중시킨다. LISA는 두 단계로 학습한다. 1단계에서는 선형 어텐션 분기를 슬라이딩 윈도 어텐션과 통합하고, 고정된 교사 모델의 전체 어텐션 분포로부터 증류한다. 2단계에서는 Lightning Indexer가 정적 윈도를 대체하며, 교사의 어텐션 패턴을 모방하도록 헤드별 KL 발산 목적함수로 학습된다. 그 결과 모델은 eager 모드 셀프 어텐션 연산을 시퀀스 길이에 대한 이차에서, 생성된 토큰 수와 선택된 문맥 예산에 대한 선형으로 줄인다. DeepSeek 증류 Qwen 모델에 대한 실험에서 LISA는 긴 문맥 추론 품질을 저하시키지 않으면서 16K 문맥에서 측정된 eager 모드 평균 샘플 지연 시간을 23.9% 줄인다. 9개의 수학 및 코드 추론 벤치마크 전반에서 게이트 방식 LISA-1.5B 모델은 전체 어텐션 기준 모델 대비 동일 가중 벤치마크 평균을 4.2%p 향상시킨다.

arXiv:2607.05184v2cs.AI공통 태그 Knowledge Distillation

사고 모델을 위한 온-정책 자기 지식 증류의 재고찰

Rethinking On-Policy Self-Distillation for Thinking Models

온폴리시 자기 증류(OPSD)는 재귀적 자기 개선을 위한 유망한 접근법이다. 이 설정에서 모델은 수학 문제의 풀이와 같은 특권 정보가 추가되면 스스로의 교사 역할을 한다. 사고 모델은 숙고하고 검증하며 자기 수정할 수 있으므로 이런 방식으로 스스로를 가르치기에 특히 유리해 보인다. 놀랍게도 우리는 OPSD가 긴 추론 흔적에서 사고 모델의 성능을 저하시킴을 보인다. AIME24, AIME25, HMMT25에서 평가한 5개의 Qwen3 및 OLMo 사고 모델에서 특권 맥락 증류는 avg@16 정확도의 최대 17\% 상대적 하락을 일으킨다. 이러한 성능 저하는 학생에게 숨겨진 특권 맥락의 양에 따라 커지며, 사고 모델이 본래 가장 큰 이득을 얻는 긴 롤아웃 예산에서 가장 두드러진다. 이 실패 양상은 더 큰 특권 교사로부터의 증류로도 확장된다. 온폴리시 증류(OPD)는 사고 모델을 개선하지만, 특권 OPD는 이러한 이득을 되돌린다. 우리의 진단은 특권 교사 맥락이 고엔트로피 분기 위치, 즉 여러 후속 전개가 그럴듯하게 남아 서로 다른 추론 경로로 이어질 수 있는 롤아웃 위치에서 학습을 재편함을 시사한다. 특권 맥락은 사고 모델 롤아웃에서는 분기율을 낮추지만 지시 튜닝 모델 롤아웃에서는 그렇지 않으며, 이는 OPSD 학습이 사고 모델보다 지시 모델에 더 안정적으로 도움이 된다는 관찰을 설명할 수 있다. 자기 수정 분기에서 특권 OPD는 기본 OPD가 지지하는 샘플링된 재고 토큰에 불이익을 준다. 이와 일관되게, 특권 교사로 학습한 사고 모델은 길이 정규화 후에도 검증, 되돌아가기, 완곡 표현 표지를 더 적게 생성한다. 이러한 결과는 강력한 사고 모델에 자기 증류 방법을 적용하려면 토큰 수준의 신호, 특히 수정 및 핵심 추론 단계와 관련된 토큰 주변의 신호에 대한 추가적인 고려가 필요함을 나타낸다.

arXiv:2610.13740v2cs.RO공통 태그 Knowledge Distillation

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.

arXiv:2607.12455v4cs.AI공통 태그 Knowledge Distillation

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.