PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23265v1cs.CV

WaveZip: 비디오 토큰 응집을 위한 웨이블릿 기반 시공간 분리

WaveZip: Wavelet-Driven Space-Time Decoupling for Video Token Condensation

기존 대규모 비전-언어 모델(LVLM)은 시각 토큰의 이차 계산 비용으로 인해 장시간 비디오 이해에 어려움을 겪는다. 최근의 효율적인 방법들은 강한 가지치기나 균일 병합을 통해 토큰을 압축하려 시도하지만, 견고한 구조적 문맥과 구별력 있는 의미적 세부 정보가 본질적으로 얽혀 있는 공간 특징 영역에서만 동작한다. 본 연구에서는 효율적인 비디오 추론을 위한 신호-주파수 영역 공동 프레임워크인 WaveZip을 제안한다. 시간적 중복은 저역 통과 근사 스케일에 존재하고 공간적 현저성(saliency)은 고주파 성분과 강하게 상관관계가 있다는 통찰에 기반하여, WaveZip은 이산 웨이블릿 변환(DWT)을 활용해 이러한 신호를 분리한다. 시간 축에서는 1차원 DWT를 사용해 쿼리-프레임 관련성을 분석하며, 그 결과 고주파 계수는 프레임 간 차이로 추가 게이팅되고, 두 신호가 공동으로 정밀한 프레임 수준 토큰 예산의 동적 할당을 주도한다. 공간 축에서는 2차원 DWT가 특징을 저주파 근사와 고주파 세부 성분으로 분해하며, 쿼리 현저 영역 내에서 고주파 계수를 조절하여 공간 재구성을 제어한다. 중요하게, WaveZip은 과제별 학습이 필요 없으며 기성 LVLM에 원활하게 통합되어 추론 효율을 높일 수 있다. 장시간 비디오 이해 벤치마크에 대한 광범위한 실험에서 WaveZip은 극단적인 10배 압축 비율에서도 전체 성능의 99.6%를 유지하며, 최신 방법들을 지속적으로 능가함을 보여준다.

arXiv:2607.12599v1cs.LG

자원 제약 엣지 디바이스를 위한 경량 다중 스케일 이상 탐지

Lightweight Multi-Scale Anomaly Detection for Resource-Constrained Edge Devices

시계열 이상 탐지는 IoT 시스템, 센서 네트워크, 엣지 모니터링 애플리케이션에서 점점 더 중요해지고 있으며, 이러한 환경에서는 모델이 메모리, 지연 시간(latency), 전력 소비에 대한 엄격한 제약 하에서 동작해야 한다. 최근 딥러닝 접근법들이 탐지 정확도를 향상시켰지만, 많은 방법은 여전히 계산 비용이 크며 다중 스케일 민감도가 제한되어 미세한 이상을 포착하지 못하는 경우가 많다. 오토인코더(autoencoder)는 정상 패턴을 잘 재구성하므로 이상 탐지에 널리 사용되며, 이상 입력에 대해서는 재구성 오류가 커진다. 그 단순성과 효율성은 다중 스케일 입력을 처리하는 경량 백본으로도 적합하다. 이러한 과제를 해결하기 위해, 우리는 단변량 시계열 이상 탐지를 위한 경량 다중 스케일 오토인코더(Lightweight MultiScale AutoEncoder, LMSAE) 네트워크를 제안한다. 이 모델은 컴팩트하고 계산 효율적으로 설계되었다. LMSAE는 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT)을 활용해 다중 스케일 특징을 추출하고, 미세하거나 숨겨진 이상에 대한 민감도를 높이기 위해 다중 스케일 손실 함수를 사용한다. 벤치마크 데이터셋에서의 실험은 훨씬 적은 파라미터와 500KB 미만의 모델 크기에도 불구하고 경쟁력 있거나 우수한 탐지 성능을 보여준다. LMSAE는 NVIDIA Jetson Nano에서 낮은 지연 시간·낮은 전력의 추론을 달성하며, 추론 지연 시간은 9배, 전력 소비는 2배 감소시켜 엣지 배포에 이상적이다.

arXiv:2607.09826v1cs.CV

객관적 난서증 탐지를 향하여: 온라인 필기 분석을 위한 다중 분기 심층 학습 접근법

Towards Objective Dysgraphia Detection: A Multi-Branch Deep Learning Approach for Online Handwriting Analysis

난서증(Dysgraphia)은 학령기 아동에게 널리 나타나는 특정 학습 장애로, 필기의 일관성·품질·유창성·가독성에 영향을 미쳐 학업 성취와 초기 학습 발달을 저해하는 경우가 많습니다. 이 운동 협응 장애는 일반적으로 임상의 관찰에 기반한 주관적 평가를 통해 진단되는데, 이는 시간이 많이 소요되고 가변성이 발생하기 쉽습니다. 본 논문에서는 디지타이징 태블릿으로 수집된 온라인 필기 데이터를 활용한 객관적 난서증 탐지를 위한 심층 학습 기반 프레임워크를 소개합니다. 제안 프레임워크는 두 개의 상호 보완적 분기로 구성됩니다. 첫 번째 파이프라인은 원시 시계열 신호로부터 수작업 설계 및 임베딩 기반 운동학적 특징을 직접 추출하고, 두 번째 파이프라인은 연속 웨이블릿 변환(CWT)과 그라미안 각도 필드(GAF)를 사용하여 생성된 시계열 신호의 이미지 기반 표현을 활용합니다. 추출된 특징들은 두 표현의 상호 보완적 강점을 활용하기 위해 융합됩니다. 네 가지 표현은 공개 데이터셋인 DiaGraMo를 사용하여 개별 및 결합 방식으로 평가되었으며, GAF·MOMENT·수작업 설계 운동학적 특징의 융합이 각 개별 표현 및 다른 융합 방식보다 우수한 성능을 보임을 확인하였습니다. 이러한 결과는 보다 객관적인 난서증 탐지를 위한 이미지 및 신호 기반 표현의 상호 보완성이 지닌 잠재력을 보여줍니다.

arXiv:2607.01906v1cs.CV

SFKD: 다중 레벨 웨이블릿 스펙트럼 상호작용을 통한 공간-주파수 공동 인식 이종 지식 증류

SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction

CNN에서 Transformer까지 이종(heterogeneous) 모델 간 지식 증류 시 공간 분포 불일치 문제를 해결하기 위해, SFKD 프레임워크는 다중 레벨 이산 웨이블릿 변환(MDWT)으로 공간 정보를 명시적으로 분리하고 이중 스트림 이중 단계 정제 모듈(DS²SR)과 가우시안 필터링 주파수 손실(GFFL)을 결합해 공간-주파수 공동 인식 기반의 효과적인 지식 전이를 수행한다. CIFAR-100 및 ImageNet-1K 벤치마크에서 동종·이종 모델 설정 모두에 걸쳐 기존 이종 증류 방법 대비 우수한 성능을 달성했다.

arXiv:2607.02046v1cs.LG

Fast and Accurate Anomaly Detection in Time Series

Haar 이산 웨이블릿 변환(Discrete Wavelet Transform)과 통계적 $t$-test를 결합한 비지도 시계열 이상 탐지(anomaly detection) 알고리즘 DWTt-test를 제안하며, 슬라이딩 윈도우 기반의 다중 해상도 분해를 통해 레이블 없이도 이상 점수를 산출한다. 343개 데이터셋에 걸친 대규모 실험에서 기존 비지도 및 자기지도(self-supervised) 벤치마크를 능가하며 $\mathcal{O}(N)$ 선형 시간 복잡도로 실시간 배포에도 적합함을 보인다.

arXiv:2606.18729v3stat.ML

TimeLAVA: 시계열을 위한 학습 무관 데이터 가치 평가

TimeLAVA: Learning-Agnostic Valuation for Time Series Data

데이터 가치 평가는 체계적인 데이터 큐레이션, 품질 관리 및 강건한 학습을 가능하게 하기 위해 개별 샘플의 내재적 품질을 정량화합니다. 의료, 금융 및 산업 모니터링과 같은 중요한 도메인의 시계열 데이터의 경우, 효과적인 가치 평가 방법은 필수적이지만 근본적으로 부족합니다. 기존 접근 방식은 모델 의존적이어서 일반화 가능성을 제한하거나, 독립 동일 분포(i.i.d.) 데이터용으로 설계되어 순차 데이터에 내재된 시간적 의존성, 다중 스케일 패턴 및 비정상성 동역학을 포착하지 못합니다. 우리는 평가 대상 데이터와 참조 데이터 간의 분포 차이를 최소화하는 데 대한 시계열 세그먼트의 한계 기여도를 기반으로 가치를 매기는 학습 무관 프레임워크인 TimeLAVA를 소개합니다. 그 핵심은 시간적 국소화를 위한 다중 스케일 웨이블릿 변환과 분포 변화에 대한 강건성을 위한 불균형 최적 전송을 결합한 새로운 선택적 웨이블릿 기반 와서스타인 차이입니다. 세그먼트 값은 모델 학습 없이 민감도 분석을 통해 효율적으로 계산되며 점별 점수로 집계됩니다. 우리는 가치 평가와 모델 무관 일반화를 연결하는 이론적 보장을 제공하고 이상치 오염에 대한 유계 민감도를 증명합니다. 이상 탐지, 데이터 가지치기 및 레이블 노이즈 탐지에 걸친 광범위한 실험을 통해 TimeLAVA가 다양한 실제 데이터셋에서 기존 방법보다 훨씬 더 유익한 가치 점수를 생성함을 입증합니다.

arXiv:2606.30030v1cs.CV

CogSENet: 블러 조건부 의미론적 라우팅과 명시적 주파수 융합을 통한 블라인드 이미지 디블러링

CogSENet: Blind Image Deblurring with Blur-Conditioned Semantic Routing and Explicit Frequency Fusion

블라인드 이미지 디블러링은 복잡하고 미지의 열화로부터 고충실도 세부 정보와 일관된 구조를 복원해야 합니다. 현재의 블라인드 이미지 디블러링 방법들은 실세계의 공간적으로 변화하는 열화에 어려움을 겪으며, 유효한 텍스처와 아티팩트를 신뢰성 있게 구분하는 데 필요한 의미론적 인식 능력이 부족합니다. 이 간극을 해소하기 위해, 우리는 독수리의 시각 시스템에서 영감을 받은 동적이고 의미론적으로 정렬된 복원 프레임워크인 CogSENet을 제안합니다. 독수리의 능동적인 새캐이드(saccadic) 스캐닝을 모방하여, 미분 가능한 라우팅을 통한 의미론적 인식 토큰 재그룹화를 갖춘 Semantic-Driven State Space Module(SDSSM)을 설계하여, 프롬프트 조건부 장거리 의존성 모델링을 가능하게 합니다. 텍스처와 구조의 물리적으로 해석 가능한 복원을 보장하기 위해, BiFreqFusionBlock(BFFB)은 웨이블릿 변환을 사용하여 특징을 고주파수와 저주파수로 분해함으로써 독수리 망막의 기능적 분화를 반영합니다. 마지막으로, 블러 이미지로부터 연속적인 블러 필드(Blur Field, CBF)를 추정하고 이를 CLIP 의미론적 사전(prior)과 융합하여 가장 깊은 잠재 특징을 변조함으로써, 초점 적응을 모방하고 공간적으로 비균일한 블러 하에서 적응적 복원을 가능하게 합니다. 광범위한 실험을 통해 CogSENet이 더 적은 파라미터로 시각적 품질과 구조적 충실도 모두에서 최첨단 디블러링 방법들을 능가하며, 디헤이징(dehazing), 디레이닝(deraining), 디노이징(denoising) 작업에서도 우수한 성능을 보임을 입증합니다.

arXiv:2606.23336v1cs.CL

WaveDetect: 웨이블릿 변환을 통한 기계 생성 텍스트 탐지를 위한 견고한 프레임워크

WaveDetect: Robust Framework for Machine-Generated Text Detection via Wavelet Transform

LLM 생성 텍스트 탐지를 시간-주파수 영역의 신호 처리 문제로 재공식화한 WaveDetect는 토큰 확률 신호에 미분 가능한 연속 웨이블릿 변환(CWT)을 적용해 시간 영역에서 보이지 않는 스펙트럼 지문을 학습 가능한 표현으로 추출한다. RAID, EvoBench, Domain-Shift 평가에서 적대적 공격, 도메인 전환, 미경험 LLM 진화 상황에서도 높은 정확도와 견고성을 보이며 기존 최고 수준을 넘는 성능을 달성했다.

arXiv:2606.18644v1cs.CV

고효율 및 저전력 이미지 복원을 위한 스파이킹 피라미드 웨이블릿 변환

Spiking Pyramid Wavelet Transformation for High-efficient and Low-energy Image Restoration

스파이킹 신경망(SNNs)은 효율성과 생물학적 영감에 대한 잠재력으로 인해 컴퓨터 비전(CV) 분야에서 상당한 관심을 받아왔습니다. 스파이킹 CNN 기반 방법은 이미지 복원(IR) 작업에서 가능성을 보여주었으나, CNN 연산의 고유한 수용장(receptive field) 한계로 인해 성능이 제약받습니다. 본 논문에서는 이산 웨이블릿 변환의 이점을 탐구하고, 고효율 및 저전력이라는 목표를 달성하기 위해 스파이킹 피라미드 웨이블릿 기반 모델(SPWM)을 제안합니다. 구체적으로, 장거리 의존성(long-range dependency)을 모델링하고 웨이블릿 영역에서 열화(degradation) 특성을 활용하기 위해 스파이킹 듀얼 피라미드 웨이블릿(SDPW) 블록을 개발했습니다. 여러 벤치마크에 대한 실험 결과, SPWM은 이미지 품질을 유지하면서도 계산 비용과 에너지 소비를 획기적으로 줄이는 것으로 나타났습니다. 우리의 방법은 이미지 복원(IR) 분야에서 SNN의 잠재력을 보여주며, 자원이 제한된 기기에 대한 향후 응용을 위한 새로운 통찰력을 제공합니다.

arXiv:2606.06573v1physics.flu-dyn

트랜스포머 어텐션 필드의 다중스케일 POD: 모를렛 스칼로그램을 통한 스케일 선택적 분석

Multiscale POD of Transformer Attention Fields: Scale-Selective Analysis via Morlet Scalogram

난류 유동 앙상블에서 에너지적으로 우세한 모드를 추출하는 데 POD를 사용한 연구에서 영감을 받아, 트랜스포머 어텐션 필드에 대한 스케일 선택적 적절 직교 분해(POD)를 제안한다. 모를렛 연속 웨이블릿 변환은 문서 앙상블 전체에 걸친 어텐션 지연 구조에서 지배적인 시간 스케일을 식별하고, POD는 각 스케일에서 어텐션 필드 앙상블로부터 에너지적으로 우세한 모드를 추출한다. 그 결과 모드는 층에 따른 스케일 조직을 드러내며, 초기 층은 미세 스케일을 강조하고 후기 층은 더 거친 스케일로 이동한다. POD 고유값 감쇠율로부터 스펙트럼 집중 지수를 정의하고, 이것이 어텐션 필드 복잡도에 따라 층을 구분함을 경험적으로 보인다. 고전적 POD 최적성 정리에 따르면, 추출된 모드는 앙상블에 대한 평균 L2 재구성 오차를 최소화하며(정리 1), 이는 각 층에 대한 데이터 기반 유효 랭크를 제공한다. 이 방법은 아키텍처 수정이나 언어학적 주석이 필요하지 않으며, 지배적인 어텐션 패턴은 앙상블 통계만으로 나타난다. 난류 유동에 대한 유비는 물리적이기보다 구조적이다. 우리는 유체 역학 자체가 아니라 앙상블 공분산과 모드 분석을 빌려 쓴다.