PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11572v2cs.CV

Match the Amplitude, Not the Layout: Phase-Aware Distillation from RGB Foundation Models to Infrared Detection

Cross-modal distillation measures a single similarity per frequency band, observes that the high band is near zero, and concludes that it should be aligned loosely. That inference conflates the kind of disagreement with its degree. We decompose the agreement between a frozen RGB foundation teacher and an infrared (IR) student into two components that a scalar similarity confounds: phase, which encodes the spatial position of structure, and amplitude, which encodes its magnitude. Measured on several hundred registered pairs prior to any training, the two components diverge: for periods finer than 60 px amplitude agreement remains at 0.52, while phase coherence falls to 0.06, indistinguishable from chance. What ceases to transfer at fine scales is spatial location, not magnitude. The high band, therefore, requires a different quantity rather than a smaller weight: we supervise the low band as a complex-valued feature and the high band in amplitude alone. The cut-off is not tuned on accuracy but derived as the radius at which teacher content ceases to be linearly recoverable from the student, yielding rc=0.47. A single distilled IR backbone, reused without re-distillation, attains 64.1 mAP50 on KAIST Person (+2.4 over the DINOv2 baseline) and initializes FLIR detection (+2.1 mAP50) and MFNet segmentation (+1.85 mIoU); the same objective also improves a ResNet-50 student (+1.0 mAP50). All reported results use a DINOv2 ViT-Large teacher. Code and the distilled backbone are available at github.com/tkeval/freq_decoupled_kd.

arXiv:2610.10998v1cs.LG

F$^3$NO: 교차 스케일 조건화를 결합한 주파수 분해 기반 유한 시간 유동 사상 신경 연산자

F$^3$NO: Frequency-Decomposed Finite-Time Flow-map Neural Operators with Cross-Scale Conditioning

신경 연산자(Neural operator)는 빠른 편미분방정식(PDE) 예측을 가능하게 하지만, 반복적인 예측은 오차를 누적시키며 미세 스케일 구조를 정확히 분해하고 해석하는 데 여전히 어려움이 있습니다. 본 연구에서는 업데이트된 저주파수 특징을 활용하여 고주파수 정보의 비선형 정제를 유도하는 주파수 분해 기반 유한 시간 유동 사상 신경 연산자(F$^3$NO)를 소개합니다. 각 층(layer) 내에서 이러한 교차 스케일 조건화는 전역적 스펙트럼 처리와 국소적 세부 정보 정제를 연결합니다. 제안된 모델(model)은 지정된 미래 시점의 상태를 직접 예측하며, 예측 간격에 따라 두 갈래(branch)의 기여도를 조절합니다. 더 긴 궤적에 대해서는 짧은 시간 분할 내 병렬 예측과 분할 간 순환 전파를 결합합니다. 5개의 PDE 벤치마크에 대한 실험을 통해 자기회귀 및 직접 예측 베이스라인 대비 향상된 예측 정확도를 입증합니다. 절제 연구(ablation study)에서는 주파수 분해 정제가 더 적은 파라미터로도 정확도를 향상시킬 수 있는 반면, 시간 분할의 이점은 공간 해상도와 동역학적 체제에 따라 달라짐을 보여줍니다.

arXiv:2604.12905v2cs.RO

진동이 많은 로봇 접촉에서 센서리스 렌치 추정을 위한 주파수 인식 분해 학습

Frequency-aware decomposition learning for sensorless wrench estimation in vibration-rich robotic contact

힘 및 토크(F/T) 센서는 반응형 피드백을 제공하여 접촉 인식 제어를 가능하게 하지만, 파손되기 쉽고 가격이 비싼 경우가 많습니다. 이러한 한계를 극복하기 위해 센서리스 방식은 로봇의 고유수용감각(proprioception)만으로 F/T 또는 렌치(wrench)를 추정하며, 파지(grasping)와 같은 저속 상호작용 작업에서 성공적인 결과를 보여주었습니다. 그러나 이러한 방식의 저주파 통과(low-pass) 특성은 연삭(grinding)과 같은 급격한 접촉 작업에서 중요한 고주파 신호 추정을 제한합니다. 또한 통신 지연으로 인해 실제 배포 중 추정값이 구식이 될 수 있지만, 이를 직접 다루는 방법은 거의 없습니다. 이러한 한계를 극복하기 위해, 본 연구에서는 다단계 미래 예측(multi-step-ahead) 방식으로 진동이 많은 렌치를 센서 없이 추정하는 주파수 인식 분해 네트워크(FDN)를 제안합니다. 고주파수 영역의 확률성을 고려하여, FDN은 렌치 구간(horizon)을 저주파 추세와 고주파 잔차로 스펙트럼 분해하고, 각각 포인트 단위 회귀와 학습된 조건부 분포를 통해 추정합니다. 주파수 인식 레이어는 출력에 대역 분해 사전확률을 부여하고 입력의 주파수 진폭을 적응적으로 향상시킵니다. FDN은 추정 과정에서 식별된 로봇 모델(identified robot model)이나 F/T 센서를 모두 필요로 하지 않습니다. 6자유도 유압 매니퓰레이터에서 수집한 실제 연삭 데이터를 바탕으로 한 실험에서, FDN은 가정한 지연 시간 조건하에 기준선(baseline) 대비 고주파 진폭 오차를 최대 47% 줄이면서도 경쟁력 있는 저주파 포인트 단위 정확도를 유지한 반면, 기준선 모델들은 이 둘 간의 균형을 맞추지 못했습니다. 또한 다단계 미래 예측 추정이 실현 가능함을 확인하였으며, FDN은 단일 CPU 스레드에서 11ms 이내에 1,000ms의 구간을 추정합니다. 절제 연구(ablation study)를 통해 세부 설계 요소들의 타당성을 추가로 입증했습니다. 탐색적 연구에서는 오픈소스 일상 조작 데이터셋에서 학습된 렌치 동역학을 전이함으로써 저주파 오차를 8% 줄인 반면, 고주파 동역학은 도메인에 특화된 것으로 나타났습니다.

arXiv:2505.19120v2cs.CV공식 코드 · Papers with Code

Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

무아레 패턴을 고주파 텍스처와 저주파 색상 왜곡으로 분리하는 주파수 분해 전략을 기반으로, Freqformer는 이중 분기 트랜스포머 아키텍처와 학습 가능한 FCT 모듈, 공간 인식 채널 어텐션(SA-CA) 모듈을 결합하여 이미지 무아레 제거 문제를 해결한다. 다양한 벤치마크 실험에서 소형 모델 크기로 최첨단 성능을 달성함을 입증하였다.

arXiv:2607.06519v1cs.AI

FreqDepthKV: 장문 맥락 대규모 언어 모델 추론에서 견고한 KV 캐시 압축을 위한 주파수 기반 깊이 공유

FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference

FreqDepthKV는 인접 트랜스포머 레이어 간 KV 캐시를 공유 저주파 깊이 성분과 희소 고주파 잔차로 분해하는 추론 시 압축 방법으로, 경량 온라인 프로브가 어텐션 로짓 재구성 오차를 기준으로 각 헤드의 압축 모드를 재학습 없이 동적으로 결정한다. 32k 토큰 프리필 기준으로 Exact Match 58.3, F1 63.0을 달성하며 전체 KV 캐시 수준의 정확도를 유지하면서 3.9배 압축률과 디코딩 처리량 70.4 토큰/초를 확보했다.