PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13612v1cs.LG

SIGReg 목적함수를 변분 자유 에너지로: JEPA 월드 모델에 대한 이론적 능동 추론 해석

The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

공동 임베딩 예측 아키텍처(JEPA)는 잠재 월드 모델의 주류 설계이지만, 보통은 규범적 원리가 아니라 실증적 성능으로 정당화된다. 우리는 붕괴 방지 정규화기(anti-collapse regulariser) 선택이 JEPA의 학습 목표, 즉 예측 손실과 가중 임베딩 정규화기의 합이 유효한 능동 추론(AIF) 변분 자유 에너지인지를 결정한다는 것을 보인다. 우리는 네 가지 비대조(non-contrastive) 정규화기(VICReg, LogDet, PairDist, SIGReg)를 사전 오보정(prior-miscalibration) 간극으로 색인된 엔트로피 추정기 계층으로 정리하고, 간극의 부호, 즉 추정기가 잠재 엔트로피를 위에서 또는 아래에서 한정(bound)하는지 여부가 AIF 놀람(surprise) 상한이 유지되는지를 결정한다는 것을 보인다: VICReg과 LogDet은 불안전한 상한, PairDist는 안전한 하한이며, SIGReg은 간극을 제거한다. 이어서 대응 정리(correspondence theorem)를 증명한다: 표준 상수 노이즈 인코더 모델과 성공적인 SIGReg 적용(등방성 가우시안 임베딩) 아래에서 간극은 사라지고, 목표함수는 정확한 정보 병목(information bottleneck)이 되며, 놀람 상한은 보존되고, 잠재 목표 비용(latent goal cost)은 AIF 실용적 가치(pragmatic value)의 정확한 대리(proxy)가 된다. 반면 VICReg은 환원 불가능한 2차 이방성(anisotropy) 항을 남긴다. 우리는 대응을 다단계 기대 자유 에너지(expected free energy), 앙상블 인식론적 가치(epistemic value), 학습된 정책(le learned-policy) 체제로 확장하고, 현재 어떤 JEPA 월드 모델도 계산하지 않는 유일한 AIF 항을 밝힌다: 미래 상태 커버리지(future-state coverage) 신호인 상태-인식론적 가치(state-epistemic value). 예측은 정도의 차이가 아니라 종류의 차이이며, 여기서는 별도 연구에서의 실증적 검증을 위해 남겨 둔 이론적 함의로 기술한다; 완전한 증명은 부록 A에 있고, 모든 결과의 대수 핵심은 Lean 4(부록 D)에서 기계 검증되었다.

arXiv:2607.07513v2cs.LG

데이터 증강 그래프 정규화를 통한 준지도 학습의 빠른 수렴률

Fast Rates for Semi-Supervised Learning via Data-Augmentation Graph Regularization

자기지도 학습(self-supervised learning)은 전체 레이블의 일부만으로 지도 학습 수준의 정확도를 달성하지만, 이를 뒷받침하는 레이블 샘플 효율성에 대한 이론적 설명은 부족했다. 본 연구에서 이를 제공한다. 데이터 증강은 비레이블 데이터에 유사도 그래프(similarity graph)를 형성하며, 따라서 해당 그래프에서의 하위(downstream) 학습은 그래프 라플라시안 정규화(graph-Laplacian-regularized) 학습이다. Johnson and Zhang (JMLR 2007)의 leave-one-out 안정성(leave-one-out stability) 기법을 증강 그래프에 적용하여, 한계 기반 분석(정확한 커널, 일반화 가능한 특징)의 비현실적 가정 없이, 지도 학습의 $O(1/\sqrt{n_L})$ 대신 레이블 수 $n_L$에 대해 $O(1/n_L)$의 빠른 transductive 수렴률을 증명한다. 이 경계는 증강 품질을 명시적으로 드러낸다. 기대 오차는 최대 $C/n_L + R_{\mathrm{DA}}(y)$이며, 여기서 데이터 증강 정렬 오류 $R_{\mathrm{DA}}(y)$는 레이블 경계를 가로지르는 증강의 graph-cut mass에 비례하므로, 좋은 증강을 사용하면 적은 레이블로 충분하다. 분석은 표준 목적 함수의 projector, negative-sample, orthogonality 오버헤드를 제거한 간소화된 손실을 사용하지만, Zhai et al.이 연구한 증강-커널 고유공간(augmentation-kernel eigenspace)에서 무한 데이터 한계(infinite-data limit)에 있는 top-$K$ 이상적 특징(ideal features)을 여전히 복원한다. 이 경계는 증강 품질을 통해 정확도-레이블 수 곡선에 대한 기제적 설명을 제공하며, 상수가 알려진 통제 모델(controlled model)에서 이를 검증한다.

arXiv:2607.01145v2cs.LG

ECG 분석에 기반한 다변량 시계열 계층적 자기지도 표현 학습 프레임워크

Hierarchical Self-Supervised Representation Learning Framework for Multivariate Time Series Grounded in ECG Analysis

의료 영역의 데이터 분석에서는 종종 제한된 타깃 데이터셋과 일반적인 분포를 가진 대규모 비주석 데이터셋이 함께 존재하는 상황을 마주한다. 이러한 상황에서 자기지도 학습(self-supervised learning, SSL) 방법은 대규모 데이터셋을 활용하는 데 매우 효과적이며, 심전도(electrocardiogram, ECG) 분석에서 널리 사용되는 선택지가 된다. 본 연구는 다변량 시계열을 위한 경량 SSL 프레임워크인 Event Reconstruction Joint-Embedding Predictive Architecture(ER-JEPA)를 제안하며, 그 명칭과 이중 계층 구조는 심장 전문의의 진단 접근법에서 영감을 받았다. ER-JEPA의 핵심은 다음과 같다: (1) 각 시간 구간에 대한 표현을 구축한 뒤 이 표현들을 단변량 시계열로 후속 처리하는 2단계 구조, (2) 두 Joint-Embedding Predictive Architecture(JEPA)의 계층적 통합, (3) Vision Transformer(ViT) 백본. 두 JEPA의 구조적 연결은 모델을 Hierarchical JEPA(H-JEPA)로 분류하며, 복잡한 과제에서 예측 성능을 향상시키기 위해 다양한 수준의 추상적 표현을 인코딩하도록 설계되었다. 본 연구는 H-JEPA를 다변량 시계열로서 12-lead ECG 데이터에 성공적으로 적용한 결과와 함께, 사전학습 단계 동안 계층적 표현의 민감도 분석을 보고한다. 약 180,000개의 10초 기록으로 사전학습된 모델은 ST-MEM 벤치마크에서 최고 수준의 다운스트림 성능을 달성하며, 빠른 계산과 최소한의 자원 사용을 특징으로 한다.

arXiv:2607.14088v1cs.CV

VideoRAE: 표현 오토인코더를 통한 생성 모델링을 위한 비디오 파운데이션 모델 활용

VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

비디오 생성 모델은 일반적으로 3D 변분 오토인코더(3D-VAE)가 학습한 잠재 공간에 의존한다. 그러나 기존 3D-VAE는 주로 픽셀 수준 재구성을 위해 최적화되므로, 잠재 표현이 포착하는 의미적·시공간적 구조가 제한될 수 있다. 한편 V-JEPA 2, VideoMAEv2와 같은 비디오 파운데이션 모델(VFM)은 강력한 비디오 이해 능력을 보이지만, 동결(frozen)된 표현을 압축적이면서 재구성 가능하고 생성에 유리한 비디오 잠재 표현으로 변환할 수 있는지는 대부분 탐구되지 않았다. 우리는 VideoRAE로 이 질문에 답한다. VideoRAE는 동결된 비디오 파운데이션 인코더의 다중 스케일 계층적 특징을 활용하고, 경량 1D 셀프 어텐션(self-attention) 프로젝터로 이를 압축하는 representation autoencoder이다. VideoRAE는 다중 코드북 고차원 양자화를 통해 Diffusion Transformer용 연속 잠재 표현과 자기회귀(autoregressive) 모델용 이산 토큰을 모두 지원한다. 디코딩 과정에서 동결된 VFM teacher와의 국소·전역 표현 정렬(alignment) 목표가 의미 보존을 개선하고 KL 정규화 없이 학습할 수 있게 한다. 실험 결과 VideoRAE는 연속·이산 양쪽 체계에서 강력한 재구성 성능을 달성한다. UCF-101에서 AR 및 DiT 생성기 각각으로 SOTA class-to-video gFVD 40과 93을 기록하며, 경쟁 오토인코더 baseline 대비 약 5배 빠르게 수렴한다. 통제된 20억(2B) 규모 text-to-video 연구에서 LTX-VAE를 VideoRAE로 교체하면 유사한 설정에서 더 빠른 수렴을 보인다. 이 결과는 동결 VFM 표현이 다재다능하고 생성에 유리한 비디오 잠재 표현임을 검증한다. 모델과 코드는 https://zhxie0117.github.io/VideoRAE 에 공개될 예정이다.

arXiv:2607.13986v1cs.CV

다중 과업 정서 행동 분석을 위한 과업별 특징 융합 방법

Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis

11th Affective Behavior Analysis in-the-wild(ABAW11) 다중 과업 학습 챌린지는 공식 s-Aff-Wild2 이미지로부터 valence-arousal, 범주형 표정(categorical expressions), 얼굴 action unit을 예측하는 통합 시스템을 요구한다. 이러한 과업들은 얼굴 행동을 통해 자연스럽게 연관되어 있지만, 검증 실험 결과 서로 다른 시각적 특징, 시간적 처리 전략, 융합 메커니즘, 보정 절차로부터 이점을 얻는 것으로 나타났다. 본 논문에서는 ABAW11 다중 과업 정서 행동 분석을 위한 과업 적응형 특징 융합을 연구한다. 먼저 두 사전학습 시각 백본인 DINOv2 ViT-L 및 DINOv3 ConvNeXt-base를 외부 표현 지향 얼굴 이미지 세트에서 적응한 뒤 고정하여, 공식 ABAW11 데이터로부터 상보적인 프레임 수준 특징을 추출한다. 이 고정된 특징 위에 프레임 수준 예측 헤드, 시간적 합성곱 헤드, 사후 시간적 스무딩, LightGBM 모델, 특징 연결, 게이트 융합, 잔차 융합, 후기 로짓 융합, 임계값 보정, 공유 MTL 구조를 체계적으로 비교한다. 최종 시스템은 모든 과업이 단일 아키텍처를 공유하도록 강제하지 않고, 과업별 융합 및 예측 전략을 선택한다. ABAW11 검증 세트에서 선택된 시스템은 EXPR macro-F1 0.4222, AU macro-F1 0.5402, 평균 VA CCC 0.6717을 달성하여 전체 검증 점수 1.6341을 기록했다. 결과는 고정된 시각적 특징의 과업 적응형 융합이 ABAW 스타일 다중 과업 정서 행동 분석을 위한 단순하면서도 효과적인 전략임을 시사한다.

arXiv:2607.13892v1cs.CV

장기 조건 패턴 토큰을 활용한 CT 이해를 위한 세밀한 비전-언어 사전학습

Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding

페어링된 볼륨과 방사선학 보고서로부터 수행하는 컴퓨트 토모그래피(CT) 비전-언어 사전학습은 확장 가능하면서도 어려운 과제이다. 기존 방법들은 일반적으로 전역 스캔-보고서 대비(global scan-report contrast)를 채택하는데, 이는 확장 가능하지만 이질적인 장기 증거를 모호하게 만든다. 한편, 직접적인 장기 수준 정렬(alignment)은 동일한 해부 구조가 여러 가지 서로 다른 방사선학적 양상을 보일 수 있기 때문에 여전히 거칠다. 따라서 사전학습에는 더 세밀한 정렬 단위, 즉 장기 조건 방사선학 패턴(organ-conditioned radiological pattern)이 필요하다. 본 연구에서는 CT 비전-언어 사전학습을 위한 장기 조건 패턴 토큰 정렬 프레임워크인 OCP-CT를 제안한다. 구체적으로, OCP-CT는 안정적인 전역 CT-보고서 대조(contrastive) 분기를 유지하고 장기 패턴 인터페이스를 도입한다. 희소 전문가 혼합(MoE)이 잠재 방사선학 패턴에 따라 이미지 및 텍스트 토큰을 라우팅하고, 학습 가능한 슬롯(slot)이 라우팅된 토큰을 연속 패턴 토큰으로 쿼리하며, 페어링된 토큰 대조가 보고서에서 유래한 임상 유사도로 구성된 구조화된 소프트 타깃(soft targets)과 함께 이미지-텍스트 패턴 토큰을 정렬한다. 공개된 CT-RATE 및 RAD-ChestCT 벤치마크에서 OCP-CT는 제로샷(zero-shot) 이상 진단에 대해 각각 평균 AUROC 84.5% 및 69.9%를 달성한다. 가장 강력하게 보고된 기존 결과와 비교할 때, 이러한 결과는 절대 AUROC 향상 6.7 및 0.8퍼센트포인트를 제공한다.

arXiv:2607.13647v1cs.CV

색 기하를 넘어서: 비전 모델의 인간형 색 표현 평가

Beyond Color Geometry: Evaluating Human-Like Color Representations in Vision Models

비전 모델은 인간이 색을 보는 방식과 같이 색을 인식할까? 기존 색 표현 평가는 CIELAB 같은 기하 공간이나 이산적 색 레이블과 비교하는 경우가 많다. 이러한 기준은 지각적 거리나 범주 소속은 포착하지만, 사람들이 색을 조직화하는 등급화된 방식은 포착하지 못한다. 우리는 인간 설문 데이터에 맞춰 적합시킨 86개의 등급화된 범주를 갖는 퍼지 지각 모델에 대해 색 그라운딩(grounding)을 평가한다. 이 프레임워크는 모든 이미지 인코더에 적용할 수 있으며, 세 가지 상보적 특성—범주 경계, 범주 응집성, 색 기하만으로는 설명할 수 없는 등급화된 정렬—을 측정한다. 11개의 비전 트랜스포머 인코더에 걸쳐, 범주 수준 결과는 대체로 유사한 반면, 등급화된 정렬은 상당히 다르다. Masked Autoencoder(MAE)는 가장 강한 기하를 넘어서는 정렬을 달성했으며, 신뢰 구간은 다른 인코더들과 겹치지 않는다. 층별 분석은 마스킹 재구성이 출력 쪽으로 갈수록 이러한 구조를 보존함을 추가로 보여준다. 자연 이미지에서 MAE는 표면 색을 전역적으로 표현하는 반면, 언어 지도 모델은 전경 객체와의 관계에서 색을 더 강하게 인코딩한다. 이 결과는 인간형 색 그라운딩이 단일 점수로 축약되어서는 안 될 여러 뚜렷한 측면을 가짐을 보여준다.

arXiv:2607.13522v1cs.RO

Kepler-Encoder-v0.1: 로봇을 위한 멀티모달 임베딩 모델을 향하여

Kepler-Encoder-v0.1: Towards a Multimodal Embedding Model for Robots

로봇은 자신의 몸 상태를 이해해야 하지만, 카메라는 그 일부만 볼 수 있다. 힘과 접촉은 단일 프레임에서 거의 흔적을 남기지 않으며, 우리가 시험한 모든 로봇에서 원시 시각 특징은 힘을 $R^2$ 0.10 이하에서만 읽어낸다. 우리는 Kepler-Encoder-v0.1을 제안한다. 이는 로봇 우선(robot-first) 멀티모달 인코더로, 로봇 상태를 하나의 모달리티로 취급하고 시각, 고유수용감각(proprioception), 힘/토크를 학습된 쿼리(learned-query) 교차 어텐션(cross-attention) 층으로 단일 공유 잠재(latent)에 융합하며, LeJEPA/SIGReg 목적 함수 하에서 마스크 교차모달 예측으로 자기지도(self-supervised) 학습된다. 평가 시에는 시각만 입력되며, 이는 날카로운 질문을 제기한다. 학습에 상태를 융합하면 시각 전용 잠재가 픽셀이 이미 담고 있지 않은 무언가를 품게 되는가? RH20T 코퍼스에서 답은 긍정적이며, 정확히 카메라가 가장 약한 지점에서 그렇다. 보류(hold-out) 장면에서 시각 전용 잠재는 엔드 이펙터(end-effector) 상태, 특히 힘을 복원하며, 모든 센서 장착 로봇에서 원시 frozen-ViT 특징과 연산량을 맞춘(compute-matched) 시각 전용 대조군 모두를 유의미하게 능가한다. 다만 단일 타임스텝에서의 절대적 힘 복원은 미미하다. 카메라가 대체로 볼 수 있는 모터 상태에서는 가장 강한 시각 베이스라인과 통계적으로 동등하며, 잠재 기하가 상태를 추적하는 유일한 특징이다. 단일 embodiment-agnostic(형태 독립) 인코더가 네 대의 로봇을 포괄하며, 데이터를 맞춘 대조 실험은 이러한 폭이 데이터량이 아니라 embodiment 다양성을 반영함을 보여준다. 동결(frozen)된 잠재는 직접적으로 유용하다. 그 자체의 교차모달 예측 오류는 학습 없이(training-free) 무효 상태 감시기(invalid-state monitor)로 작동하며(범위 초과 상태에서 AUROC $0.90$, 장면 교체(scene-swapped) 상태에서 $0.69$), 확산(diffusion) 디코더(PixNerd)가 잠재에서 카메라 프레임을 재구성하여 공간 압축이 세계 상태(world-state)를 보존함을 확인한다. 이 보고서는 단일 타임스텝 사례를 검증한다. 네이티브 속도(native-rate) 시간적 융합이 다음 단계이다.

arXiv:2607.13192v1cs.CV

자기지도 시각 표현 학습: 사전학습-파인튜닝인가, 공동 학습인가?

Self-Supervised Visual Representation Learning: Pretrain-Finetuning or Joint Training?

자기지도(self-supervision)는 레이블 없는 데이터로부터 시각 표현을 학습하는 강력한 기법이다. 기존 기법들은 주로 자기지도 학습(SSL)에 대해 2단계 접근법을 채택한다: 레이블 없는 데이터에 대한 사전학습 단계와 그에 이어 레이블 있는 데이터에 대한 파인튜닝 단계. 이 파이프라인은 극도의 효과를 보여주었지만, 자기지도 학습 목표와 지도 학습 목표 간의 상호작용은 여전히 충분히 이해되지 않았다. 본 연구에서는 학습 중 자기지도 목표와 지도 목표를 공동으로 최적화하는 것이 더 나은 대안이 되는지를 체계적으로 조사한다. 두 가지 학습 패러다임을 비교한다: (1) 앞서 언급한 사전학습 후 파인튜닝(PFT)과 (2) 동일한 네트워크에서 자기지도 손실과 지도 손실을 동시에 최적화하는 공동 학습(JT). 8가지 대표적인 SSL 방법과 자연, 의료, 위기 대응, 원격 탐사 데이터를 포함한 다양한 컴퓨터 비전(CV) 과제에서 레이블 데이터 비율을 변화시키며 성능을 평가한다. 결과는 PFT와 JT의 상대적 효과가 과제, 레이블 데이터의 가용성, 도메인 복잡도에 크게 의존한다는 것을 보여준다. JT는 레이블이 적은 설정에서 견고하면서 데이터 및 학습 효율을 일관되게 향상시키는 반면, PFT는 더 전문화된 도메인에서 더 신뢰할 수 있다. 표현 품질, 견고성, 교차 도메인 일반화를 추가로 분석하여 최적화 과정에서 자기지도 목표와 지도 목표가 어떻게 상호작용하는지에 대한 새로운 통찰을 제공한다. 하이브리드 SSL 기반 준지도 학습을 위한 포괄적인 경험적 벤치마크를 구축하고, 다양한 시각 응용 분야에서 적절한 학습 전략을 선택하기 위한 실용적 지침을 제시한다.

arXiv:2607.13178v1cs.CV

비지도 강철 표면 결함 인식을 위한 마스크드 오토인코더 접근법

A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition

강철 표면 결함의 자동화 시각 검사는 반복적인 품질 관리 작업으로, 라벨이 있는 결함 데이터는 부족하고 획득 비용이 크지만 라벨이 없는 표면 이미지는 풍부하다. 이는 클래스 라벨 없이 유용한 표현을 학습하는 자기지도학습(self-supervised) 방법의 필요성을 보여 준다. 본 연구에서는 비지도 그루핑을 위해 강철 표면 결함의 표현을 학습하기 위해 트랜스포머 기반 마스크드 오토인코더를 사용한다. 사전학습(pre-training) 동안 입력 이미지 패치의 75%를 무작위로 마스킹하고, 경량 디코더가 보이는 25%로부터 마스킹된 영역을 재구성한다. 인코더는 보조 결함 위치 지정(localization) 목표와 공동으로 학습되며, 이 목표는 학습 신호로만 사용되고 검출기로서 평가되지는 않는다. 디코더는 구조적 유사도(structural similarity) 점수 0.92와 평균 제곱 오차(mean squared error) 0.47을 달성한다. 사전학습된 인코더의 특징은 차원 축소(dimensionality reduction)를 위해 UMAP과 응집적 클러스터링(Agglomerative clustering)을 사용하여 클러스터링되며, 알려진 6개 결함 범주에 대해 Hungarian 매칭 정확도 91.3%에 도달한다.

arXiv:2607.12062v2cs.CV

간 질환 분류를 위한 보완적 초음파 표현 학습

Learning from Complementary Ultrasound Representations for Liver Disease Classification

초음파를 이용해 비알코올성 지방성 간염(NASH)과 비알코올성 지방간 질환(NAFLD)을 구별하는 것은 미세한 조직 변화와 기존 B-mode 영상에서 얻을 수 있는 정보의 한계로 인해 여전히 어려운 과제이다. 본 연구에서는 동일한 촬영에서 얻은 보완적 초음파 표현이 NASH 대 NAFLD 분류를 개선할 수 있는지 조사한다. 구체적으로, 기존 B-mode 초음파와 물리 기반 및 국소 위상 기반 영상 표현을 결합하고, 자기지도 마스크드 오토인코더(MAE)와 그래프 합성곱 네트워크(GCN)를 사용하여 그 효과를 평가한다. 실험은 125명의 환자로부터 2,547건의 간 초음파 스캔으로 구성된 다기관 Mayo Clinic 코호트에서 수행되었다. 기존 B-mode 초음파만 사용한 경우와 비교할 때, 보완적 초음파 표현은 분류 성능을 일관되게 향상시켰으며, 정확도는 최대 32.4%, F1-score는 최대 91.2%까지 개선되었다. 또한 이러한 성능 향상은 연령대, 성별, 인종, 민족 및 촬영 기관 전반에 걸쳐 일관되게 관찰되었다.

arXiv:2606.27582v4cs.CV

점을 넘어: 해석 가능한 분류를 위한 구면 분포 부분 프로토타입

Beyond Points: Spherical Distributional Part Prototypes for Interpretable Classification

프로토타입 기반 신경망은 소수의 부분 프로토타입에 예측을 그라운딩하여 내재적 해석 가능성을 제공하는 것을 목표로 한다. 그러나 최신 비전 백본은 일반적으로 정규화된 방향성 임베딩 공간에서 동작하며, 각 의미적 부분은 상당한 클래스 내 변동성을 보인다. 그 결과, 점 프로토타입은 종종 중복되거나 불안정해져 설명 품질과 견고성 모두를 저하시킨다. 우리는 vMFProto를 제안한다. 이는 각 클래스를 초구면상의 von Mises-Fisher 성분 혼합으로 모델링하는 분포적 부분-프로토타입 프레임워크이다. 각 프로토타입은 부분별 변동성을 포착하기 위해 고유의 집중도를 학습하며, 엔트로피 최적 수송(entropic optimal transport, OT)을 사용하여 구조화된 패치-프로토타입 할당을 얻는다. 2단계 학습 일정은 OT 기반 프로토타입 발견 이후, 패치 수준 지식 증류와 분포 인식 다양성 정규화를 통한 end-to-end 정교화를 수행한다. 고정된 DINO 백본을 사용한 실험에서 vMFProto는 CUB-200-2011에서 최고 수준의 일관성과 구별성을 달성하고, CUB, Stanford Dogs, Stanford Cars 전반에서 경쟁력 있는 분류 정확도를 보인다. 정성적 결과는 vMFProto가 국소화되고 비중복적인 부분 증거를 생성함을 확인한다.

arXiv:2605.23045v3cs.CV

TIME Machine: 효율적 인지를 위한 모션의 힘

The TIME Machine: On The Power of Motion for Efficient Perception

비디오 표현 학습은 최근 몇 년간 엄청난 진전을 이루었다. 이는 학습 규모와 언어와 대조적으로 학습된 시각 모델의 성공 등 여러 요인에 의해 촉진되었다. 이러한 요인들이 비디오 모델이 할 수 있는 것의 경계를 넓혔지만, 동시에 고유한 한계도 낳는다. 첫째, 비디오 모델의 스케일링은 기하급수적으로 비용이 커질 수 있고, 둘째, 언어로부터 학습하면 배울 수 있는 개념의 범위가 캡션에 있는 것으로 제한된다. 그 결과 비디오 모델은 여전히 시간적 이해에 어려움을 겪고 있다. 본 논문에서는 비디오 표현을 위한 중심 모달리티로 모션을 사용하는 새로운 접근법을 제안한다. 구체적으로, 포인트 트랙(point-track) 형태의 비디오 내 모션을 주어, 마스크드 오토인코더(masked autoencoder)로 일부 트랙을 마스킹하고 오토인코더가 누락된 트랙을 복원하도록 학습한다. 이를 통해 자기지도(self-supervised) 방식으로 표현을 학습할 수 있다. 모션으로 비디오를 표현하는 것이 실제로 비디오 기술의 두 가지 핵심 한계를 모두 해소함을 보인다. 첫째, 모션은 본질적으로 외관과 무관하기 때문에 일반화에 더 적은 예시가 필요하고, 이를 통해 학습 데이터 규모를 대폭 줄일 수 있다. 둘째, 모션은 언어 의존적 학습 패러다임을 우회하여 더 세밀한 개념을 학습할 수 있게 한다. 그 결과 우리는 TIME(Temporally Informed Motion Embedding, 시간 정보를 담은 모션 임베딩)라 부르는 임베딩을 얻는다. 이는 오직 합성 모션 데이터로만 학습된 표현이다. 이 임베딩을 다양한 태스크에 대해 제로샷 방식으로 평가한다. 추가 기법 없이도, 최대 4 orders of magnitude(약 10^4배) 적은 학습 데이터를 사용한 최신(state-of-the-art) 모델과 대등한 성능을 보인다. 이는 더 시간적으로 인식하며 더 확장 가능한 비디오 모델을 향한 새로운 패러다임의 발판이 된다.

arXiv:2510.04876v3cs.CV

BenthiCat: 저서 분류 및 서식지 매핑 발전을 위한 광음향 데이터셋

BenthiCat: An opti-acoustic dataset for advancing benthic classification and habitat mapping

저서 서식지 매핑은 해양 생태계 이해, 보전 노력 안내, 지속 가능한 자원 관리 지원에 있어 기본적이다. 그러나 대규모 주석 데이터셋의 부족은 이 분야에서 기계 학습 모델의 개발과 벤치마킹을 제한한다. 본 논문은 카탈로니아(스페인) 해안을 따라 수집된 약 100만 개의 측면 주사 음파탐지기(side-scan sonar, SSS) 타일, 수심 지도, 자율 수중 운항체(autonomous underwater vehicle, AUV)를 이용한 표적 조사에서 얻은 정합된 광학 이미지 집합으로 구성된 포괄적인 다중 모달 데이터셋을 소개한다. 약 36000개의 SSS 타일에는 분류 모델의 지도 미세조정을 가능하게 하기 위해 분할 마스크로 수동 주석이 달렸다. 모자이크를 포함한 모든 원시 센서 데이터도 추가 탐험과 알고리즘 개발을 지원하기 위해 공개된다. AUV의 다중 센서 데이터 융합에서의 과제를 해결하기 위해, 우리는 해당 SSS 타일과 광학 이미지를 공간적으로 연관시켜 자기지도학습(self-supervised), 교차 모달 표현 학습(cross-modal representation learning)을 촉진한다. 접근성을 높이고 연구를 장려하기 위해 오픈소스 전처리 및 주석 도구도 함께 제공한다. 이 자료는 수중 서식지 매핑을 위한 표준화된 벤치마크를 구축하고, 자율 해저 분류 및 다중 센서 통합의 발전을 촉진하는 것을 목표로 한다.

arXiv:2607.12735v1cs.LG

표현 사전이 효과를 내게 하는 요소는 무엇인가? Grokking에서의 특징 군, 라벨 없는 불변성, 임계 구간

What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking

동반 연구는 grokking 지연이 인과적으로 과제 구조화된 표현이 형성되는 데 걸리는 시간이며, 대조적 사전을 통해 주입할 수 있음을 보였다. 여기서 우리는 188회의 새로운 실행을 통해 네 가지 축에 걸쳐 그러한 사전이 작동하게 만드는 요소를 규명한다. 내용: 잘못된 특징 군(크기 밴드)으로 구축된 일관되고 학습 가능한 사전은 무작위 분할과 마찬가지로 일반화를 차단한다(1/15 vs 0/20 grok; 둘 사이 $p=0.43$), 이는 사전이 회로의 특징 수준에서 작용한다는 동반 연구의 예측을 확인한다. 지도: 완전히 라벨 없는 불변성 사전 — 양성은 교환된 쌍 $(a,b)\sim(b,a)$뿐 — 은 중앙값 $2.7\times$ 속도 향상으로 15/15 실행에서 일반화하며, 라벨 지도 사전 자체보다 더 안정적이다($p=0.038$). 가중치 노름 클램프와 결합하면 우리가 시험한 가장 강력한 방법을 낳는다(중앙값 $17\times$, 5/5) — '가장 강력한'은 안정적으로 빠름을 의미한다: 클램프만 있는 단순 교차 엔트로피는 정확한 임계 노름에서만 이 속도에 도달하는 반면, 사전은 전체 클램프 범위에서 빠름을 유지한다. 시점: 사전은 초기에만 필요하다 — 처음 2000 epoch(예산의 4%) 동안에만 적용하면 $2.7\times$로 10/10 일반화하여, 연속 적용(8/10, $1.25\times$)과 동일 기간의 후기 구간($2.1\times$)보다 우수하다. 설정: 이 분리 현상은 모듈러 곱셈에서 및 다양한 깊이와 정규화 변형에 걸쳐 재현되며, 클램프 스윕은 동반 연구의 핵심 주장을 정량화한다: 구조 주입은 가중치 노름 지연 법칙 지수를 약 17배 평탄화한다(단순 교차 엔트로피는 +10 노름 단위당 $31\times$ 느려지며, 더 높은 셀은 검열되어 하한인 반면, 사전 사용 시 $1.22\times$). 솔직한 한계: 암기 전에 일반화하는 과제에는 통제할 지연이 없다. 특징 군 정렬은 사전이 일반화를 허용하는지를 결정하며, 불변성 내용만으로도 라벨 없이 가속에 충분하다; 짧은 초기 구간이 거의 모든 이점을 포착한다.

arXiv:2607.11998v1eess.IV

V-JEPA 및 심층 시공간 학습을 이용한 HPC 기반 비디오 해안 파도 매개변수 추정

HPC-Enabled Video-based Coastal Wave Parameter Estimation Using V-JEPA and Deep Spatiotemporal Learning

높은 배치 비용, 낮은 공간적 커버리지, 폭풍 조건에 대한 취약성은 전통적인 현장(in-situ) 측정 방식이 직면하는 과제들이다. 이 논문은 단안(monocular) 해안 비디오로부터 유의 파고(Hs), 최대 파고(Hmax), 첨두 주기(Tp), 제로 상향 교차 주기(Tz), 파도 방향(theta)의 5가지 해안 파도 매개변수를 센서 없이 공동 추정하는 비디오 기반 고성능 컴퓨팅(HPC) 심층 학습 프레임워크를 제시한다. 제안된 아키텍처는 시각적으로 어려운 시나리오에서 견고한 시공간 특징 추출을 위한 V-JEPA(자기지도) ViT Small 백본, 수력학적 파괴(hydrodynamic breaking) 및 너울(swell) 양식 모두에서 파도 운동의 넓은 대역폭 표현을 위한 이중 스트림 SlowFast 시간 인코더, 파도의 수력학적으로 활성 파장 대역에 초점을 두며 구조에 현저성(saliency) 정보를 더하기 위한 Farneback 광학 흐름 알고리즘 기반 광학 흐름 스트림, 그리고 분산 제약(Airy 파 분산 lambda_p = 0.1)을 갖는 다중 과제 회귀 층으로 구성된다. 모델은 NVIDIA DGX A100 클러스터에서 학습되었으며 에포크 31에서 조기 종료되었고, Hs, Hmax, Tp, Tz, 파도 방향에 대해 각각 0.451, 0.578, 0.643, 0.680, 0.832의 피어슨 상관계수를 달성했으며, 지리적으로 다양한 보류 테스트 데이터 사이트에 대한 일반화 능력을 보였다. 데이터가 제한된 환경(주석이 달린 학습 장면 6개)에서 동작하면서도, 본 프레임워크는 통계적으로 유의한 시간적 상관관계(PCC 0.451~0.832)를 보여 개념 증명의 실현 가능성을 확인했으며, R2 값(최대 0.246)은 주석 데이터셋이 커질수록 분산 포착이 개선될 것임을 나타낸다.

arXiv:2606.27321v2cs.LG

하드 예산을 넘어서: 더 해석 가능한 Top-k 희소 오토인코더를 위한 희소성 정규화기

Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders

희소 오토인코더(SAE)는 비전 기반 모델(vision foundation models)의 표현을 해석하는 데 핵심 도구가 되었으며, 다의적(polysemantic) 활성화를 더 크고 희소하며 더 단의적(monosemantic)인 특징 집합으로 분해한다. Top-$k$ SAE는 이제 표준이 된 변형으로, 활성화 함수를 통해 구조적으로 희소성을 강제하며 입력마다 가장 활성도가 높은 $k$개의 잠재 변수만 유지한다. 이 변형은 이전 SAE들이 사용하던 $\ell_1$ 페널티와 그로 알려진 단점을 피하기 위해 설계되었기 때문에, 명시적인 희소성 정규화기와 결합되지 않았다. 그러나 Top-$k$ SAE 역시 고유한 한계를 가지고 있으며, 우리는 선택 이전에 작용하는 희소성 페널티가 각 잠재 변수의 선택성(selectivity)을 높이고 $\ell_1$ 페널티의 단점을 다시 도입하지 않으면서 코드를 더 해석 가능하게 만들 수 있다고 가정한다. 우리는 Top-$k$ 아키텍처와 호환되는 두 가지 희소성 정규화기를 제안한다. 둘 다 Top-$k$ 선택 이전의 활성화에 작용한다: 선택되지 않은(off-support) 단위에 대한 $\ell_1$ 페널티, 그리고 코드를 더 적은 유효 단위에 집중시키는 스케일 불변(scale-invariant) $\ell_1/\ell_2$ 비율 페널티. 두 페널티 모두 배치 내에서 Top-$k$ 연산자에 의해 최소 한 번 선택된 단위, 즉 배치-활성(batch-active) 단위에만 적용된다. 두 데이터셋, 세 비전 기반 모델, 다양한 $k$ 범위에 걸쳐, 두 정규화기 모두 재구성 품질 손실 없이 일관되게 단의성(monosemanticity)을 개선한다. $\ell_1/\ell_2$ 페널티는 추가로 정보를 더 적은 잠재 변수에 집중시켜, 추론 시 $k$ 선택에 대한 재구성의 견고성을 높이고 소규모 예산 선형 프로빙(small-budget linear probing)을 개선한다. 우리의 핵심 발견은, 하드 구조적 희소성과 소프트 희소성 정규화가 상호 배타적이기보다 상호 보완적이라는 것이다.

arXiv:2607.12748v1cs.CV

계절 위성 영상으로부터 낙농장 부지의 약지도 시공간 후보 발견

Weakly Supervised Spatio-Temporal Candidate Discovery of Dairy Farm Sites from Seasonal Satellite Imagery

위성 영상으로부터 농장 부지를 발견하는 문제는 목초지, 경작지 경계, 도로, 건물, 계절적 식생 패턴에 걸친 농장 증거가 분산되어 있기 때문에 시공간 후보 순위 문제이다. 농장 라벨이 종종 불완전하여 완전 지도 검출이 어렵다. 본 논문은 계절 Sentinel 영상과 공개 지도 사전 정보를 이용해 낙농장 후보 군집을 순위화하는 약지도 파이프라인을 제안한다. 이 방법은 아일랜드 코크 주의 봄, 여름, 가을에 정렬된 영상 타일을 사용하며, 스펙트럼 밴드, 식생 지수, 건축 지역 지수, 목초지 채널을 포함한다. Barlow Twins 인코더는 농장 라벨 없이 다계절 타일 임베딩을 학습한다. 병렬로, 약한 OpenStreetMap 농장 사전 정보를 사전 정보와 보류 평가셋으로 분할한다. 사전 정보 특징은 농장 근접성, 계절적 목초지 증거, 여름 녹색도를 결합한 규칙 기반 타일 점수를 지원하며, 보류 평가셋 특징은 프록시 평가에만 사용된다. 규칙 점수는 지리적 근접성과 임베딩 유사도를 이용한 공간 표현 그래프에서 평활화되며, 고득점 타일이 순위화된 후보 군집으로 그룹화된다. 26,722개의 유효 타일 중 주 실행은 535개의 고신뢰도 타일을 선별하여 71개의 후보 군집을 형성한다. 상위 5개 군집은 보류 OpenStreetMap 농장 특징으로부터 500m 이내에서 0.60의 정밀도, 1000m 이내에서 0.80의 정밀도를 달성한다. 상위 10개 군집은 500m 이내에서 0.40의 정밀도, 1000m 이내에서 0.80의 정밀도를 달성한다. 결과는 계절 표현 학습과 약한 지리적 사전 정보가 대규모 위성 영상 컬렉션을 인간 검토를 위한 소형 후보 집합으로 축소할 수 있음을 보여준다.

arXiv:2607.12495v1cs.CV

RealSkin: 이미지-3D 속성 전이를 위한 공간-스펙트럼 부분 신경 인수 맵

RealSkin: Spatio-Spectral Partial Neural Adjoint Maps for Image-to-3D Attribute Transfer

사실적인 3D 에셋을 생성하려면 실세계 관측과 합성 모델 사이의 외형 격차를 메워야 한다. 유망한 접근법 중 하나는 실제 이미지의 시각적 속성을 합성 3D 표면으로 전이하는 것이다. 기존 방법들은 해상도 불일치와 점 대응(point correspondence)의 본질적 이산성 때문에 어려움을 겪는다. 반면 해상도에 강건한 함수형 맵(functional maps)은 매끄러운 속성 전파를 가능하게 하지만, 거의 등거리(near-isometry) 가정과 위상(topological) 일관성에 의존한다. 이러한 한계를 해결하기 위해, 우리는 공간 대응을 안내로 학습된 스펙트럼 영역에서 대응 최적화를 수행하는 자기지도(self-supervised) 프레임워크인 RealSkin을 제안한다. 먼저 심각한 위상 불일치 하에서 거친 대응을 확립하는 공간 안내 등록(registration) 알고리즘을 도입한다. 엄격한 등거리 가정을 완화하고 부분 대응을 처리하기 위해, 부분 대응을 신경 함수 공간에 통합하고 대응 정제를 위해 비등거리(non-isometric) 잔차를 모델링하는 스펙트럼 인식 신경 인수(adjoint) 네트워크를 추가로 설계한다. 실험 결과는 본 방법이 까다로운 실세계-합성 시나리오에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 공개 예정이다.

arXiv:2607.12372v1cs.CV

UMSS: 비지도 다중모달 의미 분할을 향해

UMSS: Towards Unsupervised Multi-modal Semantic Segmentation

다중모달 의미 분할(MSS)은 복잡한 환경에서 강건한 인식(perception)에 필수적이지만, 사람 주석(annotation)의 막대한 비용으로 인해 잠재력이 대체로 활용되지 못하고 있다. 비지도 의미 분할(USS)은 단일 RGB 모달리티에서 강한 성과를 거두었지만, 이를 다중모달 데이터로 단순 확장하는 것은 종종 융합(fusion) 저하에 의해 방해받는다. 이는 명시적 지도(supervision) 없이 기존 프레임워크가 서로 다른 센서가 포착하는 이질적인 구조적 패턴을 조화시키는 데 어려움을 겪고, 결과적으로 상보적인 정보를 효과적으로 활용하지 못하기 때문이다. 본 논문에서는 완전히 레이블 없는(label-free) 설정에서 상보적인 센서 정보를 효과적으로 활용하는 것을 목표로, 비지도 다중모달 의미 분할(UMSS)이라는 새로운 문제를 다루는 첫 시도를 한다. 이를 위해 DINOv3 기반의 새로운 프레임워크 UniM2(Unified Multimodal)를 제안하며, 이는 기존 융합 방법을 일관된 성능 향상으로 전환한다. 핵심 아이디어는 교차 모달 대응 시너지(CMCS)에 의해 구동되는 통합 잠재 공간(latent space)을 학습하여 본질적인 공유 의미 단서(semantic cues)를 추출하고, 레이블 기반 적응적 융합의 필요성을 우회하는 것이다. 고유한 모달 간 충돌을 완화하기 위해 RGB를 안정적인 기준(reference)으로 지정하는 교차 모달 하모나이저(CMH)를 도입하여, 불일치하는 관계적 지도(relational supervision)를 효과적으로 억제하면서 모델이 상보적인 구조적 특징을 활용하도록 유도한다. NYU Depth v2와 MFNet에 대한 광범위한 실험 결과, UniM2는 각각 mIoU를 6.4% 및 9.8% 향상시켜 UMSS를 위한 기존 프레임워크 대비 명확한 이점을 보여준다.