PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27376v1cs.CV

묻고, 풀고, 생성하기: 자기 일관성 보상을 통한 자기 진화형 통합 멀티모달 이해 및 생성

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

시각 이해와 이미지 생성을 모두 지원하는 대부분의 통합 대규모 멀티모달 모델(LMM)은 여전히 인간 주석, 선호 라벨, 또는 외부 보상 모델과 같은 큐레이션된 사후 학습 감독에 의존한다. 우리는 통합 LMM이 라벨이 없는 이미지만으로 두 능력을 모두 자율적으로 향상시킬 수 있는지 묻는다. 우리는 세 가지 내부 역할을 갖는 자기 진화형 학습 프레임워크를 제안한다: 시각적 질문을 생성하는 Proposer, 이를 답하고 평가하는 Solver, 이미지를 합성하는 Generator. 학습은 인간 주석, 선호 라벨, 또는 태스크로 학습된 외부 보상/판단 모델 없이, 오직 자기 도출된 일관성 신호만을 사용한다. 학습을 안정화하기 위해, 우리는 Solver Token Entropy(STE)를 도입한다. 이는 샘플 수준의 일관성이 신뢰할 수 없게 되더라도 여전히 유용한, 토큰 수준 예측 불확실성에 기반한 연속적 난이도 신호이다. 이미지 생성을 위해, 우리는 질문-답변 충실도 점수와 순환 일관(cycle-consistent) 캡셔닝을 결합한 다중 스케일 내부 평가 방식을 설계한다. 이는 Solver가 매개하는 결합을 만든다. 여기서 더 나은 시각 이해가 더 신뢰할 수 있는 생성 평가와 더 강한 내부 학습 신호를 가능하게 한다. 이 프레임워크는 diffusion 기반 BLIP3o, rectified-flow BAGEL, autoregressive VARGPT-v1.1 아키텍처에 걸쳐 동일한 역할 분해, 보상 논리, 학습 일정을 유지하며, 각 백본의 고유 프롬프팅 및 생성 인터페이스만 필요로 한다. 8개의 이해 메트릭에서 우리 방법은 해당 베이스 모델들보다 일관되게 향상된다. BAGEL에서 MMMU에서 +3.5% 절대 향상을 달성하고 GenEval 이미지 생성 성능을 82%에서 85%로 개선한다. 코드와 모델은 공개적으로 배포된다.

arXiv:2606.27373v1cs.CV

자기 진화형 대규모 멀티모달 모델에서 시각 토큰에 더 많은 어텐션을

Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

기존 자기 진화 LMM은 답변 일치만 최적화해 디코더가 시각 토큰보다 언어 사전분포에 의존하는 시각적 언더컨디셔닝 문제가 있다. VISE는 기하·의미 불변성 보상으로 시각 조건화를 직접 정규화하는 비지도 자기 진화 프레임워크로, Qwen3-VL-2B 기준 COCO·TextCaps CIDEr가 각각 +16.85·+19.66 향상되고 Chair-I 객체 환각이 5.0포인트 감소했다.

arXiv:2606.27317v1cs.CV

OctoSense: 다중모달 로봇 지각을 위한 자기지도 학습

OctoSense: Self-Supervised Learning for Multimodal Robot Perception

우리는 스테레오 RGB 및 이벤트 카메라, LiDAR, 열화상 카메라, 관성 측정 장치(IMU), RTK 보정 글로벌 포지셔닝 시스템(GPS), 그리고 고유수용감각(proprioception, 자동차의 CAN 버스 데이터와 사족보행 로봇의 관절 각도)을 갖춘 오픈소스 센서 플랫폼 OctoSense를 제시한다. 동명의 OctoSense 데이터셋은 하루 중 서로 다른 시간대와 다양한 유형의 환경에 걸친 59시간의 시간 동기화 주행 데이터를 포함하며, 센서가 심하게 열화된 상황도 포함한다. 우리는 센서가 서로 다른 표현, 주파수, 지연, 노이즈를 갖는 이러한 실세계 로보틱스 데이터를 활용한 다중모달 자기지도 학습을 입증한다. 우리의 접근법인 "late-fusion" 마스크드 오토인코더(masked autoencoder)는 (i) 이러한 센서의 서로 다른 시공간적 특성을 반영하기 위해 모달리티별 토크나이저(tokenizer)를 사용하고, (ii) 새로운 측정값이 들어올 때 이를 처리하기 위해 추론(inference) 시간에 모달리티별 토큰(token)을 캐시한다. 이 아키텍처는 (i) 빠르며(표현 계산에 NVIDIA 5090과 Orin NX에서 각각 6.68 ms와 112 ms), (ii) 광학 흐름(optical flow), 깊이, 의미 분할(semantic segmentation), 자차 운동(ego-motion, 이동, 회전, 조향각) 추정 등의 과제에서 기존 이미지 전용 파운데이션 모델(foundation model)보다 우수한 성능을 보이고, (iii) 야간이나 감각 데이터가 열화된 상황에서도 견고하게 예측한다. 데이터셋, 코드, 보조 영상에 대한 링크는 프로젝트 페이지(https://abisulco.com/octosense/)에서 확인할 수 있다.

arXiv:2606.27313v1cs.CV

ViQ: 임의 해상도에서의 텍스트 정렬 시각 양자화 표현

ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

ViQ는 텍스트 정렬 사전학습과 특징 이산화(discretization) 두 단계로 임의 해상도 시각 입력을 이산 토큰 표현으로 학습하는 Visual Quantized Representations 프레임워크로, 저수준 디테일과 고수준 의미를 균형 있게 보존한다. 다중모달 이해 벤치마크에서 연속형 고차원 시각 인코더와 경쟁력 있는 성능을 달성하고, 다중모달 학습에서는 기반 LLM과 학습 설정에 따라 최대 20%~70% 학습 가속을 보인다.

arXiv:2606.27307v1cs.CV

See & Sniff: 시각-후각 표현 학습

See & Sniff: Learning Visuo-Olfactory Representations

시각-후각(visuo-olfactory) 페어 데이터 부족을 해결하기 위해 의미 범주 내 후각 불변성으로 냄새 전용 샘플과 웹 이미지를 합성 페어링한 SmellNet-V 데이터셋과 밀집 국소 정렬 기반 자기지도 프레임워크 See & Sniff를 제안한다. 후각 단독 분류에서 냄새 전용 기준 대비 7% 향상과 교차 모달 검색·픽셀 수준 냄새 국지화(smell localization)로 일반화되는 성능을 보인다.

arXiv:2606.26764v1cs.CV

제어 가능한 4D 심장 MRI 합성을 위한 해부학 가이드 잔차 모션 확산

Anatomy-Guided Residual Motion Diffusion for Controllable 4D Cardiac MRI Synthesis

심장 MRI의 제한된 주석 데이터와 기기 간 도메인 편차 문제를 해결하기 위해, 반지도 학습 VAE와 계단형 잠재 확산 모델(LDM)을 결합하여 해부학적 구조와 시간적 동역학을 분리 생성하는 4D cine CMR 합성 프레임워크를 제안한다. 정적 해부학 생성과 잔차 잠재 모션 예측을 순차적으로 수행하며, 합성 데이터로 학습 세트를 증강한 결과 nnU-Net 기반 심장 분할에서 평균 Dice 점수 1.4% 향상 및 Hausdorff Distance 3.0mm 감소를 달성했다.

arXiv:2606.26515v1cs.CV

망각, 예측, 적응: 긴 동영상을 위한 테스트 시점 학습

Forget, Anticipate and Adapt: Test Time Training for Long Videos

수 시간 길이의 긴 동영상에서 슬라이딩 윈도우 기반 테스트 시점 학습(TTT)의 계산량 증가와 유사 프레임에 대한 불필요한 적응 문제를 해결하기 위해, 윈도우에서 나가는·현재·다음 세 프레임만 처리하는 Frame Forgetting Network(FFN)와 서프라이즈(surprise) 지표 기반 적응형 윈도우 알고리즘을 제안한다. 최대 3시간 분량의 EpicTours 데이터셋과 11개 벤치마크에서 밀집 분할, 동영상 분류, 깊이 추정 등 과제에서 FFN의 효과를 입증했다.

arXiv:2606.26410v1cs.CV

신경 복셀 역학: 체적 특징 이류를 통한 암시적 3D 물리 학습

Neural Voxel Dynamics: Learning Implicit 3D Physics via Volumetric Feature Advection

V-JEPA의 의미 특징을 단안 깊이 추정으로 3D 복셀 격자에 역투영한 뒤, 명시적 물리 시뮬레이터 없이 체적 특징 이류(Volumetric Feature Advection)로 암시적 3D 물리 역학을 자기지도 학습하는 Neural Voxel Dynamics 프레임워크를 제안한다. 물리 엔진 내부 상태나 레이블 없이 동영상 신호만으로 학습하여 CLEVERER, PhysInOne, PhysGaia 벤치마크에서 강체·유체 등 이질적 물리 현상을 단일 파이프라인으로 시뮬레이션하며 기존 2D 세계 모델을 능가하는 물리적 타당성을 보인다.

arXiv:2606.26384v1cs.CV

딥페이크 벤치마크는 무엇을 측정하는가? 고정된 자기지도 표현을 이용한 감사

What Do Deepfake Benchmarks Measure? An Audit Using Frozen Self-Supervised Representations

딥페이크 벤치마크가 실제로 무엇을 측정하는지, 고정된 범용 자기지도(self-supervised) 표현 위의 선형 프로브(linear probe)로 비디오·이미지·오디오 탐지 벤치마크를 진단한다. 세 모달리티 모두에서 단순 프로브가 맞춤형 탐지기 성능에 근접하고 생성기별 난이도는 동일 표현 공간의 Fréchet 기하학으로 부분 설명됨을 보여, 높은 점수가 포렌식적 이해가 아니라 범용 모달리티 이해를 주로 반영할 수 있음을 시사한다.

arXiv:2606.26279v1cs.CV

단일 소스 인지 태스크노미를 넘어: fMRI 전이학습을 통한 다중 소스 과제 관계

Beyond Single-Source Cognitive Taskonomy:Multi-Source Task Relations through fMRI Transfer Learning

Human Connectome Project 23개 과제 상태에 대해 마스크 fMRI 재구성 전이 학습 기반 인지 태스크노미를 단일 소스에서 다중 소스로 확장하고, 불리언 정수 프로그래밍(BIP)으로 예산 제약 과제 할당을 분석했다. 운동 과제는 패러다임 내 전이는 강하나 교차 패러다임 지원은 제한적이고, 다대일 과제 관계는 소스 집합 구성에 따라 달라 쌍wise 전이만으로는 충분히 설명되지 않으며, 0-back·2-back 작업 기억 상태가 감독 예산 할당에서 반복적으로 우선 선택된다.

arXiv:2606.26194v1cs.CV

항공 LiDAR 및 광학 관측 기반 도시 환경 자기지도 수목 수준 바이오매스 추정

Self-Supervised Tree-level Biomass Estimation in Urban Environments From Airborne LiDAR and Optical Observations

항공 LiDAR와 근적외선 RGB 정사영상을 융합한 이중 스트림 크로스-어텐션(cross-attention) 네트워크를 규칙 기반 의사 라벨(pseudo-label)로 자기지도(self-supervised) 학습하여 캐나다 온타리오 810 km² 도심 경관의 개별 수관(crown) 수준 지상 바이오매스(AGB)를 추정하는 프레임워크를 제안한다. 수동 주석 없이 수관 분할 및 종별 종형(allometry) 기반 AGB 추정에서 R²=0.570을 달성하였으며, 2018년 대비 2023년에 순 탄소 증가량 39 Gg C를 포함한 공개 이중 시점 수관 수준 AGB 데이터베이스를 생성하였다.

arXiv:2603.06467v3cs.CV

GreenRFM: 감독 중심 사전학습을 통한 자원 효율적 방사선의학 비전-언어 기반 모델 학습

GreenRFM: Learning a resource-efficient radiology vision-language foundation model via supervision-centric pre-training

GreenRFM은 3D 방사선의학에서 규모 우선 비전-언어 사전학습의 배포 한계를 줄이기 위해 일상 방사선 보고서를 MUST(정제·보편·의미 강제·과업 정렬) 감독 신호로 바꿔 진단 중심 이미지-텍스트 표현을 학습하는 감독 중심 프레임워크다. 단일 24GB GPU 24시간으로 제로샷 CT-RATE AUC 84.8을 달성했고, 6개 기관 20만 볼륨 이상 평가에서 임상 코호트 전이가 확인되며 로컬 재학습은 macro-AUC를 70.5에서 82.1로 높였다.

arXiv:2512.10244v3cs.CV

Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective

비전-언어 모델(VLM) 파인튜닝 시 발생하는 평탄한(flat) softmax 확률 분포 문제를 원인으로 지목하고, 온도(temperature) 파라미터로 softmax 출력을 날카롭게 만들어 미레이블 데이터 활용률과 학습 감독 신호를 강화하는 반지도 퓨샷 학습(SSFSL) 방법인 SWIFT를 제안한다. SWIFT는 VLM 파인튜닝과 단계별 오픈 데이터 검색을 결합하여 5개 벤치마크에서 기존 FSL 및 SSL 방법 대비 약 5%p 높은 정확도를 달성하며 완전 지도학습에 근접하는 성능을 보인다.

arXiv:2509.07295v4cs.CV

재구성 정렬을 통한 통합 멀티모달 모델 개선

Reconstruction Alignment Improves Unified Multimodal Models

통합 멀티모달 모델(UMM)에서 캡션 기반 학습이 놓치는 미세 시각 정보를 보완하기 위해, 시각 이해 인코더 임베딩을 밀집 프롬프트로 활용해 입력 이미지를 자기 지도 재구성하도록 학습하는 Reconstruction Alignment(RECA) 사후학습(post-training)을 제안한다. 27 GPU 시간만으로 자기회귀·마스크 자기회귀·확산 기반 UMM 전반에서 생성·편집 충실도를 높여 GenEval 0.73→0.90, DPGBench 80.93→88.15 등에서 크게 개선된다.

arXiv:2508.17916v2cs.CV

EndoUFM: 내시경 영상의 단안 깊이 추정을 위한 파운데이션 모델 활용

EndoUFM: Utilizing Foundation Models for Monocular depth estimation of endoscopic images

EndoUFM은 내시경 영상의 비지도 단안 깊이 추정을 위해 Depth Anything Model과 MedSAM 이중 파운데이션 모델(foundation model)의 사전학습 prior를 결합하고, RVLoRA 적응형 파인튜닝(fine-tuning), Res-DSC, 마스크 유도 평활화 손실로 도메인 격차와 조명·질감 변화에 대응한다. SCARED, Hamlyn, SERV-CT, EndoNeRF에서 효율적인 모델 크기를 유지하면서 최신(state-of-the-art) 성능을 달성해 최소침습 수술의 3D 재구성과 AR·내비게이션에 기여한다.

arXiv:2606.26050v1cs.LG

자연적 언그로킹: 사전학습에서 살아남는 규칙의 비대칭적 제어

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

사전학습 중 소규모 언어 모델이 대명사-성별 같은 규칙을 학습했다가 같은 실행 안에서 다시 잃는 현상을 자연적 언그로킹(natural ungrokking)으로 정의하고, 규칙의 생존 여부는 학습 코퍼스에서 해당 규칙이 우세하게 나타나는 지지 빈도로 예측되며 손실 곡선에는 흔적이 남지 않는다고 보고한다. 망각은 경쟁하는 표면 패턴에 규칙이 밀려나는 치환(displacement) 과정이며, 지지를 반증으로 뒤집으면 규칙을 단조적으로 제거할 수 있지만 다시 주입해도 회복되지 않는 등 제어가 비대칭적이라는 점을 Pythia 체크포인트에서도 확인했다.

arXiv:2606.25362v1math.OC

Learning Optimization Proxies for Sequential Contextual Stochastic Programs: An Order Fulfillment Application

순차적 맥락 확률적 최적화에서 초 단위 응답이 필요한 온채널 주문 이행을 위해, 솔버 라벨로 오프라인 학습한 시나리오 임베딩 신경망 프록시와 실행 가능성 보장 디코더로 매 시점 최적화 풀이를 단일 순전파로 대체하는 방법을 제안한다. JD.com 거래 기록으로 보정한 시뮬레이터에서 온라인 C-SAA 대비 의사결정 지연을 약 2800배 줄이고 이행 비용을 3.3% 개선했으며, 기존 이행 정책 대비 총 비용을 10.7% 이상 절감하고 지연 배송율을 대략 절반으로 낮춘다.

arXiv:2606.25232v1cs.LG

Semantic Allocation in Ordered Bottlenecks: Predictive Residual Inference for Visual Representation Learning

Ordered bottleneck에서 마스킹 기반 순서 압력(MBOP)의 후반 토큰 활용 부족과 이산·양자화 표현 취약성을 줄이기 위해, log2 스케일 계층과 레벨별 예측기로 잔차 오류에 정보를 할당하는 PRIOR(Predictive Residual Inference for Ordered Representations) 프레임워크를 제안한다. 대조 학습과 이미지 재구성 실험에서 PRIOR는 저예산에서는 거친 descriptor, 고예산에서는 세부 보정을 학습하며 MBOP-TD·MBOP-ITD 대비 전체 예산 성능이 대체로 더 높고, 이산·양자화 설정에서도 연속 표현에 근접한다.

arXiv:2501.14622v5cs.LG

ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning

모방 학습(IL)의 정책 표현은 전문가 시연 의존과 환경 이해 부족이 한계인데, ACT-JEPA는 Joint-Embedding Predictive Architecture(JEPA)로 행동 시퀀스와 잠재 관측 시퀀스를 동시에 예측하며 IL과 자기지도 학습(SSL)을 end-to-end로 통합한다. Push-T, Meta-World, ManiSkill 등에서 최강 베이스라인을 모두 능가해 세계 모델 이해를 최대 40%, 작업 성공률을 최대 10% 높였다.

arXiv:2606.17967v2cs.CL

음성 파운데이션 모델의 개입 사후 학습을 통한 작업 특정 부분 공간 학습

Learning task-specific subspaces via interventional post-training of speech foundation models

레이블이 없는 음성 데이터의 대규모 말뭉치에서 사전 학습된 음성 파운데이션 모델은 작업 전반에 걸쳐 유용한 범용 표현을 생성합니다. 그러나 이러한 표현은 두드러진 음성 변수에 대한 정보를 분산된 방식으로 인코딩하는 반면, 하위 음성 작업은 이러한 변동성 중 일부에만 의존합니다. 본 연구에서는 개입형 대조 학습을 활용한 사후 학습 정제 접근 방식을 제안합니다. 개입 데이터셋과 다중 부분 대비 손실을 활용하여, 음성 파운데이션 모델의 얽힌 표현 공간을 분리된 내용 및 화자 부분 공간으로 변환하는 방법을 학습합니다. 화자 확인 및 키워드 탐지 작업에서 학습된 표현을 평가한 결과, 도메인 외 화자 확인 성능이 향상되었으며, 학습된 부분 공간에서 화자와 내용 정보가 분리되었다는 증거를 확인했습니다.