PyTorchKR Papers

최신 논문

총 5,358편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.27277v3cs.LG

BrainDINO: 일반화 가능한 임상 표현 학습을 위한 뇌 MRI 파운데이션 모델

BrainDINO: A Brain MRI Foundation Model for Generalizable Clinical Representation Learning

뇌 MRI는 광범위한 신경과학 및 임상 응용의 기반이 되지만, 대부분의 학습 기반 방법은 여전히 과제 특화적이며 상당한 레이블 데이터가 필요합니다. 본 연구에서는 단일 자기지도 표현이 이질적인 뇌 MRI 엔드포인트 전반에 걸쳐 일반화될 수 있음을 보여줍니다. 우리는 인구, 질병, 촬영 설정의 광범위한 변이를 포괄하는 20개 데이터셋에서 약 660만 개의 레이블 없는 축상 슬라이스로 자기 증류(self-distilled) 파운데이션 모델 BrainDINO를 학습시켰습니다. 동결된 인코더와 경량 태스크 헤드를 사용하여 BrainDINO는 종양 분할, 신경퇴행성 및 신경발달 질환 분류, 뇌 연령 추정, 뇌졸중 후 시간적 예측, 분자 상태 예측, MRI 시퀀스 분류, 생존 모델링에 걸친 전이를 지원했습니다. 다양한 과제와 감독 체계에서 BrainDINO는 자연 이미지 및 MRI 특화 자기지도 베이스라인과 지속적으로 동등하거나 우수한 성능을 보였으며, 특히 레이블 부족 상황에서 뚜렷한 이점을 보였습니다. 표현 분석은 과제 특화 감독이 없는 상태에서도 해부학적으로 조직화되고 병리에 민감한 특징 구조를 추가로 확인해 주었습니다. 우리의 결과는 대규모 슬라이스 단위 자기지도 학습이 체적 사전학습이나 전체 네트워크 미세조정 없이도 다양한 신경영상 과제를 지원하는 통합 뇌 MRI 표현을 생성할 수 있음을 시사하며, 강건하고 데이터 효율적인 뇌 영상 분석을 위한 확장 가능한 기반을 확립합니다. 코드는 https://github.com/mclwu22/BrainDINO 에서 확인할 수 있습니다.

arXiv:2603.14482v3cs.CV

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

본 논문에서는 이미지와 비디오 모두에 대해 밀집하고 고품질의 시각적 표현(visual representation)을 학습하면서 강력한 전역 장면 이해를 유지하는 자기지도 학습(self-supervised learning) 모델 계열인 V-JEPA 2.1을 제안합니다. 이 접근법은 네 가지 핵심 구성 요소를 결합합니다. 첫째, 밀집 예측 손실(dense predictive loss)은 가시 토큰과 마스킹된 토큰이 모두 학습 신호에 기여하는 마스킹 기반 목적함수(objective)를 사용하여 명시적인 공간적 및 시간적 그라운딩(grounding)을 장려합니다. 둘째, 심층 자기지도(deep self-supervision)는 표현 품질을 향상시키기 위해 여러 중간 인코더 레이어에 걸쳐 자기지도 목적함수를 계층적으로 적용합니다. 셋째, 멀티모달 토크나이저(multi-modal tokenizer)는 이미지와 비디오에 걸친 통합 학습을 가능하게 합니다. 마지막으로, 모델은 모델 용량과 학습 데이터 모두에서 효과적인 스케일링(scaling)의 이점을 누립니다. 이러한 설계 선택들은 공간적으로 구조화되고, 의미적으로 일관되며, 시간적으로 일관적인 표현을 생성합니다. 실증적으로, V-JEPA 2.1은 단기 객체 상호작용 예측을 위한 Ego4D에서 7.71 mAP, 고수준 행동 예측을 위한 EPIC-KITCHENS에서 40.8 Recall@5, 그리고 V-JEPA-2 AC 대비 실제 로봇 파지 성공률 20포인트 향상을 포함하여 여러 까다로운 벤치마크에서 최첨단(state-of-the-art) 성능을 달성했습니다. 또한 이 모델은 로봇 내비게이션(TartanDrive에서 5.687 ATE), 깊이 추정(NYUv2에서 선형 프로브(linear probe)를 사용한 0.307 RMSE), 및 전역 인식(Something-Something-V2에서 77.7)에서도 강력한 성능을 보여줍니다. 이러한 결과는 V-JEPA 2.1이 밀집 시각 이해와 월드 모델링(world modeling) 분야의 최첨단 기술을 크게 발전시켰음을 보여줍니다.

arXiv:2511.17221v2cs.CV

QueryOcc: Query-based Self-Supervision for 3D Semantic Occupancy

이미지에서 3D 장면 기하학과 의미론을 학습하는 것은 컴퓨터 비전의 핵심 과제이자 자율 주행을 위한 핵심 능력입니다. 대규모 3D 어노테이션(annotation)은 비용이 매우 높기 때문에, 최근 연구에서는 수동 라벨 없이 센서 데이터로부터 직접 자기 지도 학습(self-supervised learning)을 탐색합니다. 기존 접근 방식들은 3D 구조가 암묵적으로만 나타나는 2D 렌더링 일관성에 의존하거나, 누적된 라이다 포인트 클라우드에서 얻은 이산화된 복셀 그리드에 의존하여 공간 정밀도와 확장성을 제한합니다. QueryOcc는 인접한 프레임에 걸쳐 샘플링된 독립적인 4D 시공간 쿼리를 통해 연속적인 3D 의미론적 오큐팬시(semantic occupancy)를 직접 학습하는 쿼리 기반 자기 지도 프레임워크입니다. 이 프레임워크는 비전 파운데이션 모델(vision foundation models)에서 파생된 의사 포인트 클라우드 또는 원시 라이다 데이터로부터의 지도(supervision)를 지원합니다. 메모리 사용량이 일정한 상태에서 장거리 지도와 추론(reasoning)을 가능하게 하기 위해, 근거리 세부 사항은 보존하면서 원거리 영역을 부드럽게 압축하는 수축적 장면 표현(contractive scene representation)을 도입했습니다. QueryOcc는 자기 지도 Occ3D-nuScenes 벤치마크에서 초당 11.6 프레임(FPS)의 속도로 실행되면서 의미론적 RayIoU에서 기존 카메라 기반 방법보다 26% 더 높은 성능을 보여, 직접적인 4D 쿼리 지도가 강력한 자기 지도 오큐팬시 학습을 가능하게 함을 입증했습니다. https://research.zenseact.com/publications/queryocc/

arXiv:2506.21855v3cs.CV

Periodic-MAE: rPPG 추정을 위한 주기적 비디오 마스크드 오토인코더

Periodic-MAE: Periodic Video Masked Autoencoder for rPPG Estimation

본 논문에서는 라벨이 없는 얼굴 비디오에서 주기적 생리 신호의 일반화 가능한 시공간 표현을 학습하는 자기지도 학습 프레임워크인 Periodic-MAE를 제안합니다. 제안하는 방법은 마스크드 오토인코더(MAE)를 활용하며, 원격 광체적맥파(rPPG) 특화 지도에 의존하지 않고 마스크된 비디오 토큰을 재구성하여 고차원 얼굴 표현을 학습합니다. 표현 학습을 rPPG의 특성과 명시적으로 정렬하기 위해, 비디오 리샘플링에 기반한 주기성 인식 프레임 마스킹 전략을 도입하여, 인코더가 맥박 신호 추정과 관련된 준주기적 시간 패턴을 포착하는 표현을 학습하도록 합니다. 또한, MAE 사전학습 프레임워크에 생리학적 대역 제약을 통합하여, 주파수 영역에서 맥박 신호의 희소성을 활용하고 학습된 표현이 생리학적으로 의미 있는 패턴을 향하도록 유도합니다. 사전학습 후, 학습된 표현은 다운스트림 rPPG 추정으로 전이되며, 여기서 인코더는 얼굴 비디오에서 맥박 관련 신호를 복원하는 범용 특징 추출기로 작용합니다. PURE, UBFC-rPPG, MMPD, V4V를 포함한 4개의 벤치마크 데이터셋에 대해 광범위한 실험을 수행했습니다. 더불어, 제약 없는 조명 조건과 피험자의 움직임 하에서 수집된 실제 환경 rPPG 데이터셋에서 제안된 접근 방식을 평가했습니다. 실험 결과, Periodic-MAE가 rPPG 추정 성능을 일관되게 향상시킴을 보여주며, 특히 도전적인 크로스 데이터셋 및 실제 환경 평가 설정에서 두드러집니다. 우리의 코드는 https://github.com/ziiho08/Periodic-MAE에서 확인할 수 있습니다.

arXiv:2606.11674v1cs.SD

SpAArSIST: 효율적이고 신뢰할 수 있는 스푸핑 방지를 위한 희소화된 AASIST

SpAArSIST: Sparsified AASIST for Efficient and Reliable Anti-Spoofing

우리는 자기지도 학습(SSL) 기반 스푸핑 방지(anti-spoofing)를 위해 널리 사용되는 AASIST 그래프 풀링(pooling) 백엔드의 배포 지향적 개선안인 SpAArSIST를 제안합니다. 공개 구현체의 중복 연산에서 착안하여, 학습 가능한 풀링과 스택 노드 어텐션(attention)을 명시적이고 가벼운 선택지로 대체했습니다: 분리된 학습 및 추론(inference) 그래프 풀링 비율 $(k_{\mathrm{tr}},k_{\mathrm{inf}})$, 크기 기반 노드 스코어링, 그리고 그래프 노드의 평균 집계입니다. 최상의 전체 구성(rank 1)은 백엔드 연산량을 20.7% (195.045M $\rightarrow$ 154.706M MACs) 감소시키고 모델 크기를 4.1% (611.8k $\rightarrow$ 586.4k params) 줄이는 동시에, In-the-Wild 데이터셋에서의 도메인 외(OOD) 견고성을 2.82% EER 및 0.078 minDCF(기존 4.64% 및 0.133)로 개선했으며, ASVspoof5에서도 경쟁력 있는 성능을 유지했습니다. 또한, 균형 잡힌 배포 지향적 모델 선택을 지원하기 위해 정확도, 보정(calibration), 연산량을 요약하는 복합 선택 점수를 제공합니다.

arXiv:2606.11508v1cs.LG

멀티태스크 ADME 속성 예측을 위한 확률적 대조적 사전학습

Probabilistic Contrastive Pretraining for Multi-task ADME Property Prediction

흡수, 분포, 대사, 배설(ADME) 속성의 정확한 예측은 신약 개발에 매우 중요하지만, ADME 종점(endpoints)은 노이즈가 많고 상호 의존적이며 데이터가 부족한 경우가 많아 여전히 어려운 문제로 남아 있습니다. 우리는 화학 특화 자기 지도 학습(self-supervision)과 대조적 상호 정보 기계 학습(contrastive mutual information machine learning, cMIM)을 결합한 분자 그래프 트랜스포머(graph-transformer) 사전학습 프레임워크를 제안합니다. 본 방법은 분자 그래프를 잠재 변수로 인코딩하고 그래프 유래 잠재 코드에서 SMILES 문자열을 재구성하며, 도메인 특화 자기 지도 화학 작업을 통해 대조적 목적 함수(contrastive objective)를 보강합니다. 이러한 작업을 별도로 조정된 손실(loss) 가중치를 가진 보조 정규화기로 취급하는 대신, 재구성, 대조적 판별, 화학 특화 감독을 단일 확률적 잠재 변수 목적 함수 내의 단위 가중치 로그 확률 인자로 공식화합니다. 미세조정(fine-tuning)을 위해, 작업별 다층 퍼셉트론(multilayer perceptron) 헤드를 갖춘 멀티태스크 GNN 리드아웃 아키텍처를 제안하여, 공유 표현 학습을 유지하면서 네거티브 전이(negative transfer)를 완화하고 이질적이며 비선형인 작업 관계 모델링을 개선합니다. Biogen, ExpansionRX, ChEMBL-MT 데이터셋 전반에서, 결과적으로 생성된 Contrastive KERMT 사전학습은 KERMT 기준선(baseline) 대비 각각 7.6%, 9.9%, 9.5% 향상된 성능을 보였습니다(유의미하게 개선된 종점 평균). 사전학습 말뭉치에 ADME 인접 분자를 추가하면 전이 성능이 더욱 향상되며, 대조적 구성 요소는 화학적으로 의미 있는 잠재 이웃을 더욱 명확하게 구분합니다.

arXiv:2606.11500v1eess.IV

FlexiBrain: 원본 fMRI를 위한 해상도 무관 복셀 수준 인코딩

FlexiBrain: Resolution-Agnostic Voxel-Level Encoding for Native fMRI

신경과학에서 대규모 심층 학습 모델의 성공은 심각한 데이터 이질성에 의해 근본적으로 제한받습니다. 다양한 소스에서 수집된 원본 fMRI 데이터는 공간 및 시간 해상도 모두에서 상당한 차이를 보입니다. 결과적으로, 대부분의 기존 프레임워크는 데이터셋 간의 균일성을 강제하는 길고 경직된 전처리 파이프라인에 의존합니다. 이러한 관행은 두 가지 중요한 제한 사항을 야기합니다: (1) 피험자 특이적 해부학적 정보의 잠재적 손실, (2) 피험자당 수 시간의 처리가 필요한 경우가 많은 상당한 계산 오버헤드. 여기서 우리는 Mamba-JEPA를 기반으로 하는 원본 fMRI용 해상도 무관 복셀 수준 인코딩 프레임워크인 FlexiBrain을 제안합니다. FlexiBrain은 실제 물리적 단위로 패치 크기를 정의하고 동적 패치 리사이징을 사용하여, 파괴적인 공간 표준화를 우회하면서 원본 공간의 데이터를 직접 입력할 수 있게 합니다. 우리는 고차원 4D fMRI 신호를 모델링하기 위해 효율적인 Mamba-JEPA 백본을 사용하여 이 프레임워크를 구현했습니다. 5가지 다양한 다운스트림 신경과학 작업에서 FlexiBrain은 외부 데이터 증강 없이 최대 12%포인트의 향상을 달성하며 최신 최첨단 방법들을 일관되게 능가했습니다. 중요하게도, FlexiBrain은 매끄러운 플러그인 모듈로 기능하여 전처리 비용을 상당히 줄이고 강력한 복셀 수준 fMRI 파운데이션 모델의 개발을 가속화합니다. 코드는 https://github.com/OneMore1/FlexiBrain에서 확인할 수 있습니다.

arXiv:2606.11249v1cs.RO

MASK: 위험 민감 6G 로봇공학을 위한 다중 에이전트 시맨틱 K-스케줄링

MASK: Multi-Agent Semantic K-Scheduling for Risk-Sensitive 6G Robotics

6G 연결형 로봇공학의 비전을 실현하려면 고성능 협업 제어와 물리적 무선 채널의 엄격한 스펙트럼 제한을 조화시켜야 합니다. 현실적인 협업 감지 시나리오에서 스펙트럼 자원은 유한한 물리적 자원 블록이나 직교 부반송파로 양자화되어, 모든 에이전트의 동시 전송을 불가능하게 만듭니다. 이를 해결하기 위해 우리는 엄격한 순간 대역폭 상한 하에서 강건하고 위험 인지 협조를 유지하도록 설계된 제어 아키텍처인 다중 에이전트 시맨틱 K-스케줄링(MASK)을 제안합니다. 우리는 로컬에서 계산된 시맨틱 중요도 점수를 기반으로 상위 K개 에이전트만 스케줄링하여 엄격한 접근 제약을 시행하는 경량화된 협조 메커니즘인 중재자 보조 시맨틱 정보 게이팅(A-SIG)을 도입합니다. 우선순위가 부여된 이러한 관찰들을 압축된 잠재 상태로 집계함으로써, 자기지도 학습 글로벌 인코더는 데이터 희소성(sparsity)에도 불구하고 꼬리 위험을 완화할 수 있는 분포적 정책을 가능하게 합니다. 우리는 다양한 벤치마크에서 MASK를 평가하여, 채널 접근이 군집 크기의 작은 비율로 제한되는 경우에도 통신 제약이 없는 베이스라인의 성능과 일치함을 입증했습니다. 또한, 이 프레임워크는 패킷 소실에 대한 내재적 복원력을 보여주어, 자원 제약이 있는 6G 시스템을 위한 핵심 요소로서 시맨틱 스케줄링의 유효성을 검증합니다.

arXiv:2606.12258v1cs.CV

주야 간 연결: 상호 보완적 프롬프트와 프로토타입 학습을 통한 비지도 도메인 간 재식별

Bridging Day and Night: Unsupervised Cross-Domain Re-Identification with Synergistic Prompt and Prototype Learning

도메인 간 주야 재식별(ReID)은 주간 및 야간 장면 간의 상당한 시각적 외관 차이로 인해 근본적인 어려움을 겪습니다. 기존의 완전 지도 학습 방법들은 노동 집약적인 어노테이션에 크게 의존하며, 이는 비용이 많이 들고 도메인 간에 제한된 일반화를 보입니다. 본 연구에서는 비지도 주야 ReID를 조사하고, 수동 라벨 없이 도메인 간 정체성을 연결하기 위해 프롬프트 학습과 프로토타입 기반 표현 학습을 상호 보완적으로 결합한 새로운 프레임워크를 제안합니다. 우리의 접근 방식은 점진적인 2단계 학습 전략을 따릅니다. 첫 번째 단계에서, 우리는 비전-언어 모델을 활용하여 어노테이션 없는 방식으로 인스턴스별 텍스트 프롬프트를 생성합니다. 우리는 시각적 특징과 텍스트 프롬프트를 통합된 의미 공간에 임베드하기 위해 인스턴스 수준 정렬 메커니즘을 사용하며, 인스턴스 인식 동적 바이어스 적응을 통해 라벨이 없는 주/야 이미지를 학습 가능한 프롬프트와 정렬합니다. 두 번째 단계에서, 우리는 도메인별 프로토타입 메모리 뱅크를 구축하고 두 가지 상호 보완적인 모듈을 도입합니다: i) 각 도메인 내의 특징 식별력을 향상시키는 도메인 내 정체성 연결 모듈, ii) 긍정 및 부정 프로토타입 쌍을 신뢰할 수 있게 식별하여 주야 간에 강력한 정체성 대응 관계를 확립하는 도메인 간 프로토타입 매칭 모듈. 공개 벤치마크에 대한 광범위한 실험이 우리 방법의 효과를 검증합니다. 비지도 설정 하에서, 우리의 프레임워크는 최첨단 완전 지도 학습 방법과 대등한 Rank-1 정확도를 달성합니다.

arXiv:2606.12213v1cs.CV

SHERPA: 오픈 도메인 360° 파노라마 생성을 위한 이음새 인식 조화 ERP 적응 프레임워크

SHERPA: Seam-aware Harmonized ERP Adaptation for Open-Domain 360$^\circ$ Panorama Generation

파노라마 이미지는 세계 생성, 게임, 시뮬레이션 분야에서 점점 더 많이 활용되고 있으며, 사용자는 사실적인 장면뿐만 아니라 양식화된 비사실적 환경도 필요로 할 수 있다. 대규모 텍스트-이미지 확산 및 플로우 모델은 이러한 목적을 위한 광범위한 스타일 및 의미론적 사전 지식을 제공하지만, 평면 이미지 학습은 등장방형 투영(ERP)으로 표현되는 360° 파노라마의 주변 감싸기 위상구조 및 극 영역과 정렬이 맞지 않는다. 우리는 주파수 선택적 Circular RoPE, Circular Latent Encoding/Decoding, 이미지 측 FFN 어댑터, 그리고 이중 경로 학습 방식(Dual-Path Training Scheme)을 결합한 경량 적응 프레임워크 SHERPA를 제안한다. Circular RoPE는 이음새에 민감한 고주파 수평 RoPE 대역만을 정수 주기 조화 함수로 대체하면서 사전학습된 저주파 스펙트럼은 보존한다. 쌍을 이루는 파노라마 경로(Paired Panorama Path)는 기하학적 구조를 지도 학습하고, 쌍을 이루지 않는 스타일 경로(Unpaired Style Path)는 타깃 없는 양식화 프롬프트에 자기지도 방위각 일관성을 활용한다. 그 결과 SHERPA는 사실적 파노라마 도메인과 오픈 도메인 양식화 프롬프트 모두에 걸쳐 360° 파노라마를 생성한다.

arXiv:2606.11450v1cs.CV

자기지도 스켈레톤 기반 행동 인식을 위한 적응형 마스크드 재구성 탐구

Exploring Adaptive Masked Reconstruction for Self-Supervised Skeleton-Based Action Recognition

최근 마스크드 스켈레톤 재구성 모델(model)은 강력한 행동 표현 학습기로 등장하여 자기지도 스켈레톤 기반 행동 인식 분야에서 상당한 진전을 이끌었습니다. 그러나 기존 최첨단 방법들은 지나치게 많은 수의 시공간 패치(spatiotemporal patches)를 예측해야 하므로 학습(training) 시간이 상당히 길어집니다. 뿐만 아니라 재구성 과정에서 모든 시공간 영역을 동등하게 처리함으로써, 이러한 모델들은 행동 의미를 구성하는 핵심적인 동작 패턴(motion patterns)을 학습하는 데 집중하지 못하게 됩니다. 이러한 문제를 해결하기 위해 우리는 더 빠르고 강력한 사전학습(pre-training) 프레임워크인 적응형 마스크드 재구성(Adaptive Masked Reconstruction, AMR)을 제안합니다. 먼저 디코더를 인코더로부터 분리(decouple)하여 더 큰 시공간 패치를 유연하게 예측할 수 있게 하고 재구성 복잡도를 획기적으로 줄입니다. 더 큰 패치는 예측하기 어렵고 결과적으로 성능을 저하시키는 더 복잡한 정보를 포함한다는 점을 고려하여, 우리는 그에 따라 적응형 가이던스 모듈(adaptive guidance module)을 도입합니다. 이 모듈은 높은 동작 정보성(motion informativeness)을 가진 영역을 식별하여 모델이 각 패치의 가장 식별력 있는 부분에 집중하도록 유도하고 재구성 난이도를 완화합니다. NTU RGB+D 60, NTU RGB+D 120, PKU-MMD 데이터셋(dataset)에서의 실험은 AMR이 사전학습(pre-training) 속도를 실질적으로 높일 뿐만 아니라 하류(downstream) 인식 정확도를 향상시켜 현재의 최첨단 방법들을 능가함을 입증합니다.

arXiv:2602.03282v3cs.CV

비전 표현에는 전역 기하학만으로는 충분하지 않다

Global Geometry Is Not Enough for Vision Representations

표현 학습에서 일반적인 가정은 전역적으로 잘 분포된 임베딩이 견고하고 일반화 가능한 표현을 지원한다는 것입니다. 이러한 초점은 학습 목표와 평가 프로토콜 모두에 영향을 미쳤으며, 전역 기하학을 표현 능력의 대리 지표로 암묵적으로 간주해 왔습니다. 전역 기하학은 어떤 요소가 존재하는지는 효과적으로 인코딩하지만, 요소들이 어떻게 구성되는지에 대해서는 종종 민감하지 않습니다. 우리는 다양한 비전 인코더 제품군에 걸쳐 기하학적 메트릭이 구성적 결합을 예측하는 능력을 테스트하여 이러한 한계를 조사합니다. 그 결과, 표준 기하학 기반 통계는 구성적 결합과 거의 0에 가까운 상관관계를 보임을 발견했습니다. 대조적으로, 입력-출력 야코비안으로 측정된 기능적 민감도는 이러한 능력을 신뢰할 수 있게 추적합니다. 또한 우리는 이러한 차이가 목적 함수 설계에서 비롯됨을 보여주는 해석적 설명을 제공합니다. 기존 손실 함수는 임베딩 기하학을 명시적으로 제한하지만, 국소적 입력-출력 매핑은 제한하지 않기 때문입니다. 이러한 결과는 전역 임베딩 기하학이 표현 능력의 일부만 포착함을 시사하며, 합성 구조를 모델링하는 데 있어 기능적 민감도를 중요한 보완 축으로 확립합니다.

arXiv:2512.16415v3cs.CV

CountZES: 제로샷 예제 선택을 통한 객체 계수

CountZES: Counting via Zero-Shot Exemplar Selection

복잡한 장면에서의 객체 계수(object counting)는 클래스 이름만을 사용하여 미지의 카테고리에 속하는 인스턴스를 세야 하는 제로샷(zero-shot, ZS) 설정에서 특히 어렵습니다. 텍스트에서 예제(exemplar)를 추론하는 기존 ZS 계수 방법들은 종종 기존의 오픈 어휘 탐지기(open-vocabulary detectors, OVDs)에 의존하는데, 이는 밀집 장면에서 의미적 노이즈(semantic noise), 외관 변동성(appearance variability), 다중 인스턴스 제안(multi-instance proposals) 문제로 인해 성능이 저하됩니다. 대안으로 무작위 이미지 패치 샘플링(random image-patch sampling)이 사용되기도 하지만, 이는 객체 인스턴스를 정확하게 분리해내지 못합니다. 계수는 예제의 품질에 민감하기 때문에, 이러한 선택 전략들은 종종 대표성이 부족한 예제를 도출하여 부정확한 계수 추정으로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 ZS 예제 선택을 통한 객체 계수를 위한 추론(inference) 전용 접근법인 CountZES를 제안합니다. CountZES는 Detection-Anchored Exemplar (DAE), Density-Guided Exemplar (DGE), Feature-Consensus Exemplar (FCE)라는 세 가지 상호 보완적인 단계를 통해 다양한 예제를 발견합니다. DAE는 정밀한 단일 인스턴스 예제를 분리하기 위해 OVD 탐지 결과를 정제합니다. DGE는 통계적으로 일관되고 의미적으로 응집된 예제를 식별하기 위해 밀도 기반의 자기 지도(self-supervised) 패러다임을 도입하며, FCE는 특징(feature) 공간 클러스터링을 통해 시각적 일관성을 강화합니다. 이러한 단계들은 함께 작용하여 텍스트 그라운딩(textual grounding), 계수 일관성, 특징(feature) 대표성 간의 균형을 맞춘 상호 보완적인 예제 세트를 도출합니다. 다양한 데이터셋(dataset)에 대한 실험 결과, CountZES는 도메인 전반에 걸쳐 효과적으로 일반화되면서 ZOC 방법들 중 우수한 성능을 보여줍니다.

arXiv:2511.16672v4cs.CV

EvoLMM: 연속적 보상을 통한 자기 진화 대규모 멀티모달 모델

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

대규모 멀티모달 모델(LMM)의 최근 발전은 인상적인 추론 및 인지 능력을 가능하게 했으나, 대부분의 기존 학습 파이프라인은 여전히 인간이 큐레이션한 데이터나 외부에서 검증된 보상 모델에 의존하여 자율성과 확장성을 제한합니다. 본 연구에서는 완전한 비지도 방식(어떠한 주석 데이터나 보상 증류 없이)으로 LMM의 추론 능력을 향상시키고자 합니다. 이를 위해 본 연구는 단일 백본 모델에서 두 개의 협력적 에이전트를 인스턴스화하는 EvoLMM이라는 자기 진화 프레임워크를 제안합니다. 다양한 이미지 기반 질문을 생성하는 제안자(Proposer)와 내적 일관성을 통해 이를 해결하는 해결자(Solver)로 구성되며, 학습은 연속적인 자기 보상 과정을 통해 진행됩니다. 이러한 동적 피드백은 정답(ground-truth)이나 인간의 판단에 의존하지 않고, 정보성 있는 쿼리의 생성과 구조화된 추론의 개선을 모두 장려합니다. 널리 사용되는 Qwen2.5-VL을 기본 모델로 사용할 때, 본 EvoLMM은 원본 학습 이미지만을 사용하여 ChartQA, MathVista, MathVision을 포함한 멀티모달 수학 추론 벤치마크에서 최대 약 3%의 일관된 성능 향상을 보입니다. 우리의 간단하면서도 효과적인 접근 방식이 완전 비지도 방식의 자기 개선 LMM 연구를 용이하게 하는 견고한 기준선이 되기를 바랍니다. 코드와 모델은 https://github.com/mbzuai-oryx/EvoLMM에서 확인할 수 있습니다.

arXiv:2606.11429v1eess.AS

Gumbel-BEARD: 저자원 도메인에서 Whisper의 자기지도 적응을 위한 자동 층 선택

Gumbel-BEARD: Automatic Layer Selection for Self-Supervised Adaptation of Whisper in Low-Resource Domains

음성 파운데이션 모델은 도메인 불일치와 데이터 부족으로 인해 저자원 도메인에서 종종 어려움을 겪습니다. 우리는 엔드-투-엔드 학습 가능한 하드 Gumbel-Softmax 선택기를 통해 Whisper 인코더 층 선택을 자동화하는 도메인 적응 프레임워크인 Gumbel-BEARD를 제안합니다. 이는 수동 튜닝 없이 목표 음향 특성에 동적으로 적응하는 BEST-RQ 목적 함수를 통해 자기지도 적응을 가능하게 합니다. MyST 아동 음성 말뭉치에 대한 실험은 효율성과 확장성을 입증합니다: 미세조정을 위해 10시간의 레이블된 데이터만으로도, 우리의 방법은 전체 133시간 레이블된 세트로 훈련된 완전 지도 기준선(baseline)과 일치합니다. 우리는 MyST에서 Whisper-medium을 사용하여 8.21%, OGI Spontaneous 데이터셋에서 Whisper-small을 사용하여 11.06%라는 새로운 최첨단 단어 오류율(WER)을 달성했습니다. CORAAL에 대한 평가는 최대 6%의 상대 WER 감소를 통해 성인 방언 도메인 이동(domain shift)에 대한 강건성을 추가로 확인시켜 주며, 다양한 저자원 조건에서의 우리 접근 방식의 일반화 가능성을 강조합니다.

arXiv:2606.05922v2cs.AI

암흑 속의 에이전트 진화: 자기 선호를 통한 회고적 하니스 최적화

Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference

정답 레이블이 필요 없는 환경에서 에이전트의 하니스(harness)를 개선하기 위해, 과거 궤적(trajectories)과 자기 선호(self-preference)를 활용하는 자기 지도 최적화 방법인 RHO를 제안한다. SWE-Bench Pro 등 다양한 도메인에서 평가한 결과, 외부 채점 없이도 통과율을 59%에서 78%로 크게 향상시켰다.

arXiv:2606.11767v1cs.RO

Real2Sim2Real 촉각 정책 학습을 통한 시각 없는 정교한 파악

Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning

시각 정보 없는 정교한 파악을 위해 실제 촉각 신호를 재현하는 Real2Sim 보정 파이프라인과 레이아웃 인식 촉각 인코더를 결합한 프레임워크를 제안한다. 이 방법은 보정된 시뮬레이터에서 학습된 강화학습 전문가들을 촉각 조건부 디퓨전 정책으로 통합하여 실제 환경에서 27%의 파악 성공률을 달성했다.

arXiv:2606.06906v1cs.CL

EASE-TTT: 긴 문맥 질의응답을 위한 증거 정렬 선택적 테스트 타임 학습

EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering

긴 문맥 질의응답(QA)은 답변을 포함하는 증거가 이미 입력에 존재하더라도 소형 언어 모델에게는 여전히 어려운 문제로 남아 있습니다. 기존의 문맥 내 검색 방법들은 질문에 대한 후보 증거 청크를 찾아내어 노출하지만, 모델이 전체 문맥 위치에 어텐션을 할당하는 방식을 제어하는 쿼리 측 어텐션 파라미터를 적응시키는 대신 입력 수준의 증거 노출에서 멈춥니다. 대조적으로, 쿼리 전용 테스트 타임 학습(qTTT)과 같은 경량 테스트 타임 적응 방법들은 일반적인 구간(span) 수준 자기 지도 목적 함수가 현재 답변을 지원하는 문맥 위치를 식별하지 못하기 때문에 증거 위치 파악을 미해결 상태로 둡니다. 본 논문에서는 선택된 증거 청크를 해당 토큰 위치에 대한 소프트 어텐션 지도(supervision) 타겟으로 변환하는 문맥 내 검색 증강 테스트 타임 학습 프레임워크인 증거 정렬 선택적 테스트 타임 학습(EASE-TTT)을 제안합니다. 검색된 청크로 전체 문맥을 대체하는 대신, EASE-TTT는 결과로 생성된 어텐션 타겟을 사용하여 쿼리 측 적응을 안내하며, 적응된 모델은 원본 전체 문맥에서 최종 답변을 생성합니다. 6개의 LongBench QA 태스크와 3개의 소형 디코더 전용 언어 모델에 대한 실험 결과, EASE-TTT는 전체 문맥 추론, 검색 전용 기준선(baselines), qTTT 중에서 가장 강력한 매크로 평균 성능을 달성하여 긴 문맥 QA에서 증거 정렬 테스트 타임 적응을 뒷받침합니다.

arXiv:2606.06743v1cs.SD

HybridCodec: 빠른 이중 스트림, 의미론적 향상 신경망 오디오 코덱

HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

멀티모달 대규모 언어 모델(Multimodal Large Language Models)의 등장으로 음성 토크나이저로서의 신경망 오디오 코덱의 인기가 급증했습니다. 의미론적 및 음향적 분리(semantic and acoustic disentanglement)를 갖춘 새로운 코덱 아키텍처가 등장했습니다. 코덱 모델에 의미 정보를 도입하는 주요 접근 방식은 두 가지가 있습니다. 하나는 SSL(자기지도 학습) 표현에서 의미 정보를 증류하여 첫 번째 RVQ 층에 넣는 것이고, 다른 하나는 의미 및 음향 특징에 대해 별도의 스트림을 유지하는 것입니다. 우리는 두 가지 패러다임을 결합한 통합 아키텍처인 HybridCodec을 제안합니다. 이는 의미 및 음향 분기를 별도로 사용하면서 SSL 표현을 의미 스트림으로 증류합니다. 이 설계는 추론(inference) 과정에서 SSL 모델을 요구하지 않으면서도 강력한 분리를 보장합니다. HybridCodec은 도메인 내 테스트 셋에서 우수한 의미적 특화(RVQ-1)를 보이고 경쟁력 있는 재구성(RVQ-all) 성능을 보여줍니다. 우리는 도메인 외(out-of-domain) 및 제로샷 교차 언어(zero-shot cross-lingual) 설정에서의 견고함을 입증했으며, 기존 이중 스트림 모델 대비 3배의 속도 향상을 달성했습니다.

arXiv:2606.06740v1cs.SD

다국어 다화자 유닛 보코더: 이산 음성 표현에 대한 체계적 분석

Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations

자기 지도 임베딩(self-supervised embeddings)의 k-means 군집화를 통해 얻은 이산 음성 유닛(discrete speech units)은 음성적(phonetic), 화자, 언어 정보가 얽혀 있어, 다국어 다화자 음성 생성에서 화자 혼합(speaker mixing)과 언어 간 간섭(cross-lingual interference)을 유발합니다. 오디오 LLM(Audio LLM) 및 음성 대 음성 시스템(speech-to-speech systems)에서의 사용이 증가하고 있음에도 불구하고, 유닛 보코더(unit vocoder)는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 4개의 인도어를 대상으로 BigVGAN 기반 유닛 보코더를 분석합니다. WER(단어 오류율), 화자 유사도, 유닛 수준 메트릭을 사용하여 클러스터 크기와 조건화 전략 간의 상호작용을 연구합니다. 결과에 따르면, 클러스터 크기는 음성적 식별력(phonetic discriminability)을 향상시켜 명료도(intelligibility)를 좌우하며, 명시적 화자 조건화(explicit speaker conditioning)는 정체성 붕괴(identity collapse) 방지에 필수적입니다. 언어 감독(language supervision)은 유닛이 여전히 모호한 낮은 클러스터 크기에서 주로 추가적인 이득을 제공합니다. 분석 결과, 더 작은 인벤토리(inventory)에서 언어 간 유사한 음소(phonemes)는 동일한 클러스터 ID로 통합되는 반면, 더 큰 클러스터에서는 점진적으로 분리되는 것으로 나타났습니다.