Ridge Regression, Hubness, and Zero-Shot Learning
원문 초록
This paper discusses the effect of hubness in zero-shot learning, when ridge regression is used to find a mapping between the example space to the label space. Contrary to the existing approach, which attempts to find a mapping from the example space to the label space, we show that mapping labels into the example space is desirable to suppress the emergence of hubs in the subsequent nearest neighbor search step. Assuming a simple data model, we prove that the proposed approach indeed reduces hubness. This was verified empirically on the tasks of bilingual lexicon extraction and image labeling: hubness was reduced with both of these tasks and the accuracy was improved accordingly.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
유전 프로그래밍 심볼릭 회귀에서 제로샷 LLM 생성 부모 선택 벤치마킹
Benchmarking Zero-Shot LLM-Generated Parent Selection in Genetic Programming for Symbolic Regression
부모 선택은 심볼릭 회귀를 위한 유전 프로그래밍(GP)에서 탐험, 활용, 복잡도 제어에 중요한 영향을 미친다. 대규모 언어 모델(LLM)이 반복적 메타 진화 없이 제로샷 설정에서 효과적인 연산자를 합성할 수 있는지는 불분명하다. 여기서 제로샷이란 모델이 참조 연산자나 반복적 피드백 없이 작업 설명만 받는 것을 의미한다. 본 연구에서는 심볼릭 회귀를 위한 표준 GP 프레임워크 내에서 8개 LLM에 걸쳐 부모 선택 연산자의 제로샷 합성을 벤치마킹한다. 각 모델은 부모 선택 연산자를 생성하기 위해 동일한 자연어 프롬프트를 받으며, 생성된 연산자는 부모 선택 연산자만 교체된 표준 GP 프레임워크에서 평가되고, 다른 모든 구성 요소와 진화 탐색 예산은 일정하게 유지된다. 각 LLM에 대해 10개의 독립적인 제로샷 연산자를 12개 OpenML 회귀 벤치마크에서 평가하고, 자동 lexicase 및 토너먼트 선택 기준선과 비교한다. Claude Sonnet~4.6과 Gemini~3.1 Pro는 학습 및 홀드아웃 테스트 $R^2$ 모두에서 일관되게 강한 성능을 보여 두드러진다. 벤치마크에서 가장 강한 연산자인 Kimi~K2.5 제로샷 합성은 탐색 효과성에서 자동 lexicase 및 토너먼트 선택 기준선을 능가한다. 이 결과는 제로샷 LLM 합성이 경쟁력 있는 GP 선택 연산자를 생성하는 실행 가능한 접근법임을 시사한다. 분석에 따르면 생성된 연산자 중 다수가 선택을 안내하기 위해 semantics를 사용하며, 이는 LLM이 작업 설명만으로 비자명한 탐색 휴리스틱을 생성할 수 있음을 시사한다. 또한 공개 LLM 리더보드 순위와 GP 성능 간의 관계를 조사한다. Humanity's Last Exam, SWE-bench Verified와 같이 널리 사용되는 벤치마크는 학습 $R^2$와 강한 상관관계를 보이지만, 홀드아웃 테스트 $R^2$와의 관계는 더 약하고 덜 명확하다.
mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습
mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction
밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.
STEREOFLOW: StereoDiT와 Transition Flow Matching 기반 점진적 스테레오 매칭
STEREOFLOW: Progressive Stereo Matching with StereoDiT and Transition Flow Matching
스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.