arXiv:2609.22716v1 cs.CV

ZIL: 제로샷 이미지-투-LiDAR 정합

ZIL: Zero-shot Image-to-LiDAR Registration

Zijun Li, Xiaotian Sun, Xuelun Shen, Yao Dai, Sheng Ao, Yangyang Shi, Jakob Engel, Zhipeng Cai, Cheng Wang

제출 2026-09-22

한국어 초록

이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.

원문 초록

Image-to-LiDAR registration estimates the camera pose of an image with respect to a LiDAR point cloud. It has diverse applications in autonomous driving, robot navigation etc. However, state-of-the-art (SOTA) methods still 1) mostly assume same-frame inputs, struggling with the image and point cloud from distant frames; 2) rely on domain-specific training, failing to generalize to unseen scenarios. We propose ZIL, the first foundation model for zero-shot non-synchronized image-to-LiDAR registration. ZIL encodes the input image and point cloud with the Vision and Point Transformers. In addition to regressing the relative pose, ZIL also learns to predict 3D coordinates, which substantially improves the pose accuracy without additional annotations. Interestingly, naive mix-data training cannot enable zero-shot generalization, which requires normalization on both camera intrinsics and the LiDAR vertical-axis origin. Trained on 7 public datasets with 1.4M LiDAR frames, ZIL consistently and significantly outperforms previous SOTA with a single model across 5 in-domain and zero-shot benchmarks, reducing the translation and rotation errors by up to 87% and 76% (shown in Fig. 1). Code and models are available at https://github.com/ZijunLi7/ZIL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22716v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15757v1cs.CL공통 태그 Zero-Shot Learning, Domain Generalization

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.03316v2cs.AI공통 태그 Zero-Shot Learning, Domain Generalization

LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화

Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs

다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.

arXiv:2610.02796v1cs.AI공통 태그 Zero-Shot Learning, Domain Generalization

EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링

Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS

생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.

arXiv:2609.05253v2cs.LG공통 태그 Zero-Shot Learning, Domain Generalization

GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬

GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection

본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.

arXiv:2610.01758v1cs.CV공통 태그 Pose Estimation, Domain Generalization

GenCOPE: 로봇 피킹을 위한 합성 데이터 기반 현실 일반화 카테고리 수준 물체 자세 추정

GenCOPE: Syn2Real Generalized Category-Level Object Pose Estimation for Robotic Picking

클래스 내 미지의 물체로 일반화할 수 있는 카테고리 수준 물체 자세 추정(COPE)은 로봇 3D 장면 이해를 위한 핵심 기술로 자리 잡았습니다. 그러나 기존 COPE 방법들은 여전히 새로운 물체 카테고리에 대해 노동 집약적인 실제 환경 학습(training) 데이터의 재수집을 요구하므로 실제 응용에서의 확장성이 제한됩니다. 본 논문은 렌더링된 합성 데이터만으로 모델(model)을 학습하고 실제 환경 배포로 직접 일반화하는 합성-현실(Syn2Real) 일반화 COPE 달성을 목표로 합니다. 주요 과제는 합성 데이터와 실제 데이터 간의 상당한 도메인 격차, 특히 텍스처 외형 차이에 있습니다. 이를 해결하기 위해 동일 카테고리 내 물체 간의 시맨틱 공통점을 포착하는 도메인 불변 표현을 학습함으로써 도메인 일반화를 향상시키는 것을 목표로 합니다. 본 연구에서는 특징(feature) 인코더의 도메인 특화 특징에 대한 민감도를 줄이기 위해 2D 및 3D 시맨틱 일관성 제약을 도입합니다. 또한 조밀한 크로스 모달리티 융합을 활용하여 자세 추정을 더욱 정밀화하는 2D-3D 크로스 일관성 학습을 수행하는 엔드투엔드 자세 회귀 프레임워크를 제안합니다. 실제 로봇 배포에는 단순성과 효과성이 필수적이므로, 본 모델은 전역 특징만을 기반으로 동작하여 매우 경량화되고 효율적인 아키텍처를 구현합니다. REAL275 및 Wild6D 벤치마크와 실제 로봇 조작 장면에 대한 광범위한 실험을 통해 본 패러다임의 우수한 Syn2Real 일반화 성능을 입증합니다. 코드와 데모는 https://paperreview99.github.io/GenCOPE/ 에서 공개되어 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.