한국어 초록
초록과 제목을 번역 규칙에 맞춰 정리한 뒤 JSON만 반환합니다. ```json {"title_ko": "SIDA: 합성 이미지 기반 제로샷 도메인 적응", "abstract_ko": "제로샷 도메인 적응(zero-shot domain adaptation)은 타깃 도메인 이미지 데이터를 사용하지 않고 모델을 타깃 도메인에 적응시키는 방법이다. 타깃 이미지 없이 적응을 가능하게 하기 위해, 기존 연구들은 CLIP의 임베딩 공간과 텍스트 설명을 활용하여 타깃과 유사한 스타일 특징을 시뮬레이션한다. 제로샷 도메인 적응에서의 이전 성과에도 불구하고, 우리는 이러한 텍스트 기반 방법들이 복잡한 실세계 변화를 포착하는 데 어려움을 겪으며, 정렬(alignment) 과정으로 인해 적응 시간이 크게 증가한다는 점을 관찰한다. 텍스트 설명에 의존하는 대신, 우리는 다양하고 더 세밀한 스타일 단서를 제공하는 이미지 데이터를 활용한 해결책을 탐구한다. 본 연구에서는 합성 이미지를 활용한 새롭고 효율적인 제로샷 도메인 적응 방법인 SIDA를 제안한다. 합성 이미지를 생성하기 위해, 먼저 상세한 소스 유사 이미지를 생성하고 이미지 변환(image translation)을 적용하여 타깃 도메인의 스타일을 반영한다. 그런 다음 이러한 합성 이미지의 스타일 특징을 타깃 도메인의 대리(proxy)로 활용한다. 이러한 특징을 바탕으로, 실세계 변화의 효과적인 모델링을 가능하게 하는 Domain Mix 및 Patch Style Transfer 모듈을 도입한다. 특히 Domain Mix는 여러 스타일을 혼합하여 도메인 내(intra-domain) 표현을 확장하고, Patch Style Transfer는 개별 패치(patch)에 서로 다른 스타일을 할당한다. 우리는 다양한 제로샷 적응 시나리오, 특히 어려운 도메인에서 최신(state-of-the-art) 성능을 보여줌으로써 방법의 효과를 입증한다. 또한 본 접근법은 전체 적응 시간을 크게 단축함으로써 높은 효율성을 달성한다."} ```
원문 초록
Zero-shot domain adaptation is a method for adapting a model to a target domain without utilizing target domain image data. To enable adaptation without target images, existing studies utilize CLIP's embedding space and text description to simulate target-like style features. Despite the previous achievements in zero-shot domain adaptation, we observe that these text-driven methods struggle to capture complex real-world variations and significantly increase adaptation time due to their alignment process. Instead of relying on text descriptions, we explore solutions leveraging image data, which provides diverse and more fine-grained style cues. In this work, we propose SIDA, a novel and efficient zero-shot domain adaptation method leveraging synthetic images. To generate synthetic images, we first create detailed, source-like images and apply image translation to reflect the style of the target domain. We then utilize the style features of these synthetic images as a proxy for the target domain. Based on these features, we introduce Domain Mix and Patch Style Transfer modules, which enable effective modeling of real-world variations. In particular, Domain Mix blends multiple styles to expand the intra-domain representations, and Patch Style Transfer assigns different styles to individual patches. We demonstrate the effectiveness of our method by showing state-of-the-art performance in diverse zero-shot adaptation scenarios, particularly in challenging domains. Moreover, our approach achieves high efficiency by significantly reducing the overall adaptation time.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2507.18632v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Novel Unsupervised Domain Adaption Method for Depth-Guided Semantic Segmentation Using Coarse-to-Fine Alignment
저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구
Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi
감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
언어 사전분포에서 현장 적응까지: 주행 가능성 추정을 위한 선호도 학습
From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation
이미지 기반 주행 가능성(traversability) 추정은 로봇 플랫폼, 배포 도메인, 임무 선호도에 본질적으로 의존하므로, 특정 목적에 맞춰 학습된 모델의 적용 가능성을 제한합니다. 도메인 적응을 용이하게 하기 위해, 본 연구는 샘플 효율적인 선호도 학습을 사용하여 타깃 도메인에서 필요한 어노테이션 수를 줄이는 것을 목표로 합니다. 제안하는 방법은 동결된 비전-언어(vision-language) 특징(feature) 공간에서 폰 미제스-피셔(von Mises-Fisher) 혼합 프로토타입을 통해 주행 가능성을 표현합니다. 상대적 자연어 규칙은 상식적 사전분포(commonsense prior)를 제공하는 한편, 희소한 상대적 이미지 어노테이션은 계산 및 샘플 효율적인 미세조정(fine-tuning)을 통해 프로토타입의 방향과 효용을 타깃 도메인에 적응시킵니다. WayFAST에서의 실험은 샘플 효율적인 이미지 기반 적응을 가능하게 하면서도 엔드투엔드(end-to-end)로 학습된 추정기와 대등한 정확도를 보임을 입증합니다. 정성적 실험은 언어 사전분포의 제로샷(zero-shot) 적용 가능성과 미세조정된 추정기가 시맨틱 맵에서 향상된 조밀 예측(dense prediction)을 수행함을 추가로 보여줍니다. 또한 의미상 가까운 자연어 프롬프트를 분석하여 학습된 프로토타입의 의미론적 해석을 통해 평가를 보완합니다. 코드와 학습된 추정기는 https://resireg.github.io 에서 확인할 수 있습니다.
AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크
AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC
멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.
STATERA: 동결된 시간 튜브릿을 활용한 제로샷 Sim-to-Real 기구학 기반 숨겨진 질량 추정
STATERA: Hidden Mass Estimation via Zero-Shot Sim-to-Real Kinematics using Frozen Temporal Tubelets
프레임 수준의 외형을 위해 사전학습(pre-training)된 비전 모델들은 종종 움직임으로부터 숨겨진 물리적 특성을 추론하는 데 어려움을 겪습니다. 본 연구에서는 자기 가림(self-occlusion)으로 인해 표면 단서와 포인트 트래킹의 신뢰성이 떨어지는 짧은 단안(monocular) 비디오로부터 불투명하고 비대칭인 강체의 질량 중심(CoM) 위치를 파악하는 문제를 다룹니다. 우리는 대부분 동결된 가중치와 경량 시간 튜브릿 믹서(temporal tubelet mixer)를 갖춘 사전학습 비디오 백본(V-JEPA)을 활용하여 프레임별 CoM 히트맵과 궤적을 예측하는 STATERA를 제안합니다. 이 태스크를 지원하기 위해 5만 개의 MuJoCo 궤적과 물리적으로 보정된 실제 CoM 정답(ground truth)이 포함된 63개 시퀀스의 실제 환경 테스트 세트로 구성된 HiddenMass 벤치마크를 도입합니다. 시뮬레이션에서 STATERA-50K-Sigma는 정규화된 CoM 오차를 41.7%(DINOv2)에서 25.2%로 개선합니다. 제로샷(zero-shot) sim-to-real 전이에서 우리는 지도 방식의 근본적인 트레이드오프를 관찰했습니다. 위상 인식(phase-aware) 타깃은 양봉(bimodal) 예측을 유도할 수 있는 반면, 위상 무관(phase-agnostic) 타깃은 통계적으로 안전한 중심점(centroid)으로 붕괴될 수 있습니다. 그럼에도 불구하고, 위상 인식 기반의 STATERA-50K-Crescent는 평가된 방법 중 실제 숨겨진 오프셋을 향해 일관된 움직임을 보여준 유일한 방법입니다. 이는 정적 기하학적 중심점에 비해 절대 유클리드 오차를 미세하게 증가시키는 단안 벡터 오버슈트 아티팩트를 유발하지만, 물리적 포착률(physics capture)을 2.6%에서 41.0%로 향상시킵니다. 이러한 결과는 동결된 시간 표현이 숨겨진 매개변수 추정을 위해 시각적 기하 구조로부터 관성 역학을 더 잘 분리할 수 있음을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.