arXiv:2609.39964v2 cs.AI

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

Yijie Bian, Kai Zhang, Wei Guo, Zixin Wang, Shenghui Song, Jun Zhang, Khaled B. Letaief

제출 2026-09-30

한국어 초록

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

원문 초록

Multi-modal integrated sensing and communication (ISAC) enables environmental perception and reliable connectivity for intelligent wireless networks. Data-driven multi-modal ISAC models depend heavily on annotated real-world data to learn relationships across sensing and wireless observations, thereby constraining scalable deployment. Although synthetic data generation reduces the burden, adapting existing simulation pipelines to a target deployment requires consistent scene, sensing, wireless, and learning configurations, while mismatches among these coupled components impair sim-to-real transferability. To address the challenge, we propose an agentic artificial intelligence (AI) framework for sim-to-real multi-modal ISAC, named AIMS. Given a natural-language deployment request specifying the target task, deployment conditions, and real-data budget, AIMS derives a deployment-specific sim-to-real configuration and coordinates its execution to produce a deployment-specific task model. A two-agent architecture coordinates scene construction with task learning. A scene construction agent generates geographically grounded, synchronized sensing and wireless records from shared physical states, while a scene understanding agent configures task-relevant modalities and mixture-of-experts (MoE) learning for zero-shot inference or few-shot adaptation. Structured domain knowledge guides dependency-aware planning, while validation evidence supports feedback-driven revision of affected decisions. Experiments on the real-world DeepSense 6G dataset demonstrate improved vehicle detection and beam prediction over the considered simulation and fusion baselines. A separate orchestration benchmark evaluates task interpretation, dependency reasoning, and feedback-driven replanning across diverse deployment requests, showing improved plan correctness with structured domain knowledge and validation feedback.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.39964v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14041v1cs.CV공통 태그 Mixture-of-Experts, Domain Adaptation, Few-Shot Learning

다중 도메인 저자원 OCR를 위한 다중 전문가 라우팅: 만주어 사례 연구

Multi-Expert Routing for Multi-Domain Low-Resource OCR: A Manchu Case Study

역사적 만주어 OCR은 라벨 데이터가 제한적임에도 불구하고, 정체, 행서, 궁중 상소문에 사용된 반필 관자체 등 시각적으로 뚜렷이 다른 여러 필기체를 수용해야 한다. 우리는 반복적 미세조정 과정에서 얻은 체크포인트를 도메인 전문가로 재사용하고, 경량 페이지 수준 이미지 분류기를 통해 시각적 스타일별로 페이지를 라우팅하는 다중 전문가 시스템을 연구한다. 체크포인트 풀에 적합한 전문가가 없을 경우 해당 도메인을 위해 추가 전문가를 학습한다. 세 개의 고정(frozen) 테스트 세트에서, 라우팅 시스템은 각 스타일에 대해 선택된 전문가와 소수점 둘째 자리까지 일치한다: 정체에서 CER 0.30%, 상소문에서 1.57%, 행서에서 4.83%. 라우터는 99.3%의 페이지 수준 도메인 정확도를 달성하며, 동일한 소수 자릿수에서 도메인 라벨 oracle과 일치한다. 세 전문가 중 두 명은 최종 도메인을 위해 특별히 학습되지 않았으며, 행서 전문가만이 해당 도메인을 목표로 학습되었다. 비교를 재현 가능하게 하기 위해 평가 프로토콜, 라우터 설계, 페이지별 예측을 보고한다.

arXiv:2610.02123v1cs.CV공통 태그 Mixture-of-Experts, Domain Adaptation

효율적인 적응을 위한 멀티모달 전문가 혼합(MoE) 모델 내 도메인 전문 전문가 활용

Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation

전문가 혼합(MoE) 아키텍처는 각 토큰을 소수의 전문가 하위 집합으로만 라우팅하는 희소 계산을 통해 모델 용량을 확장합니다. 본 연구에서는 이러한 희소성(sparsity)이 멀티모달 MoE에서 창발적인 내재적 조직화로 이어지는지 탐구합니다. 그 결과, 모듈성을 위해 명시적으로 학습되지 않았음에도 불구하고 전문가들이 모달리티와 도메인 전반에 걸쳐 강력한 의미론적 전문화를 발전시킨다는 것을 발견했습니다. 이러한 구조를 기반으로, 라우터 가중치를 의미론적으로 유의미한 어휘 토큰으로 디코딩하여 사전학습된 모델 가중치로부터 직접 도메인 전문 전문가를 식별하는 데이터 프리(data-free) 방식인 ExpertLens를 소개합니다. 우리는 타깃 도메인과 관련된 전문가를 선택적으로 미세조정(fine-tuning)함으로써 효율적인 멀티모달 적응에 이러한 전문화를 활용합니다. 수학, 의료, 원격 탐사 작업 전반에서 ExpertLens는 모델 파라미터의 21.7~47.0%만을 업데이트하고 평균 4.0배의 학습 속도 향상을 달성하면서도 전체 미세조정과 동등하거나 이를 능가하는 성능을 보였으며, 적응 성능과 학습 효율성 모두에서 LoRA를 능가했습니다. 이러한 결과는 효율성을 위해 도입된 희소성이 효율적인 적응에 직접적으로 유용한 의미론적 모듈성을 만들어낼 수 있음을 보여줍니다.

arXiv:2607.22300v1cs.CL공통 태그 Domain Adaptation, Few-Shot Learning

교차언어 전이와 LoRA 어댑터 병합을 통한 저자원 아랍 문자 언어의 생의학 기계 번역

Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging

우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.

arXiv:2607.22012v1cs.LG공통 태그 Domain Adaptation, Few-Shot Learning

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2607.20862v1cs.CL공통 태그 Mixture-of-Experts, Domain Adaptation

CSPF: 검증 불가능한 선호 평가를 위한 제약 공유-사유 융합 방법

CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation

현재 검증 불가능한 작업에 대한 신뢰할 수 있는 평가는 여전히 어려운 과제이다. 기존 접근법들은 이러한 작업에서 인간 선호를 뒷받침하는 다양한 평가 기준을 충분히 포착하지 못하는 경우가 많다. 이를 위해 우리는 이질적인 고정(frozen) 보상 모델을 상호 보완적인 평가자로 취급하고, 쌍(pairwise) 인간 선호 감독 하에 은닉 상태(hidden-state) 표현을 통합하는 방법을 학습하는 융합 방법인 제약 공유-사유 융합(Constrained Shared-Private Fusion, CSPF)을 제안한다. CSPF는 각 전문가(expert) 신호를 공유 및 전문가 고유 표현으로 분해하여, 상호 보완적인 관점을 보존하면서 전문가 간 정렬(alignment)을 촉진한다. LM-Arena 타깃 도메인 적응 및 PPE 분포 외(out-of-distribution) 선호 평가 실험에서 CSPF는 평가된 단일 전문가 보상 모델, 스칼라 점수 다중 전문가, 루브릭(rubric) 심사 baseline들 중 주요 지표에서 최고 성능을 달성한다. 전반적으로 CSPF는 은닉 상태 표현의 융합이 선호 평가를 위한 더 표현력 있는 기반을 제공하며, 검증 불가능한 선호 작업에 대한 통합 평가 신호를 향한 실용적인 경로를 제시함을 시사한다.

arXiv:2607.21004v1cs.CV공통 태그 Domain Adaptation, Few-Shot Learning

AUCH-Net: 교차 도메인 퓨샷 얼굴 표정 인식을 위한 액션 유닛 기반 일관성 인식 하이퍼그래프 네트워크

AUCH-Net: Action Unit-Based Consistency-Aware Hypergraph Network for Cross-Domain Few-Shot Facial Expression Recognition

최근 교차 도메인 퓨샷 얼굴 표정 인식(CF-FER)이 상당한 관심을 받고 있다. 그러나 기존 CF-FER 방법의 성능은 여전히 불만족스러운데, 이는 큰 도메인 차이와 제한된 타깃 샘플 하에서 이전 가능한 특징 학습이 미흡하기 때문이다. 다행히 액션 유닛(AU)은 서로 다른 얼굴 근육의 움직임을 나타내며, 도메인 내외에서 표정을 기술하는 데 일관된 개념적 의미론을 제공한다. 이에 영감을 받아, AU에 일관성 인식 하이퍼그래프를 구성하는 새로운 액션 유닛 기반 일관성 인식 하이퍼그래프 네트워크(AUCH-Net)를 CF-FER를 위해 제안한다. 구체적으로, AUCH-Net은 새로운 AU 특징 학습(AFL) 모듈과 새로운 시각적 특징 학습(VFL) 모듈을 제시한다. AFL 모듈은 새로운 관계 일관성 손실과 AU 정규화 손실의 지침 하에 AU 특징을 학습하고, VFL 모듈은 관계 일관성 손실과 분류 손실의 감독 하에 시각적 특징을 학습한다. 일관된 AU 특징을 학습함으로써 AUCH-Net은 AU와 표정 범주 간의 연결을 효과적으로 모델링한다. 그 결과, 세밀한 얼굴 변화와 고수준 표정 범주 사이의 간극을 메울 수 있어, 이전 가능한 특징 표현의 학습을 크게 촉진한다. 실험실(in-the-lab) 및 실세계(in-the-wild) 데이터셋 모두에서의 광범위한 실험은 우리 방법이 여러 최신(state-of-the-art) 방법보다 일관되게 우수한 성능을 보임을 나타낸다. 우리 결과는 AU 간의 관계를 모델링하는 것이 교차 도메인 퓨샷 시나리오에서 FER에 상당한 잠재력을 지님을 분명히 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.