arXiv:2311.00285

Mixture-of-Experts for Open Set Domain Adaptation: A Dual-Space Detection Approach

Zhenbang Du, Jiayu An, Yunlu Tu, Jiahao Hong, Dongrui Wu

제출 2023-11-01

원문 초록

Open Set Domain Adaptation (OSDA) aims to cope with the distribution and label shifts between the source and target domains simultaneously, performing accurate classification for known classes while identifying unknown class samples in the target domain. Most existing OSDA approaches, depending on the final image feature space of deep models, require manually-tuned thresholds, and may easily misclassify unknown samples as known classes. Mixture-of-Experts (MoE) could be a remedy. Within a MoE, different experts handle distinct input features, producing unique expert routing patterns for various classes in a routing feature space. As a result, unknown class samples may display different expert routing patterns to known classes. In this paper, we propose Dual-Space Detection, which exploits the inconsistencies between the image feature space and the routing feature space to detect unknown class samples without any threshold. Graph Router is further introduced to better make use of the spatial information among image patches. Experiments on three different datasets validated the effectiveness and superiority of our approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39964v2cs.AI공통 태그 Mixture-of-Experts, Domain Adaptation

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2610.02123v1cs.CV공통 태그 Mixture-of-Experts, Domain Adaptation

효율적인 적응을 위한 멀티모달 전문가 혼합(MoE) 모델 내 도메인 전문 전문가 활용

Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation

전문가 혼합(MoE) 아키텍처는 각 토큰을 소수의 전문가 하위 집합으로만 라우팅하는 희소 계산을 통해 모델 용량을 확장합니다. 본 연구에서는 이러한 희소성(sparsity)이 멀티모달 MoE에서 창발적인 내재적 조직화로 이어지는지 탐구합니다. 그 결과, 모듈성을 위해 명시적으로 학습되지 않았음에도 불구하고 전문가들이 모달리티와 도메인 전반에 걸쳐 강력한 의미론적 전문화를 발전시킨다는 것을 발견했습니다. 이러한 구조를 기반으로, 라우터 가중치를 의미론적으로 유의미한 어휘 토큰으로 디코딩하여 사전학습된 모델 가중치로부터 직접 도메인 전문 전문가를 식별하는 데이터 프리(data-free) 방식인 ExpertLens를 소개합니다. 우리는 타깃 도메인과 관련된 전문가를 선택적으로 미세조정(fine-tuning)함으로써 효율적인 멀티모달 적응에 이러한 전문화를 활용합니다. 수학, 의료, 원격 탐사 작업 전반에서 ExpertLens는 모델 파라미터의 21.7~47.0%만을 업데이트하고 평균 4.0배의 학습 속도 향상을 달성하면서도 전체 미세조정과 동등하거나 이를 능가하는 성능을 보였으며, 적응 성능과 학습 효율성 모두에서 LoRA를 능가했습니다. 이러한 결과는 효율성을 위해 도입된 희소성이 효율적인 적응에 직접적으로 유용한 의미론적 모듈성을 만들어낼 수 있음을 보여줍니다.

arXiv:2607.20862v1cs.CL공통 태그 Mixture-of-Experts, Domain Adaptation

CSPF: 검증 불가능한 선호 평가를 위한 제약 공유-사유 융합 방법

CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation

현재 검증 불가능한 작업에 대한 신뢰할 수 있는 평가는 여전히 어려운 과제이다. 기존 접근법들은 이러한 작업에서 인간 선호를 뒷받침하는 다양한 평가 기준을 충분히 포착하지 못하는 경우가 많다. 이를 위해 우리는 이질적인 고정(frozen) 보상 모델을 상호 보완적인 평가자로 취급하고, 쌍(pairwise) 인간 선호 감독 하에 은닉 상태(hidden-state) 표현을 통합하는 방법을 학습하는 융합 방법인 제약 공유-사유 융합(Constrained Shared-Private Fusion, CSPF)을 제안한다. CSPF는 각 전문가(expert) 신호를 공유 및 전문가 고유 표현으로 분해하여, 상호 보완적인 관점을 보존하면서 전문가 간 정렬(alignment)을 촉진한다. LM-Arena 타깃 도메인 적응 및 PPE 분포 외(out-of-distribution) 선호 평가 실험에서 CSPF는 평가된 단일 전문가 보상 모델, 스칼라 점수 다중 전문가, 루브릭(rubric) 심사 baseline들 중 주요 지표에서 최고 성능을 달성한다. 전반적으로 CSPF는 은닉 상태 표현의 융합이 선호 평가를 위한 더 표현력 있는 기반을 제공하며, 검증 불가능한 선호 작업에 대한 통합 평가 신호를 향한 실용적인 경로를 제시함을 시사한다.

arXiv:2607.14041v1cs.CV공통 태그 Mixture-of-Experts, Domain Adaptation

다중 도메인 저자원 OCR를 위한 다중 전문가 라우팅: 만주어 사례 연구

Multi-Expert Routing for Multi-Domain Low-Resource OCR: A Manchu Case Study

역사적 만주어 OCR은 라벨 데이터가 제한적임에도 불구하고, 정체, 행서, 궁중 상소문에 사용된 반필 관자체 등 시각적으로 뚜렷이 다른 여러 필기체를 수용해야 한다. 우리는 반복적 미세조정 과정에서 얻은 체크포인트를 도메인 전문가로 재사용하고, 경량 페이지 수준 이미지 분류기를 통해 시각적 스타일별로 페이지를 라우팅하는 다중 전문가 시스템을 연구한다. 체크포인트 풀에 적합한 전문가가 없을 경우 해당 도메인을 위해 추가 전문가를 학습한다. 세 개의 고정(frozen) 테스트 세트에서, 라우팅 시스템은 각 스타일에 대해 선택된 전문가와 소수점 둘째 자리까지 일치한다: 정체에서 CER 0.30%, 상소문에서 1.57%, 행서에서 4.83%. 라우터는 99.3%의 페이지 수준 도메인 정확도를 달성하며, 동일한 소수 자릿수에서 도메인 라벨 oracle과 일치한다. 세 전문가 중 두 명은 최종 도메인을 위해 특별히 학습되지 않았으며, 행서 전문가만이 해당 도메인을 목표로 학습되었다. 비교를 재현 가능하게 하기 위해 평가 프로토콜, 라우터 설계, 페이지별 예측을 보고한다.

arXiv:2607.11444v1cs.CL공통 태그 Mixture-of-Experts, Domain Adaptation

UMoE: 도메인 특화 학습에서 모든 전문가 활성화

UMoE:Unlocking Every Expert in Domain-Specific Training

전문가 혼합(MoE) 모델은 비례적인 연산 비용 없이 용량을 확장할 수 있어 최전선 대규모 언어 모델(LLM)의 핵심 아키텍처로 자리잡았다. 그러나 도메인 특화 사후 학습은 혼합 도메인 사전학습으로 형성된 전문가 풀을 그대로 계승한다: 상당한 비율의 전문가가 목표 도메인에서 거의 기여하지 못하며, 표준 지도 미세조정(SFT)은 이 풀의 구성을 변경하지 않는다. 본 논문에서는 미세조정 이전에 전문가 풀을 목표 도메인에 재정렬하는 간단하고 예산 보존적인 파이프라인을 제안한다. 목표 도메인이 주어지면, (1) 도메인 정렬 현저성(saliency)이 가장 낮은 전문가를 가지치기(prune)하고, (2) 섭동 기반 전문가 확장을 통해 전문가 풀을 원래 크기로 재성장시키며, (3) 표준 SFT를 적용한다. 결과 모델은 원래의 전문가 수, 매개변수 수, 추론 비용을 그대로 유지한다. 단일 고정 레시피와 도메인별 하이퍼파라미터 튜닝 없이, UMoE는 두 가지 MoE 아키텍처(Qwen3-30B-A3B 및 Qwen3.5-35B-A3B), 다섯 가지 도메인(수학, 코드, 과학, 도구 사용, 에이전틱 코딩), 12개의 벤치마크에서 직접 SFT 대비 일관된 성능 향상을 보인다. 대표적인 성능 향상으로는 수학 평균 정확도 3.4점 상승, SWE-bench Verified에서 6.0점 상승이 있다. 강력한 자체 수학 말뭉치에서 직접 SFT만으로도 이미 Qwen3-30B-A3B-Thinking을 능가하지만(82.81 vs. 81.06), UMoE는 평균을 84.17로 추가 향상시켜 1.36점을 더 끌어올렸으며, 이는 실질적으로 더 강력한 SFT 환경에서도 강건함을 입증한다. 데이터 스케일링 실험은 학습 데이터가 증가하더라도 성능 향상이 지속됨을 추가로 보여준다. 분석 결과, 직접 SFT 모델은 라우팅 전문가 연산의 상당 부분을 사후에 제거해도 평균 성능 저하가 거의 없는 낮은 현저성 서브셋에 할당하는 것으로 나타났다; UMoE는 이 중복 용량을 유용한 도메인 용량으로 전환하여 더 낮은 학습 손실을 달성하며, 하위 평가의 모든 난이도 수준에 걸쳐 성능 향상을 보인다.

arXiv:2607.09583v2cs.CV공통 태그 Domain Adaptation

위에서 본 프롬프트 기반 개념 분할: 원격 탐사에서 SAM 3의 제로샷 텍스트 및 시각 프롬프팅 평가

Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing

Segment Anything Model 3(SAM 3)와 같은 대규모 파운데이션 모델은 개방형 어휘와 무학습 컴퓨터 비전으로의 전환을 약속한다. 그러나 이러한 모델이 지구 관측 영상의 하향식 기하 구조라는 분포 외 영역으로 일반화하는 능력은 아직 거의 정량화되지 않았다. 우리는 미세 조정 없이 원격 탐사 장면 분류, 객체 탐지, 인스턴스 분할에 걸쳐 SAM 3를 다중 과제로 경험적으로 평가한다. 장면 분류에서는 분리된 이진 존재 헤드(binary presence head)를 독립적인 제로샷 분류기로 재활용한다. 탐지와 분할에서는 텍스트 프롬프트와 시각 프롬프트를 비교하며, 여기서 시각 프롬프트는 분할 대상 이미지 안에 있는 목표 클래스의 실제 인스턴스 하나를 제시한다. 텍스트만 사용하면 성능이 낮고, 시각 프롬프트를 추가하면 정확도가 크게 오르며, 둘을 결합하면 과제에 따라 정확도가 오르기도 하고 내리기도 한다. 또한 동일한 평가 프로토콜에서 SAM 3의 텍스트 전용 성능을 여러 일반 도메인 개방형 어휘 탐지 및 분할 모델과 비교한 결과, 두 벤치마크 모두에서 모든 모델을 앞선다. 그럼에도 시각 프롬프트가 없을 때의 정확도는 여전히 제한적이며, 이는 향후 연구 방향으로서 매개변수 효율적 미세 조정의 필요성을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.