arXiv:2103.10257

Domain Generalization using Ensemble Learning

Yusuf Mesbah, Youssef Youssry Ibrahim, Adil Mehood Khan

제출 2021-03-18

원문 초록

Domain generalization is a sub-field of transfer learning that aims at bridging the gap between two different domains in the absence of any knowledge about the target domain. Our approach tackles the problem of a model's weak generalization when it is trained on a single source domain. From this perspective, we build an ensemble model on top of base deep learning models trained on a single source to enhance the generalization of their collective prediction. The results achieved thus far have demonstrated promising improvements of the ensemble over any of its base learners.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Transfer Learning, Ensemble Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2609.23427v3cs.CV공통 태그 Transfer Learning, Domain Generalization

RSPDBench: 물리적으로 근거한 원격탐사 제품 열화 하에서 지구관측 과업에 대한 비전 파운데이션 모델 벤치마킹

RSPDBench: Benchmarking Vision Foundation Models on Earth Observation Tasks Under Physically Grounded Remote-Sensing Product Degradations

지구 관측(EO)을 위한 비전 파운데이션 모델은 보통 깨끗한 벤치마크에서 평가되지만, 실제 운영되는 EO 산출물은 모델에 도달하기 전에 이미 공간적, 방사측정적, 정렬, 잡음, 조화 결함을 포함할 수 있다. 일반적인 이미지 손상이나 광범위한 도메인 이동은 이러한 산출물 수준의 실패를 분리해 내지 못한다. 우리는 물리적 근거에 기반한 원격탐사 산출물 열화 벤치마크인 \textbf{RSPDBench}를 소개한다. 이는 다섯 개의 EO 데이터셋에서 기본 열화와 복합 산출물 체인 하에 일곱 개의 파운데이션 모델 항목과 두 개의 지도 학습 기준선을 평가한다. 열화 파라미터는 공개된 Sentinel-2 및 Landsat~8 사양을 따르며, Sentinel-2의 쌍을 이루는 $10\,\mathrm{m}$ 및 $20\,\mathrm{m}$ 근적외선 밴드와 대조하여 검증된다. 우리는 각 모델을 자체 고유 프로토콜로 평가하고, 견고성을 자체 깨끗한 기준선으로부터의 하락폭으로 측정한다. 분석 결과 열화 민감도가 강하게 구조화되어 있음이 드러난다. (i) 해상도 조건부 인코더는 해상도 손실에 가장 견고하지만 위성 산출물의 방사측정 이득에는 가장 민감하고, (ii) 동일한 물리적 결함이 한 모델에는 해가 되고 다른 모델에는 도움이 될 수 있으며, (iii) 해상도 손실과 방사측정 이득에서의 모델 순위는 대체로 뒤바뀐다. 복합 체인은 가장 강한 단일 구성요소보다 최대 $38$ 퍼센트포인트의 추가 하락을 일으킨다. m-BigEarthNet에서 열화된 뷰로 프로브를 재학습하면 잡음 및 조화 손실의 약 75\%가 제거되지만, 해상도 손실은 여전히 깨끗한 점수의 약 20\%를 잃게 한다. 따라서 EO 견고성은 깨끗한 정확도나 일반적인 섭동만으로가 아니라 원격탐사 산출물의 구조화된 결함에 대해 측정되어야 한다. 코드: https://github.com/Tanjim131/RSPDBench

arXiv:2610.15757v1cs.CL공통 태그 Transfer Learning, Domain Generalization

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.13578v1cs.RO공통 태그 Transfer Learning, Domain Generalization

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2609.39148v2cs.AI공통 태그 Transfer Learning, Domain Generalization

자기 진화형 기술은 미학습 태스크에도 일반화되는가?

Do Self-Evolving Skills Generalize to Held-Out Tasks?

AI 에이전트(agent)는 이전 태스크에서 학습한 내용을 절차, 체크리스트, 코드 또는 기타 실행 가능한 아티팩트와 같은 재사용 가능한 기술(skills)로 외재화하여 새로운 태스크를 해결할 때 검색 및 재사용할 수 있습니다. 자기 진화형 기술(self-evolving skill) 방법은 학습(training) 태스크에 대한 연습을 거칠 때마다 이러한 기술을 지속해서 다시 작성하며, 이후 동일한 종류의 새로운 태스크에 해당 기술을 활용합니다. 본 논문에서는 기술이 학습 태스크에서 보인 개선 효과가 새로운 테스트 태스크로도 이어지는가라는 질문을 던집니다. 저자들은 모든 방법에 동일한 모델(model), 동일한 에이전트, 동일한 학습/테스트 분할을 적용하여 6개 벤치마크에서 5가지 자기 진화 방법과 원샷(one-shot) 기술을 테스트했습니다. 학습 태스크에서 성능 향상을 보인 21개 기술 중 5개는 테스트 태스크에서도 그 개선 효과를 온전히 유지했고, 13개는 일부만 유지했으며, 3개는 전혀 유지하지 못했습니다. 모든 영역에서 가장 뛰어난 기존 방법은 없었습니다. 기술 내용을 분석한 결과, 일반화 성능이 낮은 기술들은 열 이름이나 출력 파일과 같이 태스크에 종속되어야 하는 세부 사항을 고정해 버리거나, 단일 실패에 대한 해결책을 모든 태스크를 위한 규칙으로 일반화하는 경우가 많았습니다. 기술 내용을 읽는 LLM 판정자(judge)는 이러한 점을 포착할 수 있어, 86%의 쌍에서 테스트 결과와 동일한 방식으로 완성된 기술들의 순위를 매겼습니다. 그러나 단일 수정의 영향은 제대로 예측하지 못하므로, 수정 사항은 여전히 직접 실행하여 테스트해야 합니다. 이러한 발견을 바탕으로 본 논문에서는 기술 작성 가이드만 유지하고 태스크마다 새로운 기술을 작성하는 일반화 가능한 기술 최적화(GSO, Generalizable Skill Optimization)를 제안하며, 이 방법은 6개 벤치마크 모두에서 가장 높은 점수를 기록했습니다.

arXiv:2609.18462v5cs.CV공통 태그 Transfer Learning, Domain Generalization

CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.