arXiv:2006.03908

Enforcing Predictive Invariance across Structured Biomedical Domains

Wengong Jin, Regina Barzilay, Tommi Jaakkola

제출 2020-06-06

원문 초록

Many biochemical applications such as molecular property prediction require models to generalize beyond their training domains (environments). Moreover, natural environments in these tasks are structured, defined by complex descriptors such as molecular scaffolds or protein families. Therefore, most environments are either never seen during training, or contain only a single training example. To address these challenges, we propose a new regret minimization (RGM) algorithm and its extension for structured environments. RGM builds from invariant risk minimization (IRM) by recasting simultaneous optimality condition in terms of predictive regret, finding a representation that enables the predictor to compete against an oracle with hindsight access to held-out environments. The structured extension adaptively highlights variation due to complex environments via specialized domain perturbations. We evaluate our method on multiple applications: molecular property prediction, protein homology and stability prediction and show that RGM significantly outperforms previous state-of-the-art baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21290v1cs.LG공통 태그 Prediction, Domain Generalization

전이학습을 활용한 비디오 게임 상태 기반 이질적 예측을 위한 다중 과제 학습

Multi-Task Learning for Heterogeneous Prediction from Video Game State with Transfer Learning

다중 과제 학습(MTL)은 비디오 게임 상태 데이터에서 파생된 예측 과제에 유망한 접근법으로, 현대 게임 텔레메트리는 동일한 구조화된 관측치로부터 여러 관련 감독 신호를 제공하기 때문이다. 본 연구는 팀 기반 멀티플레이어 게임에서 과제들을 공동으로 학습한 공유 모델이, 특화된 단일 과제 모델에 비해 일반화를 향상시키면서 학습 및 추론 비용을 줄일 수 있는지 조사한다. 엔드포인트 예측을 위한 멀티모달 아키텍처를 일반적인 다중 과제 설정에 맞게 조정하여, 래스터화된 비전 입력, 전역 매치 컨텍스트, 유닛별 상태 정보를 이미지 인코더와 어텐션 기반 상호작용 모델링을 통해 결합한다. 대규모 독점 World of Tanks 데이터셋에서의 실험은 단일 과제 및 다중 과제 학습을 비교하고, 혼합 손실 및 충돌하는 그래디언트에 대한 가중치 전략을 평가하며, 제한된 타깃 데이터 환경에서 사전학습/미세조정을 검증한다. 또한 구조화된 환경 변화 하에서 게임 맵 간 게임 내 전이를 조사한다.

arXiv:2609.07780v3cs.CV공통 태그 Domain Generalization

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2607.13941v2cs.CV공통 태그 Domain Generalization

Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크

Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment

비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.

arXiv:2607.21118v2cs.CV공통 태그 Domain Generalization

제2회 LoViF 2026 실세계 올인원 이미지 복원 챌린지: 방법과 결과

The Second LoViF 2026 Challenge on Real-World All-in-One Image Restoration: Methods and Results

본 논문은 실세계 올인원(all-in-one) 이미지 복원을 주제로 한 제2회 LoViF 챌린지에 대한 리뷰를 제시한다. 이 챌린지는 흐림, 저조도, 안개, 비, 눈 등 다양한 실세계 열화(degradation) 조건에서 통합 이미지 복원을 발전시키는 것을 목표로 한다. 통합 프레임워크 내에서 여러 열화 유형에 걸친 모델의 복원 정확도, 견고성(robustness), 일반화(generalization) 능력을 평가하기 위한 공통 벤치마크를 제공한다. 대회에는 158명의 등록 참가자가 참여했으며, 제출된 결과가 성공적으로 재현 및 검증된 후 20개 팀이 최종 순위에 포함되었다. 본 보고서는 제출된 솔루션과 해당 결과에 대한 포괄적인 분석을 제공하며, 실세계 올인원 이미지 복원 분야의 최근 진전을 강조한다. 요약된 방법과 실증적 발견은 효과적인 설계 전략을 드러내고, 실세계 저수준(low-level) 비전 분야의 향후 연구를 위한 업데이트된 벤치마크를 확립한다.

arXiv:2607.22117v2cs.CV공통 태그 Domain Generalization

도메인 일반화를 위한 Projection Pursuit CPCANet

Projection Pursuit CPCANet for Domain Generalization

도메인 일반화(DG)는 분포 변화에 강건한 표현을 학습하는 것을 목표로 한다. CPCANet과 같은 최근의 기하학적 정렬 방법들은 배치 단위 공통 주성분 분석(CPCA)을 통해 도메인 불변 구조를 추출한다. 그러나 CPCANet은 미니배치 학습에서의 소표본 문제로 인해 계수 결손(rank-deficient) 공분산 추정의 한계를 겪는다. 이 한계를 해결하기 위해, 우리는 Stiefel 다양체 위에서 전역 직교 기저를 학습하고 Cayley 변환을 통해 네트워크 파라미터와 함께 공동 최적화하는 공분산-무(covariance-free) 프레임워크인 Projection Pursuit CPCANet(PP-CPCANet)을 제안한다. 또한 우리는 밀집하고 강건한 최적화 신호로 공통 주성분(CPC)을 추출하기 위해 대칭성 깨기(symmetry-breaking) 분리-중앙값(detached-median) PP 분산(dispersion) 목적함수를 도입한다. 4개의 DG 벤치마크에서의 실험은 PP-CPCANet이 안정적인 학습을 유지하면서 SOTA 성능을 달성함을 보여준다.

arXiv:2609.36882v3cs.CV공통 태그 Domain Generalization

적은 감독, 더 나은 일반화: 디퓨전으로 편집된 이미지에서의 약지도 가짜 영역 위치 추정

Less Supervision, Better Generalization: Weakly Supervised Fake Region Localization in Diffusion-Edited Images

AI로 편집된 영역을 국소화하는 것은 해석 가능한 포렌식 분석에 필수적이지만, 의미론적 경계나 객체 경계와 어긋나며 공간적으로 분산된 미세한 아티팩트 때문에 여전히 어렵다. 기존 접근법은 통제된 편집 파이프라인에서 얻은 픽셀 수준 지도에 의존하는데, 이는 확장하기 어렵고 오해를 유발하는 신호를 도입할 수 있다. 아티팩트는 흔히 주석이 달린 영역 밖으로 확장되지만, 마스크 밖 픽셀은 진짜로 취급된다. 이는 전이 가능한 증거를 포착하고 생성기와 데이터셋 전반에 일반화하는 모델의 능력을 제한한다. 이러한 문제를 해결하기 위해 우리는 확산 편집 가짜 영역 국소화를 위한 최초의 약지도 접근법인 약지도 하의 재구성 유도 가짜 국소화 프레임워크 ReGFLoW를 제안한다. ReGFLoW는 이미지 수준의 진짜/가짜 레이블만 필요로 하며, 확산 재구성 오차를 조밀한 공간적 가이드로 사용하여 이를 특징 공간과 점수 공간 모두에 주입한다. 또한 아티팩트 중심의 다중 인스턴스 학습을 통해 ReGFLoW는 의미적 친화도나 경계 기반 의사 마스크 사전 지식에 의존하지 않고 국소화된 확산 증거를 활용한다. 폭넓은 실험 결과, 생성기 간 국소화에서 경쟁력 있는 성능을 보였으며, 부분 편집 이미지와 완전 합성 이미지를 모두 포함하여 평가하는 경우와 대상 도메인 적응 없이 수행한 데이터셋 간 시험에서 ReGFLoW는 평가된 모든 완전 지도 기준선을 능가한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.