지름길 학습(shortcut learning)은 로봇 학습에서 널리 발생하는 문제입니다. 로봇 시연(demonstration) 데이터셋의 제한된 다양성은 정책이 시점이나 배경과 같은 무관한 특징과 작업 간의 가짜 상관관계(spurious correlation)를 악용하도록 오도할 수 있습니다. 충분히 다양한 로봇 시연을 수집하는 것은 비용이 많이 들고 비효율적이므로, 알고리즘적 대안이 요구됩니다. 본 연구에서는 비전-언어-행동(vision-language-action, VLA) 모델에 초점을 맞추어, 서로 다른 비전-언어 모델 백본이 시각적 지름길 학습에 대해 실질적으로 서로 다른 취약성 수준을 보임을 발견했습니다. 또한 모델의 행동이 정책 롤아웃(rollout)을 필요로 하지 않는 제안된 표현 수준 지표인 액션 마진(action margin)과 상관관계가 있음을 밝혔습니다. 시각적 지름길은 일관되게 초기 계층에서 행동 표현에 진입하며, 이후 계층에서 언어 정보를 통합하여 이를 수정하는 정도는 모델마다 달랐습니다. 모델의 언어에 대한 어텐션을 높이기 위해, 본 논문에서는 모델이 시각적 지름길을 사용할 가능도를 줄이고 VLA의 일반화를 향상시키는 새로운 도메인 적대적 학습 방법인 태스크 스크러빙(task scrubbing)을 도입합니다. 여러 VLA 및 시각적 단서에 대해 시뮬레이션과 실제 환경 모두에서 수행된 실험은 태스크 스크러빙이 분포 외(out-of-distribution) 강건성을 개선하고 종종 시각적 지름길 학습을 제거함을 보여줍니다.
다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.
프로덕션 ML에서 공정성 감사는 보통 배포 시점에 한 번, 단일 도메인에 대해서만 수행된다. 실제로는 둘 다 한계가 있다. 재학습이나 사용자층 변화 이후 공정성이 달라질 수 있고, 한 데이터셋에서 검증된 개입은 조직이 배포하는 이질적 도메인 전반에서 거의 검증되지 않는다. 우리는 FAPE(Fairness Auditing for Production Environments)를 제시한다. 이는 Fairlearn의 ThresholdOptimizer라는 단일 사후 처리 개입을 8가지 도메인 평가—형사 사법, 소득 예측, 법학 입학, 신용 대출, 농업 대출, 다중 도메인 벤치마크 코퍼스, 의료, 교육—에서 평가하는 4단계 프레임워크이다. 각 평가는 인구통계적 균등(demographic parity)과 균등 오즈(equalized odds) 차이, 그리고 계산 가능한 경우 차등 영향 비율(disparate impact ratio)과 정확도 비용으로 채점된다. 개입 효과는 기준선 불균형의 크기를 따른다. 모델-도메인 쌍 전반에서 제약은 불균형이 큰 14건 중 9건에서 불균형을 개선했고, 거의 공정한 4건 중 3건에서는 악화시켰다. 불균형이 큰 예외 5건 각각은 최소 집단 크기 또는 홀드아웃 데이터에 맞춘 임계값이라는 두 측정 점검 중 하나에서 결과가 뒤집힌다. 배포 시 시작한 CUSUM 모니터를 시뮬레이션된 분포 변화에 대해 검증한 결과, 0.1 parity 관례를 한 번도 충족하지 못한 제약 모델과 충족했다가 이후 퇴행한 모델을 구분한다. 따라서 배포 시점의 단일 감사는 신뢰할 수 있는 지표가 아니며, 이는 기준선 불균형 스크리닝과 지속적 모니터링을 뒷받침한다.
AI 생성 이미지(AIGI)의 부상은 디지털 진위성에 대한 과제를 점점 더 심화시키고 있으며, 이에 따라 효율적이고 일반화 가능한 이미지 위조 탐지 시스템의 필요성이 대두되고 있습니다. 비(Non)-대규모 언어 모델(LLM) 기반이든 LLM 기반이든, 기존 방법들은 뚜렷한 장단점을 보입니다. 비-LLM 기반 모델은 효율적인 저수준 아티팩트(artifact) 탐지를 제공하지만 종종 의미론적 이해가 부족합니다. 반대로, LLM 기반 방법은 강력한 의미론적 추론과 설명 가능성을 제공하지만 계산 집약적이며 미세한 시각적 아티팩트에 덜 민감합니다. 나아가 위조 탐지 성능에 대한 설명적 추론 텍스트의 실질적인 기여도는 여전히 불분명합니다. 본 연구에서는 LLM이 생성한 추론 텍스트의 본질적 가치와 잠재력을 일반화 및 의미론적 오류 민감성의 원천으로 간주하여 조사합니다. 이러한 발견을 바탕으로, 대조 학습(contrastive learning)을 통해 GRPO로 최적화된 LLM이 생성한 고품질 추론 텍스트를 경량 AIGI 탐지기로 지식 증류(distillation)하는 새로운 프레임워크인 ReAlign을 제안합니다. ReAlign은 배포를 위한 효율성과 경량성을 유지하면서도 추론 텍스트 표상의 일반화 능력과 의미론적 민감도 능력을 효과적으로 계승합니다. 또한, ReAlign은 이미지-텍스트 정렬을 위한 대조 손실(loss)과 정확한 위조 판별을 위한 분류(classification) 손실을 통합하는 맞춤형 공동 최적화 전략을 채택합니다. AIGCDetectBenchmark, AIGI-Holmes, 그리고 새롭게 구축된 UltraSynth-10k에 대한 실험 결과는 ReAlign이 최신 생성 모델로부터 생성된 복잡하고 충실도 높은 위조를 마주했을 때 특히 정확도와 일반화 측면 모두에서 기존 SOTA(state-of-the-art) 탐지기들을 일관되게 능가함을 입증합니다.
드론 시점 위치 추정(drone-view geo-localization)은 악천후(예: 비, 눈, 안개) 환경에서 촬영되는 경우가 많은 쿼리 드론 이미지를 위치 태그가 지정된 위성 이미지 갤러리와 매칭하는 것을 목표로 합니다. 노이즈, 시정 저하, 부분 가림과 같은 드론 시점에서의 날씨 유발 품질 저하는 고유한 시점 간(cross-view) 도메인 격차를 크게 악화시킵니다. 기존 방법들은 주로 날씨 특화 아키텍처나 데이터 증강에 의존해 왔지만, 추가 비용이 거의 들지 않으면서 본질적으로 날씨에 불변인 강력한 기하학적 배치 단서(예: 도로망 및 건물 윤곽)를 제공하는 손쉽게 활용 가능한 모달리티인 도로 지도 데이터를 대체로 간과해 왔습니다. 본 논문에서는 정밀하게 정렬된 도로 지도 타일을 위성 영상과 통합하여 더욱 변별력 있고 날씨에 견고한 표현을 생성하는 교차 모달 융합 프레임워크인 GeoFuse를 소개합니다. 먼저 기존 University-1652 및 DenseUAV 벤치마크를 지리적으로 정렬된 도로 지도로 증강하여 기상 변화에 강건한 구조적 사전 정보를 제공합니다. 이를 바탕으로 토큰(token) 수준 및 채널 수준 상호작용을 통해 위성과 도로 지도 특징을 결합하는 유연한 융합 모듈을 제안하며, 인스턴스별로 모달리티 기여도를 적응적으로 가중하는 경량 동적 게이팅 메커니즘을 적용합니다. 마지막으로, 날씨로 인해 품질이 저하된 드론 특징과 융합된 위성-도로 지도 표현 간의 강건한 정렬을 촉진하기 위해 클래스 수준 시점 간 대조 학습을 적용합니다. 다양한 날씨 조건에서의 광범위한 실험을 통해 GeoFuse가 기존 SOTA 방법들을 일관되게 능가하며, University-1652 및 DenseUAV 벤치마크에서 각각 +3.46% 및 +23.18%의 Recall@1 재현율 정확도 향상을 달성함을 보여줍니다.
이미지 생성 기술의 급격한 발전으로 합성 이미지가 점점 더 현실적으로 변하면서 오정보 및 사기와 같은 중대한 사회적 위험을 초래하고 있습니다. 이에 따라 위조 이미지 탐지 및 위치 특정(Forgery Image Detection and Localization, FIDL)은 정보 무결성과 사회적 보안을 유지하는 데 필수적인 기술로 떠올랐습니다. 기존 도메인 특화 탐지 방식들의 우수한 성능에도 불구하고, 좁은 특화 범위, 취약한 교차 도메인 일반화 능력, 그리고 통합된 적응형 프레임워크의 부재로 인해 실제 적용 가능성은 여전히 제한적입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 이미지 조작, 문서 조작, 딥페이크(DeepFake), AI 생성 이미지를 포함한 다양한 도메인 전반에서 이미지 위조를 탐지하고 위치를 특정할 수 있는 새로운 멀티 에이전트 기반 통합 시스템인 UniShield를 제안합니다. UniShield는 인지 에이전트(perception agent)와 탐지 에이전트(detection agent)를 혁신적으로 통합합니다. 인지 에이전트는 이미지 특징을 지능적으로 분석하여 적합한 탐지 모델을 동적으로 선택하며, 탐지 에이전트는 다양한 전문 탐지기를 단일 프레임워크로 통합하고 해석 가능한 보고서를 생성합니다. 광범위한 실험을 통해 UniShield가 기존 통합 접근법과 도메인 특화 탐지기 모두를 능가하는 최고 수준(state-of-the-art)의 성능을 달성함을 보였으며, 우수한 실용성, 적응성 및 확장성을 입증했습니다.
AI 에이전트(agent)는 이전 태스크에서 학습한 내용을 절차, 체크리스트, 코드 또는 기타 실행 가능한 아티팩트와 같은 재사용 가능한 기술(skills)로 외재화하여 새로운 태스크를 해결할 때 검색 및 재사용할 수 있습니다. 자기 진화형 기술(self-evolving skill) 방법은 학습(training) 태스크에 대한 연습을 거칠 때마다 이러한 기술을 지속해서 다시 작성하며, 이후 동일한 종류의 새로운 태스크에 해당 기술을 활용합니다. 본 논문에서는 기술이 학습 태스크에서 보인 개선 효과가 새로운 테스트 태스크로도 이어지는가라는 질문을 던집니다. 저자들은 모든 방법에 동일한 모델(model), 동일한 에이전트, 동일한 학습/테스트 분할을 적용하여 6개 벤치마크에서 5가지 자기 진화 방법과 원샷(one-shot) 기술을 테스트했습니다. 학습 태스크에서 성능 향상을 보인 21개 기술 중 5개는 테스트 태스크에서도 그 개선 효과를 온전히 유지했고, 13개는 일부만 유지했으며, 3개는 전혀 유지하지 못했습니다. 모든 영역에서 가장 뛰어난 기존 방법은 없었습니다. 기술 내용을 분석한 결과, 일반화 성능이 낮은 기술들은 열 이름이나 출력 파일과 같이 태스크에 종속되어야 하는 세부 사항을 고정해 버리거나, 단일 실패에 대한 해결책을 모든 태스크를 위한 규칙으로 일반화하는 경우가 많았습니다. 기술 내용을 읽는 LLM 판정자(judge)는 이러한 점을 포착할 수 있어, 86%의 쌍에서 테스트 결과와 동일한 방식으로 완성된 기술들의 순위를 매겼습니다. 그러나 단일 수정의 영향은 제대로 예측하지 못하므로, 수정 사항은 여전히 직접 실행하여 테스트해야 합니다. 이러한 발견을 바탕으로 본 논문에서는 기술 작성 가이드만 유지하고 태스크마다 새로운 기술을 작성하는 일반화 가능한 기술 최적화(GSO, Generalizable Skill Optimization)를 제안하며, 이 방법은 6개 벤치마크 모두에서 가장 높은 점수를 기록했습니다.
FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다.
이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다.
우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
대규모 사전학습(pre-training) 모델은 모델의 일반적인 성능을 유지하면서 새로운 기술을 습득할 수 있도록 미세조정(fine-tuning)을 통해 새로운 전문 태스크를 학습하기 위한 기반으로 널리 활용됩니다. 이러한 모든 모델에 있어 가치 있는 목표는 분포 외(OOD, out-of-distribution) 태스크에서도 우수한 성능을 발휘하는 능력인 강건성(robustness)입니다. 본 연구에서는 이미지 분류(image classification)에서 미세조정이 사전학습 모델의 전반적인 강건성을 보존하는지 평가하였으며, 대규모 데이터셋으로 사전학습된 모델이 심각한 파국적 망각(catastrophic forgetting)과 OOD 일반화 손실(loss)을 보인다는 점을 관찰했습니다. 미세조정된 모델의 강건성 보존 여부를 체계적으로 평가하기 위해, 우리는 강건성 상속 벤치마크(ImageNet-RIB, Robustness Inheritance Benchmark)를 제안합니다. 모든 사전학습 모델에 적용할 수 있는 이 벤치마크는 관련이 있지만 구별되는 일련의 OOD(다운스트림) 태스크로 구성되며, 해당 세트의 OOD 태스크 중 하나에서 미세조정을 수행한 후 나머지 태스크에서 테스트하는 방식으로 진행됩니다. 연구 결과, 지속 학습(continual learning) 방법이 도움이 되기는 하지만 미세조정은 사전학습 모델 전반에 걸쳐 강건성을 저하시키는 것으로 나타났습니다. 놀랍게도 가장 크고 다양한 데이터셋(예: LAION-2B)으로 사전학습된 모델은 더 작은 데이터셋으로 사전학습된 모델에 비해, 소규모 데이터셋에서 미세조정한 후 강건성 손실이 더 크고 절대적인 강건성 또한 더 낮았습니다. 대조학습으로 사전학습된(CLIP) 모델과 이를 미세조정한 변형 모델에서 이러한 붕괴 현상을 관찰했으며, 이는 사전학습 규모가 커질수록 심화되었습니다. 반면 우리가 테스트한 지도학습 모델에서는 이러한 현상이 나타나지 않았습니다. 이러한 결과는 가장 강력한 파운데이션 모델에서 시작하는 것이 전문 태스크 성능을 위한 최선의 접근 방식이 아닐 수도 있음을 시사합니다. https://jd730.github.io/projects/ImageNet-RIB
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.
대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.
신경망은 학습된 특징이 학습(training) 세트에는 잘 일반화되지만 분포 내(ID) 또는 분포 외(OOD) 테스트 세트에는 잘 일반화되지 않는 지름길 학습(shortcut learning) 문제를 겪습니다. 기존 연구들은 모두 형태 기반(shape-driven)인 소수의 표준 벤치마크(benchmark)에 기반을 두고 있습니다. 그러나 수많은 응용 분야는 텍스처 기반(texture-driven)입니다. 본 연구에서는 텍스처 기반 도메인에 대한 지름길 학습 분석을 제시하고 이를 표준 벤치마크의 분석과 비교합니다. 우리는 텍스처 기반 도메인이 저주파 지름길(low-frequency shortcuts) 문제를 겪는다는 것을 보여줍니다. 더 높은 주파수 성분(HFC)이 더 높은 예측력을 가짐에도 불구하고, 모델은 왜곡된 스펙트럼 동작을 보이는 소수의 저주파 성분(LFC)에 기반하여 대부분의 결정을 내립니다. 학습 및 테스트 세트에서 LFC를 가지치기(pruning)하면 지름길 현상이 완화되고 더 균형 잡힌 스펙트럼 동작을 제공하여, 알고리즘 및 실제 환경의 도메인 변화(domain shift) 하에서 ID 정확도를 최대 10%, OOD 정확도를 최대 40% 향상시킵니다. 우리는 범용 및 도메인 특화 파운데이션 모델 또한 저주파 지름길 문제를 겪을 수 있음을 보여줍니다. 거대 모델은 이러한 지름길을 완화할 수 있지만, 높은 연산 비용을 초래하며 지름길을 가지치기하여 처음부터 학습된 소형 모델보다 정확도가 현저히 낮을 수 있습니다. 또한 이미지 해상도가 감소하면 지름길의 정도가 증폭되고, 주파수 변환 블록 크기가 클수록 작은 블록 크기보다 저주파 지름길을 더 잘 포착하며, 저주파 지름길은 서로 다른 색 공간 전반에서도 지속됨을 보여줍니다. 우리의 발견은 새로운 미연구 도메인을 다루는 실무자들에게 유용하기를 바라는 귀중한 통찰을 제공합니다.
학습 예제를 넘어선 대규모 언어 모델(LLM)의 광범위한 과도한 일반화 이면의 메커니즘은 여전히 불분명합니다. 창발적 오정렬(Emergent Misalignment, EM)은 이를 보여주는 두드러진 사례 연구입니다. 즉, 협소한 작업에 대한 파인튜닝(fine-tuning)이 의미적으로 무관한 테스트 도메인에 대해 광범위한 오정렬을 유발합니다. 본 연구에서는 챗 템플릿 토큰(token)이 도메인 외(out-of-domain) 쿼리에 파인튜닝된 동작을 피기백(piggyback, 편승)할 수 있다는 '피기백 가설(Piggyback Hypothesis)'을 제안합니다. 우리는 접두 문맥(prefix, 모든 사용자 쿼리 앞에 오는 토큰)에 대한 미세한 섭동이나, 파인튜닝되지 않은 모델(model)의 표현으로 접두 문맥 표현을 패칭하는 것만으로도 사용자 쿼리를 변경하지 않고 정렬(alignment)을 복원할 수 있음을 보임으로써 이 가설을 검증합니다. 이러한 발견을 바탕으로, 학습(training) 중 특정 토큰 표현을 정규화하여 EM을 완화하는 토큰 정규화 파인튜닝(Token-Regularized Finetuning, TReFT)을 제안합니다. 다양한 모델과 여러 EM 유발 데이터셋에서 TReFT는 도메인 내(in-domain) 학습을 보존하면서 EM을 줄입니다. 법률 도메인에서 파인튜닝된 Llama-3.1-8B에서 TReFT는 정렬된 예시의 유지 세트(retain set)를 활용한 데이터 인터리빙보다 33.5% 더 높은 EM 감소를 달성합니다. 나아가 TReFT가 기권(abstention), 도구 사용(tool use), 거부(refusal)를 포함한 다른 협소한 파인튜닝 설정으로도 확장됨을 보여주며(주제 벗어난 일반화가 평균 54.3% 감소), 피기백 가설을 뒷받침합니다. 전반적으로 본 연구는 LLM이 의도치 않은 방식으로 학습하고 일반화할 수 있음을 강조하며, 더 제약된 파인튜닝을 향한 경로를 제시합니다. 또한 공유된 입력 특징이 도메인 전반에 걸쳐 모델 동작을 어떻게 피기백할 수 있는지에 대한 후속 연구의 필요성을 제기합니다.
본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.
악천후 이미지 복원은 비, 연무, 눈 및 기타 기상 유발 인공물로 인해 열화된 이미지를 복구하여 야외 비전 시스템의 강건성을 향상시키는 것을 목표로 합니다. 기존의 통합 복원 모델들은 합성 지도(synthetic supervision)에 의존하고 의미적 제약이 불충분하여 실제 환경 장면에 대한 일반화 성능이 제한적입니다. 본 논문에서는 두 가지 문제를 모두 해결하는 새로운 학생-교사(student-teacher) 준지도 프레임워크를 제안합니다. 구체적으로, 대조 학습을 위한 정보성 높은 음성 샘플(negative samples)로서 실패한 교사 예측을 보존하는 신뢰할 수 없는 데이터베이스를 도입하는 한편, 신뢰할 수 있는 데이터베이스에는 고품질 교사 예측을 양성 샘플(positive samples)로 저장합니다. 신뢰할 수 있는 의사 실측값(pseudo-ground truths)과 신뢰할 수 없는 교사 출력을 함께 활용함으로써, 제안된 프레임워크는 흔히 발생하는 실패를 피하면서 바람직한 복원 특성을 강화하도록 학습합니다. 나아가 계산 비용이 큰 텍스트 기반 지도를 효율적이며 자연스럽게 정렬된 의미적 사전 정보로 대체하는 위상 스펙트럼 기반 의미적 제약을 제안합니다. 또한 열화의 심각도에 따라 열화된 입력과 교사의 의사 실측값 간의 지도를 동적으로 균형 맞추는 적응형 위상 일관성 손실(adaptive phase consistency loss)을 설계했습니다. 실제 벤치마크에 대한 광범위한 실험을 통해 제안하는 방법이 실제 악천후 조건에 대해 더 강력한 일반화 성능을 보이는 동시에, 복원 품질과 지각적 충실도 측면에서 기존의 최고 수준(SOTA) 접근법들을 일관되게 능가함을 입증합니다.
스캐너, 촬영 기관 및 획득 프로토콜 간의 분포 변화(distribution shift)는 딥러닝 기반 의료 영상 모델의 신뢰성 있는 임상 적용을 저해합니다. 기존의 도메인 일반화(DG, Domain Generalization) 방법들은 주로 스타일이나 강도 다양화에 초점을 맞추지만, 여전히 네트워크가 도메인 특화된 텍스처 상관관계에 의존하게 만들 수 있습니다. 푸리에 위상(Fourier phase)이 의미론적 구조를 인코딩한다는 점에 착안하여, 본 연구에서는 의료 영상 DG를 위한 위상 인식 적대적 학습(adversarial training) 프레임워크인 PhaseAT를 제안합니다. PhaseAT는 진폭 스펙트럼(amplitude spectrum)을 변경하지 않은 채 경계가 지정된 위상 섭동(phase perturbation)을 반복적으로 업데이트하여 푸리에 도메인에서 위상이 섭동된 학습 뷰를 형성하며, 이를 통해 일치된 외형 통계 하에서 공간적 구성을 강조합니다. 색상 왜곡(chromatic artifacts)을 방지하기 위해 섭동은 YCbCr 색 공간의 휘도 채널에만 적용됩니다. 또한 간단한 위상-돌출성(phase-saliency) 마스크를 통해 가장 영향력 있는 주파수에 업데이트를 집중시킵니다. 이 모델은 원본 샘플과 위상 섭동 샘플에 대한 손실의 가중 결합으로 학습되며, 단일 소스(single-source) 및 다중 소스(multi-source) DG를 모두 지원합니다. 두 가지 까다로운 의료 데이터셋에 대해 본 방법을 검증한 결과, PhaseAT는 단일 소스 도메인 일반화에서 20% 이상의 성능 향상을 달성하여 여러 최신(SOTA) DG 방법들을 능가함을 입증했습니다. 코드 구현체는 https://github.com/ahmed-sharshar/PhaseAT 에서 확인할 수 있습니다.
이미지 위조 국소화(image forgery localization, IFL)에 대한 신뢰할 수 있는 평가(evaluation)는 다양한 분포 변화 하에서 모델(model)을 평가할 것을 요구하지만, 기존 벤치마크(benchmark)들은 제한된 조작 조건만을 다루거나 교차 데이터셋 평가에서 여러 요인을 뒤얽히게 만드는 경우가 많습니다. 결과적으로 종합적인 성능만으로는 국소화 일반화(generalization)에 대한 불완전한 시각만을 제공하게 됩니다. 본 연구에서는 조작 출처, 의미론적 대상, 편집 연산, 합성 복잡도에 걸쳐 픽셀 수준 주석이 포함된 115,013개의 조작 이미지로 구성된 다축 벤치마크인 GIFTBench를 소개합니다. GIFTBench는 축별 전이 분석과 12개의 외부 데이터셋(dataset)에 대한 평가를 지원합니다. 본 벤치마크의 진단 연구는 비대칭적 교차 출처 전이, 재현율(recall) 위주의 실패, 그리고 의미론적·연산적·합성적 변화에 걸친 이종적 성능 저하를 밝혀냅니다. 진단을 넘어, GIFTBench의 규모와 다양성은 기존 IFL 데이터셋보다 실질적으로 훨씬 더 넓은 학습(training) 분포를 제공합니다. GIFTBench에서 대표적인 국소화 모델들을 학습시키면 외부 데이터셋으로의 종합적인 전이 성능이 일관되게 향상되며, 이는 본 벤치마크가 평가 도구뿐만 아니라 도메인 간 국소화를 위한 효과적인 학습 자원으로도 기능함을 보여줍니다. 이러한 진단 결과를 바탕으로, 우리는 분류(classification)에 적응된 표현과 다중 심도·다중 스케일 공간 특징, 학습된 층(layer) 융합, 선택적 조대 스케일 조건화를 결합한 탐지 및 국소화 프레임워크인 ForenScope를 추가로 개발했습니다. 실험 결과, 이미지 수준의 탐지 능력을 유지하면서도 향상된 교차 데이터셋 국소화 성능을 보였습니다. GIFTBench 데이터셋 쇼케이스 페이지는 https://giftbench-preview.doudoudouya337.chatgpt.site 에서 확인할 수 있습니다.
클래스 내 미지의 물체로 일반화할 수 있는 카테고리 수준 물체 자세 추정(COPE)은 로봇 3D 장면 이해를 위한 핵심 기술로 자리 잡았습니다. 그러나 기존 COPE 방법들은 여전히 새로운 물체 카테고리에 대해 노동 집약적인 실제 환경 학습(training) 데이터의 재수집을 요구하므로 실제 응용에서의 확장성이 제한됩니다. 본 논문은 렌더링된 합성 데이터만으로 모델(model)을 학습하고 실제 환경 배포로 직접 일반화하는 합성-현실(Syn2Real) 일반화 COPE 달성을 목표로 합니다. 주요 과제는 합성 데이터와 실제 데이터 간의 상당한 도메인 격차, 특히 텍스처 외형 차이에 있습니다. 이를 해결하기 위해 동일 카테고리 내 물체 간의 시맨틱 공통점을 포착하는 도메인 불변 표현을 학습함으로써 도메인 일반화를 향상시키는 것을 목표로 합니다. 본 연구에서는 특징(feature) 인코더의 도메인 특화 특징에 대한 민감도를 줄이기 위해 2D 및 3D 시맨틱 일관성 제약을 도입합니다. 또한 조밀한 크로스 모달리티 융합을 활용하여 자세 추정을 더욱 정밀화하는 2D-3D 크로스 일관성 학습을 수행하는 엔드투엔드 자세 회귀 프레임워크를 제안합니다. 실제 로봇 배포에는 단순성과 효과성이 필수적이므로, 본 모델은 전역 특징만을 기반으로 동작하여 매우 경량화되고 효율적인 아키텍처를 구현합니다. REAL275 및 Wild6D 벤치마크와 실제 로봇 조작 장면에 대한 광범위한 실험을 통해 본 패러다임의 우수한 Syn2Real 일반화 성능을 입증합니다. 코드와 데모는 https://paperreview99.github.io/GenCOPE/ 에서 공개되어 있습니다.
연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.