엔드투엔드 자율주행 모델은 일반적으로 지도 학습된 ImageNet 사전학습 백본을 사용하여 다중 도시 데이터셋에서 학습되지만, 새로운 도시로 일반화하는 능력은 거의 조사되지 않았습니다. 학습 및 평가 데이터가 지리적으로 혼합될 때, 모델은 도시 특정 단서에 암묵적으로 의존할 수 있으며, 이는 새로운 위치로 일반화할 때 실제 도메인 이동 하에서 발생할 실패 모드를 은폐합니다. 본 연구에서는 제로샷 도시 간 전이를 엔드투엔드 자율주행을 위한 제어된 표현 수준 스트레스 테스트로 정의하고, 비주얼 사전학습이 지리적 도메인 이동 하에서 전이 거동에 어떤 영향을 미치는지 조사합니다. 자기지도 백본인 I-JEPA, DINOv2, MAE를 계획 프레임워크에 통합하여 포괄적인 연구를 수행했습니다. 오픈 루프 설정에서 nuScenes의 엄격한 지리적 분할과, 클로즈드 루프 평가 프로토콜에서 NAVSIM을 사용하여 성능을 평가했습니다. 실험 결과, 서로 다른 도로 구조, 교통 관습, 시각적 환경을 가진 도시 간에 모델을 전이할 때 상당한 일반화 격차가 존재함을 밝혀냈습니다. 오픈 루프 평가에서 지도 학습 백본은 도시 간 전이 시 심각한 성능 저하를 보이지만, 일부 도메인 특정 자기지도 방법은 변위 및 충돌 저하를 모두 크게 줄일 수 있습니다. 클로즈드 루프 평가에서 자기지도 사전학습은 여러 단일 도시 학습 설정에서 평균 분포 외(OOD) PDMS를 향상시킵니다. 우리의 결과는 표현 학습이 도시 간 계획의 강건성에 영향을 미친다는 실증적 증거를 제공하며, 엔드투엔드 자율주행 시스템을 평가하는 데 있어 제로샷 지리적 전이가 중요한 스트레스 테스트임을 시사합니다.
원격 탐지(RS) 분야에서 매개변수 효율적 미세조정(PEFT)은 다운스트림 과업을 위해 파운데이션 모델의 일반화 가능한 표현 능력을 활성화하는 핵심 접근법으로 부상했습니다. 그러나 기존의 전문화된 PEFT 방법들은 대규모 지구 관측 과업에 적용될 때 종종 실패하는데, 이는 RS 데이터에 내재된 다면적이고 예측 불가능한 도메인 격차(예: 공간적, 의미적, 주파수 변화)를 완전히 처리할 수 없기 때문입니다. 이를 극복하기 위해 우리는 두 가지 주요 기여를 도입하는 CrossEarth-Gate를 제안합니다. 첫째, 공간, 의미, 주파수 모듈로 구성된 다면적 도메인 격차를 해결하기 위한 포괄적인 RS 모듈 툴박스를 구축했습니다. 둘째, 이 툴박스에서 작동하는 피셔 유도 적응형 선택 메커니즘을 개발했습니다. 이 선택은 과업 특정 그래디언트 흐름에 대한 기여도를 측정하여 각 모듈의 중요도를 정량화하는 피셔 정보(Fisher Information)에 의해 안내됩니다. 이는 적절한 레이어에서 가장 중요한 모듈만 동적으로 활성화하여, 적응 효과와 효율성을 최대화하도록 그래디언트 흐름을 유도합니다. 포괄적인 실험을 통해 우리 방법의 효능과 일반화 가능성을 검증했으며, CrossEarth-Gate는 RS 의미 분할을 위한 18개 교차 도메인 벤치마크 중 16개에서 최첨단(SOTA) 성능을 달성했습니다.
두드러진 객체 검출은 비용이 많이 드는 픽셀 수준의 정밀한 주석으로 인해 DIS 및 HR-SOD와 같은 관련 하위 작업에 대해 별도의 모델 학습을 강요하는 데이터에 의존적인 작업의 대표적인 예입니다. 본 연구에서는 대규모 합성 데이터 생성과 모호성 인식 아키텍처를 통해 일반화 성능을 획기적으로 향상시키는 방법을 제시합니다. 우리는 디퓨전 및 DINO-v3 특징에서 레이블을 추출하는 멀티모달 디퓨전 파이프라인을 통해 생성된 139,000장 이상의 고해상도 이미지를 포함하는 데이터셋인 S3OD를 소개합니다. 반복적 생성 프레임워크는 모델 성능에 기반하여 어려운 카테고리를 우선시합니다. 또한, 여러 유효한 해석을 예측함으로써 두드러진 객체 검출의 내재된 모호성을 처리하는 간소화된 다중 마스크 디코더를 제안합니다. 합성 데이터로만 학습된 모델은 데이터셋 간 일반화 측면에서 20-50%의 오류 감소를 달성했으며, 파인튜닝된 버전은 DIS 및 HR-SOD 벤치마크 전반에서 최첨단 성능에 도달했습니다.
우리는 활성 화자 탐지(ASD) 작업에서 모델의 일반화 성능을 높이기 위해 도전적인 시나리오를 강조하는 새로운 데이터셋인 UniTalk를 소개합니다. AVA와 같은 기존 벤치마크는 주로 오래된 영화로 구성되어 있어 실제 환경 비디오와 상당한 도메인 격차를 보입니다. 이와 대조적으로, UniTalk는 언어 표현이 부족한 경우, 노이즈가 있는 배경, 혼잡한 장면 등 도전적인 실제 환경 조건을 반영하는 다양한 비디오 유형을 아우르면서도 규모 면에서는 AVA와 대등합니다. 광범위한 평가 결과, ASD는 현실적인 조건에서 여전히 해결되지 않은 문제임이 밝혀졌습니다. AVA에서 거의 완벽한 성능을 보이는 최첨단(SOTA) 모델들조차 UniTalk에서는 성능 포화에 도달하지 못했습니다. 반대로, UniTalk로 학습된 모델은 Talkies와 ASW를 포함한 최신 실제 환경(in-the-wild) 데이터셋에 대해 더 우수한 일반화 성능을 보였습니다. 이에 따라 UniTalk는 ASD를 위한 새로운 벤치마크를 수립하여, 연구자들이 다재다능하고 강건한 모델을 개발하고 평가할 수 있는 귀중한 자원을 제공합니다.
실제 애플리케이션에서 머신러닝 모델은 추론 단계에서 알 수 없는 클래스가 등장하는 오픈셋 인식(OSR)과 학습 및 추론 단계 간 데이터 분포가 달라지는 도메인 이동(domain shift)을 모두 처리해야 합니다. 도메인 일반화(DG)는 모델 학습 시 추론 단계의 타겟 도메인에 접근할 수 없는 도메인 이동 상황을 처리하는 것을 목표로 합니다. 오픈 도메인 일반화(ODG)는 DG와 OSR을 모두 고려합니다. 도메인 증강 메타러닝(DAML)은 ODG를 목표로 하는 방법이지만, 학습 과정이 복잡합니다. 이에 반해 다양한 DG 방법이 제안되었으나, ODG 상황에서는 평가되지 않았습니다. 본 연구에서는 기존 DG 방법을 ODG 환경에서 포괄적으로 평가하였으며, 두 가지 단순한 DG 방법인 상관관계 정렬(CORAL)과 최대 평균 차이(MMD)가 여러 경우에서 DAML과 경쟁력이 있음을 보여줍니다. 또한, DAML에서 사용된 앙상블 학습(ensemble learning) 및 디리클레 믹스업(Dirichlet mixup) 데이터 증강(data augmentation)과 같은 기법을 도입하여 CORAL과 MMD의 단순한 확장 버전을 제안합니다. 실험 평가 결과, 확장된 CORAL과 MMD는 더 낮은 계산 비용으로 DAML과 대등한 성능을 발휘할 수 있음을 확인했습니다. 이는 단순한 DG 방법과 그 단순한 확장들이 ODG를 위한 강력한 베이스라인이 될 수 있음을 시사합니다
도메인 일반화(domain generalization) 문제는 새롭고 이전에 본 적 없는 환경에 배포될 때 분포 변화에 강인한 예측 모델을 학습하는 것을 다룹니다. 기존 방법들은 일반적으로 여러 학습 환경에서 레이블이 있는 데이터를 요구하므로, 레이블이 있는 데이터가 부족한 상황에서는 그 적용 가능성이 제한됩니다. 본 연구에서는 결과(outcome)가 관측된 공변량(covariates)의 원인이 되는 반인과적(anti-causal) 설정에서 도메인 일반화를 연구합니다. 이러한 구조에서 공변량에 영향을 미치는 환경 섭동(perturbation)은 결과로 전파되지 않으므로, 이러한 섭동에 대한 모델의 민감도를 정규화하는 동기를 부여합니다. 중요한 점은 이러한 섭동 방향을 추정하는 데 레이블이 필요하지 않다는 것으로, 이를 통해 여러 환경의 레이블이 없는 데이터를 활용할 수 있습니다. 우리는 각각 환경 간 공변량의 평균 및 공분산 변동에 대한 모델의 민감도를 억제하는 두 가지 방법을 제안하며, 특정 환경 클래스 하에서 이 방법들이 최악의 경우 최적성 보장을 가짐을 증명합니다. 마지막으로, 제어된 물리적 시스템과 생리 신호 데이터셋(dataset)에서 본 접근 방식의 실증적 성능을 입증합니다.
물리적 시스템에 대한 심층 학습(deep learning)의 인기가 계속 증가함에 따라, 일반화 능력을 향상시키려는 노력은 주로 물리적 제약 조건을 내장한 아키텍처를 설계하는 데 집중되어 왔습니다. 그러나 기계 학습 대리 기후 모델(에뮬레이터)의 경우, 학습 데이터를 생성하는 데 일반적으로 사용되는 기존 시나리오의 낮은 구조적 다양성이 예측 성능의 상한을 제한한다는 것을 우리는 보여줍니다. 본 연구에서는 일반화를 개선하기 위해 학습 데이터셋(dataset) 자체를 최적화할 수 있는지 여부를 조사합니다. 우리는 학습 데이터에 없는 새롭고 구조적으로 다른 시나리오로 일반화할 수 있는 에뮬레이터를 생성하는 데이터셋을 만드는 방법을 제안합니다. 우리는 미분 가능한 단순 기후 모델(SCM)을 사용하여 학습 데이터의 섭동에 대한 에뮬레이터 손실(loss)의 민감도를 계산하고, 에뮬레이터의 성능을 최대화하기 위해 학습 데이터를 반복적으로 업데이트합니다. SCM의 경우, 이러한 방식으로 최적화된 하나의 시나리오에서 학습(training)한 것이 6개의 표준 ScenarioMIP 경로에서 학습한 에뮬레이터보다 더 우수한 성능을 보입니다. 우리는 더 작은 데이터셋에서 학습했음에도 불구하고 이러한 더 높은 예측 성능을 달성했으며, 단일 강제 실행 없이도 우리 에뮬레이터가 서로 다른 기후 강제 요인(예: 온실가스 대 에어로졸)의 뚜렷한 물리적 거동을 성공적으로 분리해낸다는 것을 발견했습니다. 또한, SCM을 사용하여 최적화된 시나리오를 중간 복잡도 기후 모델(model)을 구동하는 데 사용할 경우, ScenarioMIP 출력물에서 학습하는 것보다 더 성능이 뛰어난 에뮬레이터를 생성하는 학습 데이터셋을 만든다는 것을 입증합니다. 우리의 결과는 전체 규모 기후 모델을 실행하는 컴퓨팅 자원이 제한된 환경(environment)에서, 동적으로 풍부한 소수의 시나리오를 생성하는 것이 기존 배출 경로 모음을 확장하는 것보다 에뮬레이션 및 시스템 응답 특성화에 더 큰 한계 가치를 제공함을 시사합니다.
비전-언어 모델(VLM)의 강건성 인증은 주로 픽셀·기하 변환에 한정되지만, 본 연구는 텍스트 프롬프트를 의미 프록시로 사용해 임베딩 공간에서 의미 변이를 extent로 매개변수화하고 VLM 결정 경계를 폐쇄형으로 분석해 예측 클래스가 유지되는 구간을 정량 인증하는 프레임워크를 제안한다. 변이마다 추가 데이터가 필요 없어 실용적이며, 합성·실제 데이터 실험에서 모양·스타일 등 다양한 의미 변이에 대한 인증이 가능함을 보였다.
RCEM은 대화형 쿼리를 LLM이 재작성한 쿼리에 정렬하면서 원래 임베딩 공간을 유지해, 추론 시 LLM 호출 없이 한 번에 임베딩을 생성하는 강건한 대화형 검색 임베더입니다. 긴 대화-패시지 직접 매칭 대신 짧은 재작성 쿼리로 학습을 단순화해 과적합을 줄이고 관련성 라벨 없이도 기존 인덱스를 재구축하지 않으며, 분포 변화 상황에서 최대 30%까지 기존 방법을 능가합니다.
NeuralMUSIC는 다채널 마이크 관측에서 신경망으로 공간 공분산 행렬을 추정하고, 이를 고유값 분해와 의사 스펙트럼 계산이 포함된 MUSIC 파이프라인과 주파수 어텐션 융합(FAF) 모듈에 통합해 도래 방향(DOA)을 추정하는 로봇 음원 국지화 하이브리드 프레임워크이다. 레이블 없는 음향 데이터로 공간 구조를 학습하는 자기지도 공간 상관 학습(SSCL)을 더해 데이터 효율을 높였으며, 다양한 로봇 작업 실험에서 경쟁력 있는 국지화 정확도와 함께 견고성 및 도메인 간 일반화가 개선됨을 보였다.
텍스트 가이드 오픈 어휘 객체 카운팅(TOOC)은 텍스트 프롬프트로 지정된 임의의 객체 카테고리를 계수할 수 있게 하여, 기존 폐쇄형(closed-set) 카운팅보다 훨씬 더 큰 유연성을 제공합니다. 그러나 기존 TOOC 방법들은 주로 이상적인 이미지를 대상으로 개발 및 평가되었으나, 실제 환경의 장면은 비, 안개, 어둠, 센서 노이즈와 같은 악조건에 자주 노출되어 시각적 품질을 심각하게 저하시키고 비전-언어 정렬(alignment)을 방해합니다. 이러한 격차를 해소하기 위해, 우리는 다양한 손상(corruption) 조건에서 TOOC를 평가하는 최초의 벤치마크인 Robust-TOOC를 소개합니다. 이 벤치마크는 비, 안개, 어둠, 가우시안 노이즈, 소금-후추 노이즈, 혼합 손상 등 6가지 대표적인 열화 유형을 포괄합니다. 기존 카운팅 아키텍처를 유지하면서 강건성을 향상시키기 위해, 우리는 TOOC를 위한 이중 아키텍처 테스트 타임 학습 프레임워크인 Dual-TTT를 제안합니다. 구체적으로, 테스트 타임 학습 과정에서 Dual-TTT는 텍스트 가이드 경량 노이즈 제거 모듈(TL-Denoiser)만 업데이트하고 기존 카운팅 네트워크는 동결(frozen) 상태로 유지합니다. 디퓨전 모델(diffusion models)에서 영감을 받아, TL-Denoiser는 열화된 조건에서 이미지 표현으로부터 손상 인식 노이즈(corruption-aware noise)를 제거하도록 최적화됩니다. 테스트 타임에 TL-Denoiser만 학습되므로, Dual-TTT는 주석(annotation)이 필요 없으며 기존 TOOC 모델의 원래 아키텍처를 수정하지 않고도 매끄럽게 통합될 수 있습니다. 최근의 여러 TOOC 기준 모델(baselines)에 대한 광범위한 실험은 우리 방법의 효과를 입증합니다.
동적 오픈 월드(open-world) 환경에서의 분포 외(OOD) 탐지는 모델이 공변량 이동(covariate-shifted) 입력에 대해 일반화하고 의미적 이동(semantic-shifted) OOD 예제를 거부하면서, 진화하는 데이터 분포에 지속적으로 적응해야 합니다. 대부분의 기존 OOD 탐지 방법은 현재 단계의 목적함수만 최적화하며, 배포 후(post-deployment) 환경 변화가 미래의 OOD 동작에 미치는 영향을 명시적으로 고려하지 않습니다. 본 논문에서는 시간이 지남에 따라 의미적 OOD 오탐율(false positive rate)을 낮추는 업데이트를 명시적으로 선호하는 강화학습(RL) 유도 옵티마이저를 사용하여 동적 OOD 탐지의 이론적 근거를 확립합니다. 우리는 표준 경사하강법(GD) 위에 강화학습(RL) 유도 보정 항을 사용하는 새로운 증강 옵티마이저를 개발하고, 이것이 미래 도메인 일반화 및 의미적 OOD 거부 측면에서 모두 개선됨을 보여줍니다. 우리는 모델 변화 및 환경 변화 일반화 오류 관점에서 시간적 오류 분해를 분석하고, 경사하강법(GD)과 강화학습(RL) 유도 옵티마이저 모두에서의 일반화 오류를 비교하기 위한 새로운 이론적 프레임워크를 개발합니다.
마이크로 액션(micro-actions)은 전신 수준에서 발생하는 단시간, 저진폭의 미세한 신체 움직임으로, 잠재된 의도, 무의식적 반응, 그리고 세분화된 정서적 변화를 드러낼 수 있습니다. 우리의 이전 MA-52 벤치마크는 마이크로 액션 인식을 위한 중요한 기반을 제공했지만, 규모, 장면 다양성, 작업 범위 및 평가 프로토콜 측면에서 여전히 제한적입니다. 마이크로 액션 분석을 더욱 현실적이고 포괄적인 설정으로 발전시키기 위해, 우리는 MA-52의 대규모 다중 도메인 확장 버전인 MMA-82를 소개합니다. MMA-82는 레이블 공간을 52개에서 82개의 세분화된 마이크로 액션 카테고리로 확장했으며, 실험실 인터뷰, 거리 인터뷰, 정신과 환자 인터뷰, 그리고 정서가 풍부한 TV 비디오를 포함한 4개의 뚜렷한 도메인을 포괄하여 454명의 피험자로부터 총 77,856개의 주석이 달린 인스턴스를 생성했습니다. MMA-82를 기반으로 우리는 마이크로 액션 인식(Micro-Action Recognition)과 다중 레이블 마이크로 액션 검출(Multi-label Micro-Action Detection)이라는 두 가지 핵심 작업을 정립했습니다. 인식 작업을 위해 모델의 견고성, 전이 가능성, 그리고 일반화를 평가하기 위해 퓨샷(few-shot) 및 제로샷(zero-shot) 설정을 포함한 동일 도메인(in-domain) 및 교차 도메인(cross-domain) 프로토콜을 추가로 정의했습니다. 광범위한 실험 결과, 현재의 방법들은 도메인 변이(domain shift), 롱테일(long-tailed) 카테고리 분포, 그리고 복잡한 시간적 지역화(temporal localization) 조건에서 특히 현실적인 마이크로 액션 이해에 어려움을 겪고 있음을 보여줍니다. 벤치마킹을 넘어, 우리는 마이크로 액션과 감정 사이의 관계를 조사했으며, 그 결과 마이크로 액션은 정서적 상태와 강력하게 연관되어 있고 안면 미세 표정(facial micro-expressions)에 보완적인 단서를 제공하여 감정 인식을 향상시킴을 확인했습니다. 이러한 결과는 MMA-82가 현실적인 마이크로 액션 분석을 위한 포괄적이고 도전적인 벤치마크로서 기능하며, 인간 중심 AI를 위한 가치 있는 자원임을 입증합니다. MMA-82는 https://lpynow.github.io/MMA-82-AIM/ 에서 확인할 수 있습니다.
인간의 시각 시스템은 현재 관찰 정보를 이전에 관찰된 정보와 통합하고, 대상 및 장면의 변화에 적응하며, 미세한 수준에서 가려짐(occlusion)을 추론하여 객체를 추적합니다. 이와 대조적으로, 최근의 일반 객체 추적기는 종종 학습 목표에 맞춰 최적화되어 있어 보지 못한 시나리오에서의 강건성과 일반화가 제한되며, 가려짐 추론 또한 여전히 거칠어 가려짐 패턴에 대한 상세한 모델링이 부족합니다. 일반화 및 가려짐 인지의 이러한 한계를 해결하기 위해, 우리는 JEPA를 이미지 특징 예측에서 추적 모델 예측으로 확장하는 모델 예측 사전학습 프레임워크인 GOT-JEPA를 제안합니다. 동일한 과거 정보가 주어지면, 교사 예측기는 깨끗한 현재 프레임에서 의사 추적 모델(pseudo-tracking models)을 생성하고, 학생 예측기는 손상된 현재 프레임에서 동일한 의사 추적 모델을 예측하도록 학습합니다. 이 설계는 안정적인 의사 감독(pseudo supervision)을 제공하며, 예측기가 가려짐, 방해물(distractors) 및 기타 불리한 관찰 상황에서 신뢰할 수 있는 추적 모델을 생성하도록 명시적으로 학습시켜 동적 환경에 대한 일반화를 향상시킵니다. GOT-JEPA를 기반으로, 우리는 객체 추적을 위한 가려짐 인지를 강화하는 OccuSolver를 추가로 제안합니다. OccuSolver는 객체 인식(object-aware) 가시성 추정 및 상세한 가려짐 패턴 캡처를 위해 점 중심(point-centric) 포인트 추적기를 적용합니다. 추적기에 의해 반복적으로 생성된 객체 사전 정보(object priors)에 조건화되어, OccuSolver는 가시성 상태를 점진적으로 정제하고 가려짐 처리를 강화하며, 후속 모델 예측을 점진적으로 개선하는 더 고품질의 참조 레이블을 생성합니다. 7개 벤치마크에 대한 광범위한 평가를 통해 본 방법이 추적기의 일반화와 강건성을 효과적으로 향상시킴을 확인했습니다.
자기공명영상(MRI)에서의 태아 뇌 조직 분할은 신경발달 연구에 중요하지만, 데이터 이질성과 제한된 주석으로 인해 여전히 어려운 과제입니다. 도메인 무작위화(DR)는 무작위화된 아티팩트(artifacts), 콘트라스트(contrast), 해상도를 사용하여 학습 이미지를 합성함으로써 단일 출처 도메인 일반화를 위한 유망한 전략으로 최근 등장했습니다. 본 연구에서는 DR 기반 방법의 도메인 외(OOD) 일반화를 최대화하는 방법을 조사합니다. 우리는 DR을 위한 여러 합성 데이터 생성 전략을 평가하며, 특히 최근 제안한 프레임워크인 FetalSynthSeg에 중점을 둡니다. 단순한 가우시안 혼합 기반 강도(intensity) 모델링이 더 복잡한 물리 기반 시뮬레이션보다 우수하며, 강도 클러스터링(intensity clustering, 강도를 기반으로 조직 클래스 세분화)이 OOD 강인성을 향상시킴을 보여줍니다. 0.55-3T 및 T1w와 T2w 콘트라스트(contrast)를 아우르는 4개 사이트의 348명 태아를 대상으로 평가한 결과, FetalSynthSeg는 여러 FeTA 2024 테스트 데이터셋에서 최신 수준(SOTA)의 성능(80-85 Dice 점수)을 달성했으며, 태아 뇌 분할에 있어 T2w 이외의 모달리티에서도 처음으로 강인한 분할을 제공합니다(dHCP-T1w 데이터셋에서 80 Dice). BOUNTI, nnU-Net 앙상블(ensemble), FeTA 2024 우승작과 같은 최신 방법들과 비교할 때, FetalSynthSeg는 도메인 시프트(domain shift) 전반에 걸쳐 강력한 강인성을 유지하면서 동등하거나 더 우수한 정확도를 제공합니다. 간편한 추론(inference)을 위해 준비된 코드, 모델 가중치, Docker 이미지는 https://hub.docker.com/r/vzalevskyi/fetalsynthseg에서 확인할 수 있습니다.
다국어 화자 확인은 언어 의존적 음향 변동성으로 인해 화자 식별 정보가 언어적 특성과 결합되어 언어 간 일반화 성능이 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 다국어 학습 시 임베딩은 화자 식별 정보와 더불어 언어 단서까지 포함하게 되어, 화자들이 언어별로 분리된 클러스터를 형성하는 현상을 초래합니다. 본 논문에서는 언어가 일치하는 에피소드를 구성하는 언어 인식형 에피소드 프로토타입 학습 전략인 L-Proto를 제안합니다. 에피소드마다 단일 언어에서 화자를 샘플링함으로써, L-Proto는 학습 과정에서 언어로 인한 변동성을 줄이고 임베딩이 화자 식별 정보에 더 직접적으로 집중하도록 유도합니다. TidyVoice Challenge 벤치마크에서 수행된 실험 결과, 다양한 백본 아키텍처에서 기존 미세조정 및 무작위 에피소드 샘플링 방식 대비 일관된 성능 향상이 입증되었습니다.
결정립 성장 예측을 위한 머신러닝(ML) 모델은 일반적으로 이상화된 합성 데이터로 학습되지만, 실제 응용에서는 학습 분포 외부의 조건으로의 일반화가 필요합니다. 본 연구는 실험적 미세구조, 이봉 결정립 크기 분포를 특징으로 하는 미세구조, 그리고 비정상 결정립 성장을 포함한 세 가지 테스트 케이스에 걸쳐 이전 연구에서 학습된 모델의 분포 외(OOD) 일반화 능력을 평가했습니다. 물리 정보 기반 아키텍처 설계가 이러한 다양한 조건에서 견고성을 향상시킬 수 있는지 추가로 조사하기 위해, 결정립 성장에 특화되어 어텐션을 결정립 경계 픽셀로 제한하는 경계 마스킹 어텐션 메커니즘을 제안했습니다. 기준선 모델과 제안된 물리 정보 기반 어텐션 모델 모두 OOD 데이터에 대한 재학습이나 미세조정 없이 평가되었습니다. 두 모델 모두 세 가지 테스트 케이스에 성공적으로 일반화되었으나, 경계 마스킹 어텐션 메커니즘은 상당한 개선을 제공했습니다. 가장 두드러진 향상은 이봉 결정립 크기 분포를 특징으로 하는 미세구조에서 나타났으며, 여기서 구조적 유사성 지수 측정(SSIM)은 \num{0.6221}에서 \num{0.7609}로 향상되었고 평균 결정립 크기($\overline{R}$) 오차는 \SI{8.75}{\percent}에서 \SI{3.57}{\percent}로 감소했습니다. 어텐션 히트맵 분석 결과, 경계 마스킹 어텐션 모델은 곡률 구동 결정립 성장 물리와 일치하는 방식으로 큰 결정립 경계에 어텐션을 집중하도록 학습되었음이 밝혀졌으며, 이는 아키텍처에 명시적으로 인코딩되지 않고 학습 과정에서 창발된 것입니다. 이러한 결과는 합성 데이터로 학습된 모델이 재학습 없이 다양한 OOD 조건으로 일반화될 수 있음을 나타내며, 경계 형태가 학습 도메인과 일치할 때 물리 정보 기반 어텐션이 정확도를 향상시킬 수 있음을 시사합니다.
지식 그래프(KG) 파운데이션 모델(KGFMs)은 제로샷 일반화 모델입니다: 한 번만 학습되면 재학습 없이 보이지 않는 그래프에서 링크를 예측할 수 있습니다. 그러나 KGFMs가 언제 그리고 어떻게 KG 간에 강건하게 일반화할 수 있는지에 대한 이해는 여전히 미해결 문제입니다. 본 논문에서 우리는 이들의 일반화 메커니즘을 조명하며, 부분적으로 관찰된 링크(이하 반쪽 링크(half-link))와 관련하여 보이지 않는 KG에서의 성능이 균일하지 않다는 점을 강조합니다. 사실, 우리는 테스트 트리플 $(h,r,t)$을 예측하기 위해 추론 그래프에서 반쪽 링크(half-link) $(h,r)$ 또는 $(r,t)$를 관찰하는 것만으로도 실제로는 충분할 수 있음을 보여줍니다. 이는 이러한 반쪽 링크들의 조합이 관찰되었는지 여부에 따른 4가지 시나리오의 분류 체계를 도출합니다. 이러한 시나리오에 대한 엄격한 층화 분석을 통해, 우리는 최신 기술(SoTA) KGFMs가 관찰된 반쪽 링크를 예측에 사용하지만, 관찰되지 않은 반쪽 링크는 다른 문제를 야기함을 밝혀냅니다. 따라서 우리의 더 세분화된 분류 체계는 강건한 KGFM 일반화를 위한 진단 프로토콜이 될 수 있으며, 새로운 KGFMs가 개선될 수 있는 부분을 강조합니다.
학습된 동역학 모델은 종종 스텝별 특징(feature) 시퀀스를 하나의 리드아웃 벡터로 풀링(pooling)하여 결함 심각도나 충격 강성과 같은 전역 물리적 질문에 답합니다. 이 시퀀스-전역 인터페이스는 연구되지 않은 시간적 크레딧 문제를 야기합니다: 궤적(trajectory) 수준의 감독만으로는 모델이 목표를 결정하는 짧은 물리적 이벤트가 아닌 풍부한 매끄러운 상관 변수(correlates)를 읽으면서도 학습 조건에서 정확하게 예측할 수 있습니다. 우리는 이러한 실패를 시간적 크레딧 희석(temporal credit dilution)이라고 부릅니다. 이는 학습 손실(loss)에 의해 드러나지 않으며 표준적인 물리 정보 기반 잔차(physics-informed residuals)로도 제거되지 않는데, 그 이유는 오류가 전역 리드아웃이 기능적 크레딧을 할당하는 위치에 있기 때문입니다. 우리는 풀링된 크레딧이 이벤트 스텝에 얼마나 할당되는지 측정하는 인터페이스 수준의 프로브(probe)인 Credit-in-Event를 소개하고, 이벤트 비율이 줄어듦에 따라 풀링된 선형 리더가 크레딧을 허위 배경 채널로 라우팅한다는 것을 폐쇄형(closed form)으로 증명합니다. 그런 다음 우리는 학습된 특징(feature)으로부터 일시적 이벤트 코어를 추정하고 이벤트-나머지 대비(contrast)를 통해 풀링된 표현을 재고정하는, 학습 없는(training-free) 라벨 프리(label-free) 리드아웃인 CREST를 제안합니다. 시뮬레이션된 기어 및 충격 시스템, 순환(recurrent) 및 어텐션(attention) 인코더, 공개 베어링 진동 데이터에 걸쳐, CREST는 이벤트 크레딧을 복원하면서 분포 외(out-of-distribution) 오류를 줄입니다. 제거 연구(ablations)는 안정 스텝 선택 및 수용 필드(receptive-field) 축소가 실패함을 보여주며, 이는 이득이 일반적인 국소성(locality)이나 안정성 사전(prior)이 아닌 이벤트 코어 크레딧 재고정에서 비롯됨을 확인시켜 줍니다.
웹사이트 지문 식별(WF) 공격은 통제된 실험실 환경에서는 높은 정확도를 달성하지만, 시공간적 드리프트, 브라우저 이질성, 프록시 난독화 등으로 인해 실제 환경에서는 성능이 현저히 저하되는 경우가 많습니다. 이러한 한계는 환경적 교란에 대해 노이즈가 많고 매우 민감한 저수준 트래픽 특징에만 의존하기 때문에 발생합니다. 이 문제를 해결하기 위해 우리는 학습 풍부/추론 빈곤(training-rich/inference-poor) 비대칭 설정 하에서의 교차 환경 리소스 인식 지식 증류 프레임워크인 \textbf{ResAware}를 제안합니다. 구체적으로, ResAware는 리소스 수준 특징으로 교사 모델(teacher model)을 학습(training)시키고, 이기종 지식 증류(heterogeneous knowledge distillation)를 통해 생성된 특권 지식을 학생 모델(student model)로 증류(distillation)합니다. 배포 시점에 학생 모델은 암호화된 트래픽만을 사용하여 추론(inference)을 수행하므로 추가 비용이 발생하지 않습니다. 우리는 전 세계에 분산된 6개의 관측점에서 5개월 동안 수집된 160,000개 이상의 쌍으로 된 샘플을 포함하는 대규모 데이터셋(dataset)에서 ResAware를 평가했습니다. 결과는 ResAware가 다양한 WF 베이스라인의 교차 환경 견고성을 크게 향상시킴을 보여줍니다. 예를 들어 150일의 시간적 드리프트 하에서 ResAware는 Var-CNN의 F1-score를 $72.77\%$에서 $81.49\%$로, 오픈 월드(open-world) $TPR@1\%FPR$을 $22.40\%$에서 $27.20\%$로 향상시켰습니다. 우리의 결과는 리소스 수준 감독이 온라인 관찰 능력을 확장하지 않고도 WF 견고성을 향상시킴을 입증합니다.