While Large Language Model (LLM) agents demonstrate proficiency in static benchmarks, their deployment in real-world scenarios is hindered by the dynamic nature of user queries, tool sets, and interaction dynamics. To address this generalization gap, we formalize OpenAgent (Tool-Use Agent in Open-World), a problem setting characterized by distributional shifts across query, action, observation, and domain dimensions. To systematically diagnose its impact, we construct a controlled sandbox environment where we define fine-grained environmental shifts across a four-tier hierarchy, Perception, Interaction, Reasoning, and Internalization, and conduct a comprehensive series of experiments. Our analysis yields a series of key insights, demonstrating that agents trained via both Supervised Fine-Tuning(SFT) and Reinforcement Learning suffer from varying degrees of performance degradation when confronting open environmental shifts. Building on these insights, we propose Perturbation-Augmented Fine-Tuning, a disturbance-based intervention strategy for SFT that lays the foundation for enhancing agent robustness and utility in realistic environments. Our code will be released at: https://github. com/LAMDA-NeSy/OpenAgent.
산업용 사물인터넷(IIoT) 네트워크의 침입 탐지를 위한 경량 머신러닝 모델이 동일 데이터셋 내에서는 높은 성능을 보이더라도, 재학습 없이 다른 IIoT 네트워크에 적용하면 성능이 크게 저하됨을 교차 데이터셋 평가를 통해 실증하였다. 설명가능성(explainability) 분석 결과, 모델들이 포트 카테고리 특성에 과도하게 의존하는 숏컷(shortcut)을 학습하며, 포트 해상도를 낮춰도 이 의존성이 제거되지 않고 이동될 뿐이고, 균형 잡힌 클래스 분포 대신 자연적으로 불균형한 분포로 평가하면 일반화 성능에 대한 판단이 달라질 수 있음을 보였다.
테이블 기반 수치 추론(numerical reasoning)에서 도메인 이동에 따른 성능 저하를 완화하기 위해, TaNOS는 헤더 익명화(header anonymization), 연산 스케치(operation sketch), 그리고 프로그램 우선 방식의 자기지도학습(SSL)을 결합한 지속적 사전학습 프레임워크를 제안한다. 8B 인스트럭션 튜닝 모델에 적용 시 FinQA에서 학습 데이터 10%만으로 80.13%의 실행 정확도를 달성해 전체 데이터로 학습한 SFT 기준선(73.97%)과 GPT-5, Gemini-2.5-Pro를 능가하며, 교차 도메인 실험에서 도메인 간 성능 격차를 2pp 이내로 유지했다.
오디오-언어 모델(ALM)의 프롬프트 학습이 베이스 클래스 정확도를 높이는 대신 노벨 클래스 성능을 저하시키는 일반화 격차 문제를 해결하기 위해, ZEBRA는 제로샷 로짓 퓨전과 자기 엔트로피 정규화(self-entropy regularization)를 결합한 플러그앤플레이 프레임워크를 제안한다. 추가 학습 파라미터 없이 기존 프롬프트 학습 방법 위에 적용 가능하며, 다수의 오디오 분류 데이터셋 실험에서 베이스 클래스 성능을 유지하면서 노벨 클래스 성능을 일관되게 향상시켜 베이스-투-노벨 격차를 크게 줄였다.
We propose a novel swap-adversarial framework that mitigates high inter-subject variability and the high-dimensional low-sample-size problem in electrocorticography (ECoG) data. It achieves robust domain generalization across ECoG and electroencephalography (EEG)-based brain-computer interface datasets. Our framework integrates (1) robust preprocessing, (2) inter-subject balanced channel swap (ISBCS) for cross-subject augmentation, and (3) domain-adversarial learning (DAL) to suppress subject-specific bias. The ISBCS method is a bio-inspired channel swapping strategy that exchanges only functionally corresponding channels across subjects, guided by a brain map, to mitigate inter-subject distribution differences. The DAL strategy encourages the model to learn task-relevant shared features. We validate the effectiveness of this framework through extensive experiments under cross-subject, cross-session, and cross-dataset settings. Our framework consistently outperforms all baselines across all settings, showing the most significant improvements in highly variable environments. It also achieves superior cross-dataset performance between public EEG benchmarks, demonstrating strong generalization capability not only for ECoG but also for EEG data. In addition, we introduce a new ECoG dataset, the first reproducible benchmark, which is constructed from long-term ECoG recordings of 6-hydroxydopamine-induced rat models and annotated with neural responses measured before and after electrical stimulation.
OOD 데이터의 헤시안 곡률이 분포 내 데이터보다 일관되게 크며 분포 이동이 강해질수록 격차가 확대된다는 체계적 분석을 바탕으로, 특징 헤시안과 부분 특징 정규화를 활용한 경량 OOD 탐지기 Fold를 제안한다. 외부 데이터 없이 ID 로짓 마스킹으로 의사 OOD 샘플을 합성해 자동 보정하는 AutoFold와 함께, 기존 방법 대비 평균 AUROC 1.63% 향상 및 FPR95 2.30% 감소를 표준 순전파 수준의 계산 비용으로 달성했다.
신경망(neural network) 언어 모델(LM)은 일반화와 강인성 측면에서 상당한 과제에 직면해 있다. 현재 많은 연구들이 일반화 또는 강인성 중 하나만을 개선하는 데 집중하고 있으며, 두 측면을 동시에 다루는 방법이 부재한 상황으로, 이는 강인하면서도 일반화된 언어 모델을 개발하는 데 큰 과제를 제시한다. 본 논문에서는 언어 모델의 일반화와 강인성을 동시에 균일하게 향상시키는 이단계 최적화 프레임워크를 제안하며, 이를 UEGR이라 명명한다. 구체적으로, 순전파(forward propagation) 단계에서는 적응형 드롭아웃을 활용하여 적대적 샘플의 출력 확률 분포를 풍부화함으로써 다양한 서브 모델을 생성하고, 이러한 출력 분포의 JS 발산과 적대적 손실을 통합하여 출력 안정성을 강화한다. 역전파(backward propagation) 단계에서는 매개변수 현저성 점수를 계산하고 가장 중요한 매개변수만을 선택적으로 업데이트하여 불필요한 편차를 최소화하고 모델의 탄력성을 공고히 한다. 이론적 분석에 따르면, 본 프레임워크는 입력 섭동에 대한 모델의 민감도를 제한하는 그래디언트 정규화와 손실 지형을 평탄화하는 선택적 매개변수 업데이트를 포함함으로써 일반화와 강인성을 모두 향상시킨다. 실험 결과, 본 방법은 공개된 13개 언어 데이터셋에서 기존의 다른 방법들에 비해 언어 모델의 일반화와 강인성을 크게 향상시키며 최신 기술(SOTA) 성능을 달성한다.
Test-time adaptation (TTA) of vision-language models (VLMs) is essential for their robust deployment in dynamic, real-world environments. However, existing TTA methods often adapt locally without accumulating knowledge over time, or operating within a single modality without exploiting VLMs' inherently multi-modal nature. Inspired by the \textbf{Com}plementary \textbf{Mem}ory systems of the biological brain, we propose \textbf{ComMem}, an innovative approach that mimics the distinct but cooperative roles of the hippocampus and neocortex to enable effective TTA for VLMs. ComMem consists of two key components: a fast-adapting detailed memory, akin to the hippocampus, that forms a dynamic visual cache from high-confidence test samples; and a slow-integrating abstract memory, akin to the neocortex, that continually refines global textual prototypes. For each test instance, ComMem jointly optimizes both memory systems to ensure cross-modal consistency. Extensive experiments on 15 benchmark datasets show that ComMem significantly outperforms state-of-the-art methods under both natural distribution shifts and cross-dataset generalization, offering a promising direction for enhancing VLMs' practical adaptability.
This work examines perturbation generalization in spatial foundation-model embeddings derived from fluorescence microscopy images. Although these models can discriminate drug conditions accurately, it remains unclear whether the learned representations reflect patterns consistent with expected perturbation axes that transfer across drugs. We introduce SVC-Probe, a perturbation-aware framework that combines Subcellular Embedding Atlas Stability, Mondrian Neighborhood Graphs, and a Foundation Model Perturbation Probe to assess embedding stability, neighborhood rewiring, and centroid prediction under drug treatment. Applied to the CM4AI MDA-MB-468 chemical-perturbation atlas comprising 462 antibody labels and SubCell 1536-dimensional embeddings, SVC-Probe demonstrates that 98.6% three-way condition accuracy does not correlate with reliable cross-drug prediction, with cosine similarity diminishing from 0.944 in-domain to 0.30 under leave-one-drug-out evaluation, constituting a two-drug stress test rather than a general benchmark. Null calibration indicates that raw residual-turnover coupling is largely influenced by generic embedding structure, whereas a drug-specific signal emerges under vorinostat and is consistent with chromatin-related reorganization. In contrast, the paclitaxel axis is not robustly reconstructed, likely due to sparse coverage of microtubule-associated proteins. Together, these results introduce and demonstrate a reusable diagnostic framework for stress-testing spatial virtual-cell representations and indicate that perturbation generalization may serve as a stricter and more informative benchmark than baseline condition discrimination.
운율적 강조(prosodic emphasis) 탐지 모델이 언어와 감정 전반에 걸쳐 얼마나 일반화되는지 조사하기 위해, 7개 언어 및 34개 감정/스타일에 걸친 10,000개 발화로 구성된 다국어 멀티 감정 코퍼스 MMEE를 구축하고 최신 모델 두 종을 다양한 설정에서 벤치마크했다. 단일 언어 모델은 제로샷 교차 언어 전이에 한계를 보이지만 다국어 학습으로 견고성이 크게 향상되며, 감정 간 전이와 소규모 학습에서도 안정적인 성능을 유지함을 확인했다.
비디오 기반 원격 생리 신호 측정(RPM)은 접근성이 높지만, 조명 변화, 피부색, 움직임 등의 조건에서 여전히 취약하다. 무선 주파수(RF) 레이더는 조명과 외관 변화에 대체로 불변하여 상보적인 심폐 호흡 미세 운동 단서를 제공하지만, 추론 시 레이더를 필요로 하는 것은 보급률이 낮고 배포 부담이 커 실용적이지 못한 경우가 많다. 우리는 RPM-Distill을 제안한다. 이는 학습 시에만 동기화된 레이더를 활용하면서 비디오만으로 추론하는 생리학 기반 크로스모달 지식 증류 프레임워크이다. 핵심 관찰은 RGB와 RF 파형이 감지 물리학과 시간 영역 형태는 다르지만, 주파수 영역에서 유사한 잠재적 주기 리듬을 공유한다는 것이다. 따라서 (i) 기본 피크를 고정하고, (ii) 피크 외 배경 분포를 맞추며, (iii) 스펙트럼 형태와 선명도를 보존하는 손실을 통해 생리학적 구조를 갖춘 스펙트럼 증거를 증류하여 강건성을 향상시킨다. 샘플 수준 교사 모델 품질과 정렬 불확실성으로 인한 부정적 전이를 피하기 위해, 스펙트럼 정책 네트워크가 학생-교사 스펙트럼 관계 맵으로부터 샘플 수준 증류 게이트와 구성 요소 가중치를 예측하며, 이는 소규모 레이블 검증 분할에 대한 메타 이별(bilevel) 목표로 학습된다. 까다로운 조건과 크로스 데이터셋 설정에서 광범위한 실험을 통해 RPM-Distill은 단일 모달리티 기준선 대비 MAE 81%, 상관 21% 개선을 달성한다. 코드는 https://github.com/WJULYW/RPM-Distill 에 있다.
자율주행을 위한 카메라 기반 인식 시스템은 일반적으로 고정된 센서 리그(rig)로 개발·평가되지만, 실제 차량 플릿(fleet)은 카메라 배치, 방향, 시야(field of view), 카메라 수에서 상당한 차이를 보인다. 이 불일치는 기하학적 관측 과정만이 변하는 교차 리그(cross-rig) 도메인 격차(domain gap)를 야기한다. 통제된 조건에서 이 효과를 연구하기 위해, 체계적으로 설계된 14개의 카메라 리그 하에서 동일한 주행 장면을 렌더링하는 벤치마크인 Plentiful CARLA Camera Rigs를 제안한다. 이 설정은 장면 내용이나 외관의 혼란(confounding) 변화 없이 교차 리그 일반화를 직접 분석할 수 있게 한다. 벤치마크를 사용해 대표적인 다중 뷰(multi-view) 인식 아키텍처의 교차 리그 전이(transfer) 거동을 분석하고, 기하학적 리그 변동에 의해 유도되는 상당한 성능 변화를 관찰한다. 구조화된 분석을 위해 리그 메타데이터에서 유도된 두 가지 캘리브레이션 기반 서술자(descriptor)를 추가로 도입한다: 리그 내부 다양성을 포착하는 Rig Variance와 리그 간 기하학적 불일치를 측정하는 Rig Contrastive Distance. 실험 결과, 기하학적 리그 차이는 상대적 교차 리그 성능 변화와 강하게 상관하며, Rig Contrastive Distance는 센서 리그 간 전이 난이도를 순위화하는 신뢰할 만한 대리 지표(proxy)를 제공한다.
AI 생성 이미지가 인터넷 전반에 빠르게 퍼지고 있다. 일부는 오락용으로 쓰이지만, 다른 것들은 사기와 소셜 미디어 사용자를 겨냥한 소셜 엔지니어링 공격에 악용된다. 기존 탐지기는 학습 중 본 생성기에 과적합하거나, 탐지를 불투명한 이진 분류로 다루거나, 출력을 설명하기 위해 값비싼 대규모 언어 모델(LLM)에 의존한다. 본 논문에서는 AI로 조작되거나 AI 생성된 인물과 장면의 세분화된 탐지 및 위치 추정을 위한 새로운 모델 TruEye를 제안한다. 단일 진위 라벨을 부여하는 기존 탐지기와 달리, TruEye는 합성 콘텐츠의 5가지 구성적 범주를 구별하는 최초의 모델이며, 여기에는 실제 인물이 한 번도 물리적으로 존재하지 않았던 실제 장면에 합성(composited)된 가장 까다로운 경우도 포함된다. 핵심은 마스크 조건부(mask conditioned) 듀얼 스트림 트랜스포머로, 패치 수준의 공간 대응을 유지하면서 인물 토큰과 장면 토큰을 분리한다. 각 스트림 내 특화된 추론(reasoning)과 영역 게이트 교차 어텐션(region gated cross attention)은 피사체와 배경 간의 의미적 일관성을 강제하며, 토큰 수준 감독과 전역 구성적 분류는 LLM 없이도 견고하고 해석 가능한 예측을 제공한다. 의미적으로 일관된 토큰에만 스트림 내(intra stream) 어텐션을 제한함으로써, TruEye는 LLM 기반 경쟁 모델보다 $100\times$ 이상 빠르게 동작한다. 6개 데이터셋과 새로 구축한 FineSyn 데이터셋에 대한 실험 결과, TruEye는 더 높은 정확도, 더 빠른 추론, 그리고 보지 못한 AI 생성 또는 조작 이미지에 대한 더 강한 일반화 성능으로 최신(state of the art) 탐지기를 능가한다.
자기지도 학습(SSL)과 확산 모델은 각각 고차원 3D 시각 데이터에 대한 표현 학습과 생성 모델링을 발전시켜 왔지만, 종종 별개의 패러다임으로 개발된다. 다중 출처 이질성 하에서의 통합은 여전히 어려운 과제인데, 해부학적 내용은 분석을 위해 보존되어야 하는 반면 촬영 관련 스타일은 센터 간에 달라지며 합성에 영향을 미치기 때문이다. 본 논문에서는 변분 오토인코더 잠재 공간에서 3D 의료 영상 분리 통합 사전학습(3D Medical image Disentangled UnifiEd PreTraining) 프레임워크인 MeDUET를 제안한다. MeDUET는 통합 사전학습을 경험적 인자 식별 가능성 문제로 공식화하여, 해부학을 위한 도메인 불변 내용 인자와 외관을 위한 도메인 특이적 스타일 인자를 학습하는 것을 목표로 한다. 인자 분리를 개선하기 위해 MeDUET는 먼저 표준 적대적 도메인 정규화와 함께 토큰 디믹싱(token demixing)을 사용하여 기본적인 내용-스타일 특화를 확립하고, 더 나아가 Mixed Factor Token Distillation과 Swap-invariance Quadruplet Contrast를 도입하여 혼합 영역 인자 누출을 줄이고 인자별 불변성과 판별 가능성으로 인자 공간을 구조화한다. 이렇게 학습된 인자를 통해 MeDUET는 합성과 분석 모두에 효과적으로 전이되어, 합성에서는 더 높은 충실도, 더 빠른 수렴, 더 나은 제어 가능성을 제공하고, 다양한 데이터셋, 태스크, 모달리티에서 경쟁력 있거나 우수한 도메인 일반화와 레이블 효율성을 달성한다. 전반적으로 MeDUET는 다중 출처 이질성이 유용한 감독 신호로 활용될 수 있음을 보여주며, 분리(disentanglement)가 3D 의료 영상 합성과 분석을 통합하는 효과적인 인터페이스를 제공함을 시사한다. 코드는 https://github.com/JK-Liu7/MeDUET 에서 제공된다.
데이터 기반 의사결정을 위한 경험적 위험 최소화 접근법은 결정 규칙이 배포될 때 직면하게 될 조건과 동일한 조건에서 추출된 학습 데이터에 대한 접근을 필요로 합니다. 그러나 일부 상황에서는, (관측 가능하거나 관측 불가능한 속성으로 특징지어지는) 일부 집단이 일반 모집단에 비해 과소 또는 과대 표현된다는 의미에서 학습 샘플에 바이어스가 있을 수 있으며, 이 경우 학습 세트에 대한 경험적 위험 최소화는 배포 시 잘 작동하는 규칙을 도출하지 못할 수 있습니다. 우리는 조건부 Γ-편향 샘플링이라는 샘플링 바이어스 모델을 제안하는데, 여기서 관측된 공변량은 샘플 선택 확률에 임의로 크게 영향을 미칠 수 있지만 샘플 선택 확률의 설명되지 않는 변동량은 상수 인자로 제한됩니다. 분포적 강건 최적화(distributionally robust optimization) 프레임워크를 적용하여, Γ-편향 샘플링 하에서 학습 분포를 생성할 수 있는 테스트 분포 집합에서 발생하는 최악의 위험을 최소화하는 결정 규칙을 학습하는 방법을 제안합니다. Rockafellar와 Uryasev의 결과를 적용하여 이 문제가 증강된 볼록 위험 최소화 문제와 동치임을 보입니다. 체 방법(method of sieves)을 통해 샘플링 바이어스에 강건한 모델 학습에 대한 통계적 보장을 제공하고, 손실 함수가 강건 학습 목표를 포착하는 심층 학습 알고리즘을 제안합니다. 건강 설문 데이터로부터 정신 건강 점수 예측에 관한 사례 연구와 ICU 재원 기간 예측에 관한 사례 연구를 통해 제안된 방법을 실증적으로 검증합니다.
기존 하이브리드 PDE 솔버는 PDE 잔차를 최적화 목표로 삼아 계산 비용이 크고, ill-conditioned 계에서는 잔차가 낮아도 재구성 정확도가 보장되지 않는 한계가 있다. ENS(Error-Conditioned Neural Solvers)는 매 반복마다 PDE 잔차 필드를 네트워크 입력으로 직접 전달해 오류의 공간 구조를 읽고 예측을 수정하는 갱신 정책을 학습하며, 네 가지 PDE 계열에서 대부분 최고 정확도(난류 Kolmogorov flow에서 최대 10배)를 더 낮은 비용으로 달성하고 분포 이동·제로샷 매개변수 변경·방정식 간 전이에서도 일반화한다.
Network Attack Simulator(NASim)의 JAX 기반 재구현 NASimJax는 GPU 가속 학습 파이프라인으로 기존 시뮬레이터 대비 최대 100배 환경 처리량을 달성해, 고정 연산 예산 하에서 더 큰 네트워크에서 침투 테스트 강화학습(RL) 정책 학습을 가능하게 한다. 자동화된 침투 테스트를 Contextual POMDP로 공식화하고 구조적으로 다양하며 해결 가능함이 보장된 시나리오 생성 파이프라인을 도입해 제로샷 일반화를 연구했으며, 최대 40개 호스트 실험에서 Prioritized Level Replay가 Domain Randomization보다 유리하고 2단계 행동 분해(2SAS)가 커지는 행동 공간에서 평탄한 행동 마스킹을 크게 능가한다는 결과를 확인했다.
소형 MLLM 기반 멀티모달 웹 에이전트의 약한 작업 계획과 웹사이트 간 일반화 한계를 해결하기 위해, 환경을 자율 탐험하고 회고적 경험으로 정렬된 고수준 학습 데이터를 합성하는 PEEU(Planning Experience Exploration and Utilization)를 제안한다. 실제 벤치마크에서 Qwen2.5-VL-7B 기반 모델이 30.6% 정확도로 더 큰 Qwen2.5-VL-32B를 능가했으며, TDHAF 분석은 저수준 원자 기술 숙달만으로는 고수준 계획 역량이 보장되지 않고 고수준 작업 학습이 분포 외(OOD) 일반화에 더 효과적임을 보였다.
LLM 에이전트에서 사고의 연쇄(CoT) 학습은 생성된 추론으로 행동을 수정하기보다 프롬프트만으로 행동을 직접 예측하는 품질을 더 크게 높이며, CoT 행동의 상대적 이점은 학습이 진행돼도 크게 넓어지지 않는다. 후기 체크포인트일수록 CoT에 의한 행동 수정 가능성은 줄어 프롬프트 의존이 커지고, 일부 학습 예시에서 행동 토큰 지도를 선택적으로 마스킹하면 도메인 외 일반화가 향상된다.
LLM 에이전트의 분포 외(OOD) 일반화 실패 원인을 작업 비민감성(task insensitivity)으로 진단했으며, 지시문이 손상되거나 유사한 다른 작업으로 바뀌어도 학습된 행동 패턴을 그대로 따르고 작업 토큰보다 국소 관측에 어텐션이 치우치는 현상을 확인했다. 이를 완화하기 위해 작업 지시에 대한 행동 의존성을 높이는 경량 대조 정규화 Task-Perturbed NLL Optimization을 제안했고, ALFWorld·ScienceWorld·WebShop 평가에서 작업 민감성과 OOD 일반화가 개선됨을 보였다.