PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21496v1eess.SP

음성 기반 멀티모달 대규모 언어 모델을 활용한 일반화 가능한 인지 장애 탐지

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

인지 장애(CI)는 점점 증가하는 공중 보건 문제이다. 조기에 정확하게 진단하는 것은 적시 개입을 가능하게 하고 환자 결과를 개선하는 데 매우 중요하다. 음성 기반 CI 탐지는 인지 저하와 관련된 언어적·음향적 표지를 모두 음성 신호가 담고 있기 때문에 유망한 비침습적 접근법으로 떠오르고 있다. 대규모 언어 모델(LLM)의 최근 발전은 더 표현력 있는 표현 학습(representation learning)과 다양한 화자, 녹음 장치, 임상 환경에 걸친 일반화(generalization) 개선을 가능하게 함으로써 음성 기반 평가의 잠재력을 더욱 강화한다. 또한 언어적 특징과 음향적 특징을 공동으로 모델링하는 멀티모달 학습은 CI와 관련된 인지 및 행동 변화를 더 포괄적으로 특성화할 수 있게 하여 더 신뢰할 수 있는 탐지로 이어진다. 본 연구에서는 환자 프라이버시를 보존하면서 음성 오디오와 해당 전사문을 통합하는 오픈소스 LLM 기반 멀티모달 CI 탐지 프레임워크를 제안한다. 음향 임베딩(embedding)은 음성 신호에서 직접 추출되고, 텍스트 임베딩은 자동 전사된 음성으로부터 생성된다. 이러한 모달리티별 임베딩은 이어 결합되어 결합 특징 벡터를 만들고, 원시 또는 민감한 환자 데이터에 접근할 필요 없이 하류 분류에 사용된다. 제안 접근법은 ADReSS20 및 ADReSSo21 벤치마크 데이터셋에서 평가된다. 실험 결과, 제안된 멀티모달 프레임워크는 CI 분류 정확도 92.4%를 달성하며 단일 모달리티 베이스라인을 일관되게 능가한다. 본 연구는 CI 식별에 대한 새로운 최첨단(state-of-the-art) 수준을 확립하며, 제안 방법은 우수한 교차 데이터셋 일반화를 보여준다. 이 발전은 언어적·음향적 데이터를 융합하여 견고하고 확장 가능하며 비침습적인 선별검사를 가능하게 하는 LLM 기반 멀티모달 프레임워크의 힘을 부각한다.

arXiv:2607.21290v1cs.LG

전이학습을 활용한 비디오 게임 상태 기반 이질적 예측을 위한 다중 과제 학습

Multi-Task Learning for Heterogeneous Prediction from Video Game State with Transfer Learning

다중 과제 학습(MTL)은 비디오 게임 상태 데이터에서 파생된 예측 과제에 유망한 접근법으로, 현대 게임 텔레메트리는 동일한 구조화된 관측치로부터 여러 관련 감독 신호를 제공하기 때문이다. 본 연구는 팀 기반 멀티플레이어 게임에서 과제들을 공동으로 학습한 공유 모델이, 특화된 단일 과제 모델에 비해 일반화를 향상시키면서 학습 및 추론 비용을 줄일 수 있는지 조사한다. 엔드포인트 예측을 위한 멀티모달 아키텍처를 일반적인 다중 과제 설정에 맞게 조정하여, 래스터화된 비전 입력, 전역 매치 컨텍스트, 유닛별 상태 정보를 이미지 인코더와 어텐션 기반 상호작용 모델링을 통해 결합한다. 대규모 독점 World of Tanks 데이터셋에서의 실험은 단일 과제 및 다중 과제 학습을 비교하고, 혼합 손실 및 충돌하는 그래디언트에 대한 가중치 전략을 평가하며, 제한된 타깃 데이터 환경에서 사전학습/미세조정을 검증한다. 또한 구조화된 환경 변화 하에서 게임 맵 간 게임 내 전이를 조사한다.

arXiv:2607.20666v1cs.NI

공동 대조 및 분류 학습을 통한 광 네트워크의 교차 도메인 일반화

Cross-Domain Generalization in Optical Networks via Joint Contrastive and Classification Learning

이질적인 네트워크 도메인에 걸친 머신러닝 기법의 견고성은 광 네트워크에서 여전히 해결되지 않은 과제로 남아 있다. 특정 토폴로지 또는 운영 구성의 데이터로 학습된 모델은 보지 못한 네트워크에 배포될 때 종종 성능이 저하되는 경향을 보인다. 본 연구에서는 도메인 간에 안정적으로 유지되는 과제 관련 관계를 포착하는 것을 목표로 하는 표현 학습 기법을 제안하여 이 과제를 해결한다. 제안 기법은 표현 학습과 과제 최적화를 동시에 수행하여 두 목표가 잠재 공간(latent space)을 함께 형성하도록 하는 새로운 공동 대조 및 분류 학습 접근법에 기반한다. 대표적인 사용 사례인 lightpath quality of transmission(QoT) 추정에 대한 실험 결과는 기준선 접근법 대비 제안 방법의 효과를 보여 주며, 제한된 미세조정만으로도 우수한 성능을 제공하는 신속한 적응 능력을 강조한다.

arXiv:2607.20590v1cs.LG

내부 활성화의 스펙트럴 분석을 통한 신경망 실패 탐지

Detecting Neural Network Failures through Spectral Analysis of Internal Activations

신경망의 오분류는 출력 층에서는 보이지 않는, 내부 활성화에서 특징적인 스펙트럴 불안정성을 보인다. 이 현상은 Spectral Drift로 식별되고 형식화되는데, 이는 연속된 층 활성화 간 주파수 영역 거리이며, 실증적 검증에서 실패가 올바른 예측보다 유의미하게 더 높은 drift를 보였다(1.9% 증가, p<0.001). 이 스펙트럴 시그니처는 내부 처리 과정에서 나타나지만 최종 출력에서는 가려져, 신뢰도 기반 탐지 방법이 어려움을 겪는 이유를 설명한다. 본 연구는 Self-Detecting Neural Networks(SDNN)를 제안하는데, 이는 Short-Time Fourier Transform, 웨이블릿 분해, 통계적 모멘트를 사용하여 신경망 깊이에 걸친 스펙트럴 역학을 모니터링하고 다중 스케일 스펙트럴 특징을 포착하는 프레임워크이다. 경량 탐지기 신경망(매개변수 오버헤드 5%)은 점진적으로 어려워지는 분포에 대한 커리큘럼 학습(curriculum learning)을 통해 실패를 시사하는 패턴을 학습한다: 자연적 오분류, 분포 이동(distribution shift), 적대적 교란(adversarial perturbation). CIFAR-10 실험에서 SDNN은 3개 시드에 걸쳐 79.0 +/- 25.3% AUROC를 달성하여, MaxSoftmax(50.5%) 및 Energy Score(52.9%)를 포함한 신뢰도 기반 베이스라인보다 약 25-30 percentage points 높은 성능을 보였다. 절제 연구(ablation study)에서는 웨이블릿 분해와 통계적 특징이 일관된 기여를 하는 반면, STFT의 역할은 불분명하게 남아 있다. 본 연구는 내부 활성화의 스펙트럴 분석이 신경망 신뢰성 분야에서 유망한 방향임을 확립하며, 출력 기반 접근법으로는 접근할 수 없는 진단 정보를 드러낸다.

arXiv:2607.20535v1cs.LG

제로샷 디지털 트윈을 위한 그래프 신경망 접근법

A Graph Neural Network approach to zero-shot Digital Twins

전통적인 예측형 디지털 트윈은 종종 기하학적으로 경직되어, 기반 물리 영역이나 경계 조건이 바뀔 때마다 광범위한 재학습 또는 미세조정을 필요로 한다. 이 한계를 극복하기 위해, 우리는 실시간 시각 인식과 기하학에 무관한 물리 정보 기반 추론 엔진을 원활하게 결합하는 제로샷 디지털 트윈(Zero-Shot Digital Twins)을 위한 새로운 프레임워크를 제시한다. 우리 아키텍처의 핵심은 Thermodynamics-Informed Graph Neural Network 아키텍처로, 메트리플렉틱(metriplectic) 열역학 형식론에 기반한 기하 심층 학습(Geometric Deep Learning) 솔버이며, 그래프 메시지 전달을 통해 국소적으로 에너지 보존과 비음 엔트로피 생성을 강제한다. 이 프레임워크는 보조 그래프 신경망을 통합하여 희소한 초기 시각 경계로부터 직접 관측 불가능한 필드(응력 텐서, 속도 및 에너지 분포 등)를 추론함으로써 수치적 시작 과도 현상을 완화한다. 시뮬-실제(sim-to-real) 격차를 메우기 위해, 우리는 연속적인 폐루프 데이터 동화 메커니즘을 구현한다. 파이프라인은 심층 분할 신경망과 희소 광학 흐름을 결합하여 거시적 변형과 자유 표면 유체 경계를 실시간으로 추적하고, 자기회귀 시뮬레이션 롤아웃을 동적으로 보정하여 수치적 드리프트를 제거한다. 우리 접근법의 타당성을 검증하기 위해, 우리는 두 가지 이질적인 물리 체제에서 접근법의 극단적인 일반화 능력을 입증한다: 점탄성 보의 대변형과 점성 유체의 비선형 슬로싱(sloshing). 두 시나리오 모두에서, 통합 프레임워크는 사례별 재학습 없이 새로운, 보지 못한 기하학에서 물리적으로 정확한 시뮬레이션을 생성하며, 실시간 지연(latency) 예산(프레임당 약 25ms) 내에서 동작하고 증강 현실(AR)을 통해 잠재 기계 변수의 직접 투영을 가능하게 한다.

arXiv:2607.20532v1cs.LG

입장: 매번 반응적으로 모델을 패치하지 말고 선제적 테스트 주도 AI 개발을 시작하라

Position: Stop Reactively Patching Your Model Every Time and Start Proactive Test-Driven AI Development

많은 현대 AI 시스템은 다양하고 개방형(open-ended)인 사용 사례 하에서 동작하도록 설계된다. 배포된 시스템의 일반화를 돕기 위해, 많은 배포 시스템 유지보수 파이프라인은 사용자 행동(오류)으로부터 발생하는 피드백을 관찰하고 그에 따라 모델을 패치하는 반응적(reactive) AI 플라이휠을 사용한다. 그러나 주요 유지보수 메커니즘으로 사용될 때, 이러한 플라이휠은 시스템 목표 내에서 이러한 오류의 더 넓은 맥락을 종종 무시하여 잠재적인 미래 엣지 케이스(edge case)를 선제적으로 방지하지 못하고, 이는 더 많은 불필요한 플라이휠 반복으로 이어진다. 또한 개방 세계(open-world) 사용 사례의 롱테일(long-tail) 특성으로 인해 남은 오류를 수집하는 것이 통계적으로 점점 더 어려워진다. 본 입장 논문(position paper)은 반응적 플라이휠의 한계를 해결하고 일반화 가능한 시스템에 접근하기 위해 선제적(proactive) 테스트 주도(test-driven) 플라이휠이 필요하다고 주장한다. 우리는 피드백 데이터를 태스크 목표에 기술적으로 매핑하기 위한 테스트 공간(test space)을 생성하여 플라이휠을 반응적에서 선제적으로 진화시키는 것을 옹호한다. 우리는 선제적 플라이휠이 반응적 플라이휠보다 더 적은 반복으로 더 나은 장기 스케일링(scaling)을 달성한다는 것을 수학적으로 증명함으로써 입장을 보강한다.

arXiv:2607.21437v1cs.AI

에이전트 기반 관계형 개념 발견: 해석 가능한 수술 마진 평가를 향하여

Agent-Guided Relational Concept Discovery: Toward Interpretable Surgical Margin Assessment

심층 학습 모델은 수술 마진 평가를 위해 급속 증발 이온화 질량 분석(Rapid Evaporative Ionization Mass Spectrometry, REIMS) 데이터를 효과적으로 활용할 수 있다. 그러나 수술실 환경에 대한 일반화가 제한적이어서 임상 적용은 여전히 어렵다. 이는 모델이 일반적으로 절제된 조직 시료에서 수집된 라벨이 있는 스펙트럼으로 학습되는 반면, 수술 중 직접 획득한 노이즈가 많은 비라벨 데이터에서 동작해야 하기 때문이다. 또한 심층 학습 모델의 블랙박스 특성은 그 동작을 이해하고 체계적으로 개선하기 어렵게 만든다. 개념 기반 학습(concept-based learning)은 원시 측정값을 사람이 이해할 수 있는 개념으로 매핑함으로써 이러한 과제를 해결할 유망한 방법을 제공한다. 그러나 지도 개념 기반 접근법은 복잡한 질량 분석 워크플로에서 얻기 어려운 개념 주석에 의존한다. 우리는 사전 정의된 개념 라벨 없이 데이터로부터 의미 있는 개념을 직접 학습하는 프레임워크인 에이전트 기반 개념 발견(Agent-Guided Concept Discovery)을 제안한다. 학습 중 추론 에이전트가 학습된 개념의 의미적 설명을 정제하고 진단적 관련성에 따라 가중치를 적응적으로 조정한다. 이러한 개념은 알려진 대사 관계와의 일관성을 보장하기 위해 생화학 지식 그래프를 사용하여 추가로 그라운딩(grounding)된다. 피부암 및 유방암 데이터셋에서 우리 모델은 기준선 대비 균형 정확도(balanced accuracy)와 민감도(sensitivity)를 개선한다. 대표적인 수술 중 사례에서 더 적은 위양성(false positive)을 보여 수술 환경에 대한 더 나은 일반화를 나타낸다.

arXiv:2607.21592v1cs.CV

분리된 데이터 기반 통합 비디오 밀집 예측

Unified Video Dense Prediction from Disjoint Data

장면 이해는 기하학, 외관, 의미론에 대한 동시 예측을 요구한다. 그러나 기존 태스크별 주석은 호환되지 않는 도메인별 데이터셋에 걸쳐 파편화되어 있다. 현재의 통합 시스템은 완전 공동 주석 데이터로만 학습을 제한하거나, 의사 라벨링(pseudo-labeling)의 큰 계산 비용을 감수함으로써 이를 우회한다. 이를 완화하기 위해, 우리는 깊이, 표면 법선, 의미 분할, 경계, 인체 부위, 알베도, 셰이딩, 재질이라는 여덟 가지 밀집 장면 속성을 분리된 도메인별 데이터셋에서 공동으로 예측하는 통합 비디오 모델 UniD를 제안한다. 우리는 태스크별 전문가가 경량 태스크 프로젝터를 통해 통합 백본을 지도하는 간단하면서도 효과적인 지식 증류(distillation) 단계를 제안하며, 이를 통해 주석 중복이나 의사 라벨링이 필요 없게 한다. 우리의 핵심 통찰은 사전학습된 diffusion 모델의 강력한 시각적 사전 지식(prior)이 분리된 학습 소스로 인해 발생하는 도메인 간격을 메우기에 충분하여, 학습 중 한 번도 보지 못한 장면-태스크 조합에 대한 강건한 일반화를 가능하게 한다는 것이다. UniD는 태스크별 전문가 및 멀티태스크 기준선 대비 경쟁력 있는 성능을 달성하며, 분포 외(out-of-distribution) 시나리오에 대한 강한 일반화와 향상된 시간적 및 교차 태스크 일관성을 보인다. 코드와 비디오 결과는 https://unid-video.github.io/ 에서 확인할 수 있다.

arXiv:2607.21526v1cs.CV

자율주행을 위한 전천후 자기지도 깊이 추정의 견고성 향상

Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving

다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.

arXiv:2607.21417v1cs.CV

데이터 이질성 하에서 프라이버시 보존 연합 프롬프트 튜닝을 향하여: 부분공간 분해 전문가 접근법

Towards Privacy-Preserving Federated Prompt Tuning under Data Heterogeneity: A Subspace-Decomposed Expert Approach

연합 프롬프트 튜닝(FPT)은 경량 프롬프트를 사용하여 비전-언어 모델(VLM)의 협력적 적응을 가능하게 한다. 기존 방법들은 종종 국소 차분 프라이버시(DP) 하에서 분할 프롬프트 설계를 통해 이질성과 프라이버시를 다루며, 전역 전이를 위한 공유 프롬프트와 지역 적응을 위한 비공개 프롬프트를 결합한다. 그러나 단일 공유 프롬프트는 다양한 전이 가능 지식을 과도하게 평활화하여 개인화와 일반화 사이의 균형을 약화시킬 수 있다. 다중 전문가 프롬프트(MEP)는 이러한 다양성을 더 잘 포착할 수 있지만, 통신 공간을 확대하여 DP 노이즈와 통신 비용을 증가시키고, 견고한 전문가 구성을 더 어렵게 만든다. 본 연구는 FedSEPT, 즉 프라이버시를 보존하는 연합 부분공간 분해 전문가 프롬프트 튜닝(Federated Subspace-decomposed Expert Prompt Tuning)을 제안한다. 구체적으로, 부분공간 분해 전문가 모델링(SEM)을 사용하여 공유 저랭크 요인, 고정된 공개 기저, 비공개 잔차로 여러 프롬프트 전문가를 매개변수화함으로써, 통신과 DP perturbation을 컴팩트한 요인 공간으로 제한하면서 공통 좌표계에서 직접적인 서버 집계를 가능하게 한다. 또한 인스턴스 인식 전문가 융합(IEF)을 설계하였는데, 이는 온디바이스 라우팅을 통해 의미적으로 상보적인 전문가들을 적응적으로 결합하고, 캐시된 전문가별 텍스트 특징을 사용하여 효율적인 로짓 수준 융합을 수행한다. 11개의 이질적 벤치마크에 대한 광범위한 실험 결과, 동일한 프라이버시 제약 하에서 FedSEPT가 강력한 기준선들보다 지역 적응과 전역 일반화 사이의 더 나은 절충을 달성함을 보여준다.

arXiv:2607.20628v1cs.CV

RealVDeblur: One-Step Diffusion for Generalizable Real-World Video Deblurring

Real-world video deblurring remains challenging due to diverse motion patterns, complex degradations, and the scarcity of realistic training data, yet robust restoration is critical for downstream pipelines such as mobile imaging and 3D reconstruction. This work presents \textbf{RealVDeblur}, an efficient generative framework designed to improve in-the-wild robustness under diverse real capture conditions. First, a large-scale, physically grounded blur synthesis pipeline is constructed from scene-level 3D Gaussian Splatting (3DGS) assets and high-frame-rate videos, providing realistic training data covering both camera-induced and object-motion blur. Second, a video diffusion prior is leveraged for restoration; to better accommodate frame-dependent blur variations, temporal compression in the VAE is disabled and a frame-wise encoding scheme is adopted. For practical deployment on long videos, multi-step diffusion sampling is distilled into an efficient one-step generator, and a training-free Temporal Window Mask stabilizes inference beyond the training horizon with constant memory usage. Extensive experiments on diverse real-world benchmarks demonstrate strong perceptual quality, semantic fidelity, and temporal consistency on unseen videos, as well as improved robustness in downstream 3D reconstruction under severe motion blur. Project page: https://rbjin.github.io/RealVDeblur

arXiv:2603.20509v2cs.CV

Lessons and Open Questions from a Unified Study of Camera-Trap Species Recognition Over Time

Camera traps are vital for large-scale biodiversity monitoring, yet accurate automated analysis remains challenging due to diverse deployment environments. While the computer vision community has mostly framed this challenge as cross-domain generalization, this perspective overlooks a primary challenge faced by ecological practitioners: maintaining reliable recognition at the fixed site over time, where the dynamic nature of ecosystems introduces profound temporal shifts in both background and animal distributions. To bridge this gap, we present the first unified study of camera-trap species recognition over time. We introduce a realistic benchmark comprising 546 camera traps with a streaming protocol that evaluates models over chronologically ordered intervals. Our end-user-centric study yields four key findings. (1) Biological foundation models (e.g., BioCLIP 2) underperform at numerous sites even in initial intervals, underscoring the necessity of site-specific adaptation. (2) Adaptation is challenging under realistic evaluation: when models are updated using past data and evaluated on future intervals (mirrors real deployment lifecycles), naive adaptation can even degrade below zero-shot performance. (3) We identify two drivers of this difficulty: severe class imbalance and pronounced temporal shift in both species distribution and backgrounds between consecutive intervals. (4) We find that effective integration of model-update and post-processing techniques can largely improve accuracy, though a gap from the upper bounds remains. Finally, we highlight critical open questions, such as predicting when zero-shot models will succeed at a new site and determining whether/when model updates are necessary. Our benchmark and analysis provide actionable deployment guidelines for ecological practitioners while establishing new directions for future research in vision and machine learning.

arXiv:2602.08792v2cs.CV

Multimodal Learning for Arcing Detection in Pantograph-Catenary Systems

The pantograph-catenary interface is essential for ensuring uninterrupted and reliable power delivery in electrified rail systems. However, electrical arcing at this interface poses serious risks, including accelerated wear of contact components, degraded system performance, and potential service disruptions. Detecting arcing events at the pantograph-catenary interface is challenging due to their transient nature, noisy operating environment, data scarcity, and the difficulty of distinguishing arcs from other similar transient phenomena. To address these challenges, we propose a novel multimodal framework that combines high-resolution image data with force measurements to more accurately and robustly detect arcing events. First, we construct two arcing detection datasets comprising synchronized visual and force measurements. One dataset is built from data provided by the Swiss Federal Railways (SBB), and the other is derived from publicly available videos of arcing events in different railway systems and synthetic force data that mimic the characteristics observed in the real dataset. Leveraging these datasets, we propose MultiDeepSAD, an extension of the DeepSAD algorithm for multiple modalities with a new loss formulation. Additionally, we introduce tailored pseudo-anomaly generation techniques specific to each data type, such as synthetic arc-like artifacts in images and simulated force irregularities, to augment training data and improve the discriminative ability of the model. Through extensive experiments and ablation studies, we demonstrate that our framework significantly outperforms baseline approaches, exhibiting enhanced sensitivity to real arcing events even under domain shifts and limited availability of real arcing observations.

arXiv:2507.10142v2cs.AI

적응 가능한 다중 에이전트 강화학습을 향하여: 가정 인식 리뷰

Toward Adaptable Multi-Agent Reinforcement Learning: An Assumption-Aware Review

다중 에이전트 강화학습(MARL)은 시뮬레이션 �ench마크에서 강력한 성능을 달성했지만, 실제 배포 환경에서는 알고리즘이 설계되고 평가되는 가정을 자주 위반한다. 에이전트 집단이 변할 수 있고, 목표가 바뀔 수 있으며, 중앙집중식 정보를 사용할 수 없을 수 있고, 실행이 비동기적으로 이루어질 수 있으며, 파트너 정책이 낯설 수 있다. 기존 서베이들은 확장성(scalability), 견고성(robustness), 일반화(generalization), 전이 가능성(transferability)과 같은 관련 요구(desiderata)를 논의하지만, 이러한 용어들은 종종 서로 다른 분석 대상과 서로 다른 종류의 분포적 또는 구조적 변화(shift)를 가리킨다. 본 서베이는 \textit{adaptability}를 모든 MARL 알고리즘이 모든 설정에서 성공해야 한다는 보편적 요구사항이 아니라, 이러한 변화들을 체계화하기 위한 가정 인식 분류 체계로 제안한다. 우리는 세 가지 차원을 구분한다: 변경된 학습 또는 시스템 가정 하에서 학습 패러다임의 적용 가능성과 관련된 \textit{learning adaptability}, 배포 시점의 변화 하에서 학습된 정책의 재사용 또는 적응과 관련된 \textit{policy adaptability}, 그리고 벤치마크와 평가 프로토콜이 통제된, 진단적으로 유용한 변화를 드러내는지와 관련된 \textit{scenario-driven adaptability}. 무엇이 변하는지, 변화가 언제 발생하는지, 어떤 적응이 허용되는지, 성공이 무엇을 의미하는지를 분리함으로써, 이 프레임워크는 기존 개념들이 어떻게 맞물리는지를 명확히 하고 현재 MARL 평가가 어디에서 여전히 불충분하게 명시되어 있는지를 식별한다.

arXiv:2607.20284v1cs.CV

원격 탐사 이미지 이해를 위한 멀티모달 대규모 언어 모델: 도메인 특화형인가 범용형인가?

Multimodal Large Language Models for Remote Sensing Image Understanding: Domain-Specific or General-Purpose?

멀티모달 대규모 언어 모델(MLLM)의 급속한 발전은 원격 탐사 이미지 장면 이해(RSISU)를 위한 유연한 패러다임을 도입했으며, 원격 탐사 영상과의 자연어 상호작용을 가능하게 했다. 그러나 기존 원격 탐사 MLLM(RS-MLLM)의 능력 경계, 태스크 간 일반화, 태스크별 한계에 대한 체계적인 이해는 여전히 부족하다. 본 논문은 RSISU를 위한 MLLM에 대한 체계적인 서베이와 진단적 평가를 제시한다. 우리는 RS-MLLM의 기술적 진화를 검토하며, 모델 설계, 멀티모달 학습, 학습 데이터, 하류 능력에 초점을 맞춘다. 또한 다양한 RSISU 태스크와 벤치마크에서 RS-MLLM과 범용 컴퓨터 비전 MLLM(CV-MLLM)을 비교한다. RS-MLLM은 도메인 특화 설정, 특히 원격 탐사 시각적 그라운딩(visual grounding)과 고해상도 시각적 질의응답(VQA)에서 경쟁력을 유지한다. 더 주목할 점은, 범용 CV-MLLM이 원격 탐사 특화 미세조정 없이도 여러 RSISU 태스크에서 이러한 특화 모델과 동등하거나 그 이상의 성능을 낼 수 있다는 것이다. 이러한 결과는 범용 CV-MLLM의 강한 전이 가능성을 보여 주며, 현재 RS-MLLM이 다양한 RSISU 태스크 전반에서 이를 일관되게 능가하지는 못함을 시사한다. 현재 MLLM은 공간적·관계적 추론, 세밀한 시각 이해, 지시 다양성, 이질적 태스크 형식 간 일반화에서도 한계에 직면한다. 이러한 발견을 바탕으로, 신뢰할 수 있는 평가, 멀티모달 및 고해상도 추론, 효율적 배포, 도구 증강 원격 탐사 에이전트를 향한 향후 방향을 개괄한다. 본 서베이는 RSISU를 위한 견고하고 일반화 가능하며 실용적인 MLLM 개발을 위한 체계적인 참고 자료를 제공한다.

arXiv:2607.20159v1cs.CV

SHFormer: 적응형 MRI 재구성을 위한 동적 스펙트럴 필터링 합성곱 신경망 및 고역통과 커널 생성 트랜스포머

SHFormer: Dynamic Spectral Filtering Convolutional Neural Network and High-pass Kernel Generation Transformer for Adaptive MRI Reconstruction

어텐션 메커니즘(AM)은 영상 작업에 필요한 핵심 정보를 선택적으로 집중하고, 원거리 픽셀 이웃 간의 관계를 포착하여 특징 표현을 계산한다. 가속 MRI 재구성은 AM의 이점을 받는데, 영상화 과정이 이미지 표현에 비국소적으로 영향을 미치는 푸리에 영역 측정을 포함하기 때문이다. 그러나 AM 기반 모델은 저주파 정보를 포착하는 데는 더 능숙하지만 고주파 표현에 대한 역량이 제한되어, 모델을 매끄러운 재구성에 제한한다. 또한 AM 기반 모델은 다중모달 MRI 데이터에 대해 모드별 재학습이 필요한데, 지식이 국소적 문맥 변화에 국한되어 이질적 도메인 간 전이 가능한 특징을 포착하기에 불충분할 수 있기 때문이다. 이러한 과제를 해결하기 위해, 우리는 확장 가능한 MRI 재구성을 위한 신경조절(neuromodulation) 기반 판별적 다중 스펙트럴 AM을 제안하며, 이는 (i) 고품질 재구성을 위해 문맥 인식 고주파 세부 정보를 전파하고, (ii) 다중모달 MRI에서 편차가 있는 미관측 도메인 간 재사용 가능한 특징을 포착할 수 있다. 제안된 네트워크는 모드별 전이 가능한 특징을 포착하는 스펙트럴 필터링 CNN과 고주파 세부 정보에 초점을 맞춘 동적 고역통과 커널 생성 트랜스포머로 구성된다. 우리는 이질적 MRI 데이터 하에서 지도 학습 및 자기지도 학습, 확산 모델 기반 학습, 폐쇄 집합 및 개방 집합 일반화, 해석 기반 분석에 대한 비교 연구로 모델을 평가한다. 우리의 방법은 미관측 시나리오에서 PSNR 기준 약 1 dB, SSIM 기준 약 0.01의 최대 개선 폭으로 확장 가능하고 고품질 재구성을 제공한다. Code: https://github.com/sriprabhar/SHFormer

arXiv:2607.19876v1cs.RO

KineBench: IDM 없는 운동학적 그라운딩을 통한 체화 세계 모델 벤치마킹

KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding

체화 세계 모델(EWM)의 물리적 일관성을 평가하는 것은 중요한 미해결 과제이다. 시뮬레이터 롤아웃을 통한 폐루프(closed-loop) 평가는 개루프(open-loop) 대안보다 물리적 타당성을 더 충실하게 평가하지만, 기존 프레임워크는 거의 전적으로 동작 추출을 위해 역동역학 모델(IDM)에 의존한다. 2D 픽셀 공간에서 3D 운동학 공간으로의 복잡한 매핑 때문에, 학습된 IDM은 학습 분포 밖 데이터에 취약할 수 있으며, 새로운 객체와 시나리오가 포함된 생성 비디오에서 신뢰할 수 없는 동작 추출을 초래한다. 이는 세계 모델의 부정확성과 추출기 오류 사이에 피할 수 없는 귀속 모호성을 만든다. 이 모호성을 줄이기 위해, 우리는 명시적 운동학적 그라운딩 파이프라인 위에 구축된 EWM용 IDM-프리 폐루프 벤치마크인 KineBench를 제시한다. 생성된 비디오가 주어지면, KineBench는 연쇄적 시각 기반 모델(visual foundation models)을 사용해 개별 프레임에서 6D 엔드 이펙터(end-effector) 자세를 직접 추출하고, 이를 물리 시뮬레이터에서 실행하여 폐루프 검증을 수행한다. 실행 기반 과제 성공률을 넘어, KineBench는 로봇 중심 관점에서 궤적의 매끄러움과 운동학적 타당성을 특성화하기 위해 두 가지 고전적 3D 운동학 지표—Spectral Arc Length(SPARC)와 Maruyama Manipulability Index—를 통합한다. ManiSkill3의 20개 다양한 조작(manipulation) 과제 위에 구축된 KineBench는 기본 실행, 과제 전이, 시각적 분포 외(out-of-distribution) 일반화, 복잡도 조건 스케일링의 네 가지 점진적 스위트에 걸쳐 EWM을 평가한다. 최신(frontier) 모델들에 대한 평가는 체화 비디오 생성에서 과제 복잡도에 의해 제한되는 비선형 스케일링을 밝혀내어, 향후 데이터 스케일링 전략에 대한 실증적 지침을 제공한다.

arXiv:2607.19643v1cs.CV

심초음파의 도메인 변화: 교차 데이터셋 좌심실 분할의 해석 가능한 정량화 및 예측

Domain Shift in Echocardiography: Interpretable Quantification and Prediction of Cross-Dataset Left Ventricular Segmentation

교차 데이터셋 일반화는 심초음파 좌심실 분할의 임상 배포에 있어 여전히 주요 장벽이지만, 이러한 변화의 원인은 거의 분리되지 않는다. 우리는 여섯 개의 심초음파 데이터셋에 걸쳐 수작업 초음파 기술자(descriptors), VAE 잠재 특징, 분할에서 유도된 잠재 특징을 사용하여 배포 전에 전이 성능 저하를 추정할 수 있는지 조사했다. 기하학 인식 전처리는 여러 전이 성능이 낮은 사례를 상당히 개선했으며, 이는 겉보기 도메인 변화의 상당 부분이 본질적인 음향 차이만이 아니라 시야(field-of-view) 및 프레이밍 불일치를 반영함을 시사한다. 강도 z-정규화는 데이터셋 분리 가능성을 0.005 미만으로 변경했으며, 이는 밝기와 대비가 지배적인 변화 축이 아님을 나타낸다. 보류된(hold-out) 소스-타깃 쌍에서 절대 Dice 하락은 R-squared 0.612, MAE 0.082, Spearman rho 0.681로 예측되었다. 좌심실(LV) 및 부채꼴 형태 특징이 없는 변형은 이 설명력의 약 70%를 유지하여, 마스크 없는 전이 위험 모니터링을 뒷받침한다. 가장 정보가 풍부한 불일치 측정은 표현에 따라 달랐으며, z-정규화된 수작업 특징에서는 CMD가 절대 r 약 0.86 및 R-squared 약 0.70으로 가장 강했고, VAE 공간에서는 log-Wasserstein이 r 약 -0.90 및 R-squared 약 0.81로 가장 강했으며, LV 분할 잠재 특징에서는 log-MMD가 r 약 -0.92 및 R-squared 약 0.84로 가장 강했다. 겉보기 벤더 효과는 대부분 데이터셋과 교란(confounded)되어 있었다. 따라서 심초음파 도메인 변화는 구조화되어 있고 측정 가능하며, 분할에 대한 그 영향은 기하학 인식 전처리를 통해 부분적으로 줄일 수 있고 표현별 전이 위험 추정을 사용하여 예측할 수 있다.

arXiv:2602.07643v2cs.CV

Universality Reconsidered: Rethinking the Validation of Foundation Models for General-Purpose 3D Medical Segmentation

Foundation models have emerged as a transformative paradigm in 3D medical imaging, with the promise of unified quantitative analysis across diverse targets and imaging modalities. Yet the prevailing conception of universality remains incomplete. Current models are predominantly developed and evaluated on datasets largely concentrated around a limited set of imaging modalities and anatomical regions. In this Perspective, we evaluate representative 3D segmentation foundation models using paired whole-body structural and functional imaging data. Our analysis reveals a substantial gap between benchmark-reported performance and real-world generalization, with marked degradation on previously unseen data and particularly severe failures on functional imaging modalities. These findings suggest that current foundation models remain far from achieving true universality. We argue that progress requires not only scaling models and datasets, but also a reconsideration of how universality is defined and validated, extending evaluation beyond regional structural benchmarks toward whole-body structural and functional imaging. Our observations highlight the need to distinguish benchmark success from genuine clinical generalization. Bridging this gap will be essential for translating foundation models from controlled evaluation settings to real-world medical practice.

arXiv:2512.03854v2cs.CV

The PAR dataset: Prostate biopsy whole slide images from an underrepresented Middle Eastern population

Artificial intelligence (AI) is increasingly used in digital pathology. Publicly available histopathology datasets remain scarce, and those that do exist predominantly represent Western populations. Consequently, the generalizability of AI models to populations from less digitized regions, such as the Middle East, is largely unknown. This motivates the public release of our dataset to support the development and validation of pathology AI models across globally diverse populations. We present 1,017 whole slide images by digitizing 339 glass slides of prostate core needle biopsies from a consecutive series of 185 patients collected in Erbil, Iraq. The slides are associated with Gleason scores and International Society of Urological Pathology grades assigned independently by three pathologists. Scanning was performed using two high-throughput scanners (Leica and Hamamatsu) and one compact scanner (Grundium). All slides were de-identified and are provided in their native formats without further conversion. The dataset enables grading concordance analyses, color normalization, and cross-scanner robustness evaluations. The PAR dataset has been deposited to the BioImage Archive under accession number S-BIAD2323 (https:// doi.org/10.6019/S-BIAD2323).