PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.22249v2cs.CV

D3Seg: 모달리티 누락 환경에서의 뇌종양 분할을 위한 의존성 인식 확산 모델

D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities

다중 매개변수 MRI를 활용한 정확한 뇌종양 분할은 효과적인 치료 계획 수립에 필수적이다. 그러나 임상 환경에서는 모든 MRI 시퀀스를 완전히 획득하는 것이 항상 가능하지 않다. 특정 MRI 모달리티의 부재는 기존 분할 방법의 성능을 크게 저하시키는데, 이러한 방법들은 일반적으로 단순한 특징 연결(concatenation)이나 직접적인 융합 전략에 의존한다. 이러한 한계를 해결하기 위해, 본 논문은 모달리티 누락 환경에서 안정적인 성능을 유지하도록 설계된 새로운 분할 모델 D3Seg를 제안한다. D3Seg는 고차 모달리티 간 의존성을 모델링하는 Multi-hop Modality Graph Fusion(MMGF), 잠재 공간에서 누락된 T1ce 및 FLAIR 특징 표현을 보완하는 경량 확산 기반 대체(imputation) 메커니즘, 그리고 지배적 클래스의 과신(overconfidence)을 완화하고 과소 표현된 종양 하위 영역의 경계 구분을 개선하는 확률 공간 결정 정제(probability-space decision refinement)를 도입한다. 제안된 D3Seg 모델은 BraTS 2023 Glioma를 주요 벤치마크로 평가하고, 종양 병리 전반에 걸친 일반화 성능을 평가하기 위해 외부 데이터셋인 BraTS 2023 Meningioma 코호트의 일부에서 추가 테스트를 수행한다. 다양한 모달리티 누락 조건에서 최신 모델들과 비교한 결과, 제안된 모델은 BraTS Glioma 데이터셋에서 현재 최고 성능 모델 대비 여러 모달리티 누락 구성에서 강화 종양(ET, enhancing tumor)에 대해 약 1.5~2.0%, 종양 핵심부(TC, tumor core)에 대해 약 1.0%의 Dice 점수 향상을 달성한다. BraTS Meningioma 데이터셋에서의 코호트 간 평가는 제안된 모델의 일반화 가능성을 입증하며, 여러 모달리티 누락 구성에서 난이도가 높은 TC 및 ET 영역에서 각각 약 1.5~3.0%, 1.5~6.5%의 일관된 성능 향상을 보인다.

arXiv:2605.15062v2cs.CV

무선 캡슐 내시경 분류를 위한 학습 시간 광학적 사전 정보: 헤모글로빈 인식 입력 융합과 교차 제조사 평가

Training-Time Optical Priors for Wireless Capsule Endoscopy Classification: Hemoglobin-Aware Input Fusion with Cross-Vendor Evaluation

배경. 무선 캡슐 내시경(WCE)을 위한 RGB 학습 분류기는 헤모글로빈 대비를 담즙 착색 및 조명 감쇠와 혼동하여, 림프관확장증(Lymphangiectasia)과 같은 소혈관 혈관 소견에 대한 민감도를 제한한다. 본 연구에서는 분석적이고 몬테카를로(Monte-Carlo) 기반의 헤모글로빈 사전 정보(prior)를 표준 분류기에 순전히 학습 시간에만 주입하는 물리 정보 기반 프레임워크를 소개한다 -- 이는 WCE 분류에서 명시적인 광전달(light-transport) 사전 정보를 사용한 최초의 사례로 알려져 있다. 방법. Kvasir-Capsule(47,238 프레임, 43명 환자, 11개 평가 가능 클래스; 환자 비중복 분할)에서 6개의 시드에 걸쳐 RGB 전용 EfficientNet-B0 기준선 대비 다음을 테스트하였다: (i) P_blood 사전 정보를 RGB와 함께 공급하는 5채널 입력 융합 변형; (ii) 추론 시 일반 3채널 RGB로 동작하는 지식 증류 변형; (iii) 시간적 트랜스포머와 오토인코더-잔차 스트림을 추가한 3스트림 확장. ResNet-18 및 ConvNeXt-Tiny에서도 이를 재현하였으며, 공개 Galar 코호트에서의 교차 제조사 제로샷 전이를 보고한다. 결과. 입력 융합은 교차 시드 매크로 AUC를 0.760 → 0.783으로 향상시키고(6개 시드 중 5개에서 긍정적); 지식 증류는 0.773에 도달하며; 3스트림 모델은 0.804에 도달한다(기준선 대비 +0.044, 쌍체 DeLong p < 1e-4). 림프관확장증 AUC는 0.238 → 0.337로 상승하며, 6개 시드 전체에서 부호 일관성을 보인다. 4가지 변형에 대한 절제 실험(ablation)은 매개변수화-메커니즘 경계를 드러낸다: 공간-채널 형태만이 성능을 향상시킨다. Galar에서의 교차 제조사 제로샷은 ConvNeXt-Tiny 향상의 약 60%를 유지한다.

arXiv:2603.29578v2cs.CV

Emotion Diffusion Classifier with Adaptive Margin Discrepancy Training for Facial Expression Recognition

Facial Expression Recognition (FER) is essential for human-machine interaction, as it enables machines to interpret human emotions and internal states from facial affective behaviors. Although deep learning has significantly advanced FER performance, most existing deep-learning-based FER methods rely heavily on discriminative classifiers for fast predictions. These models tend to learn shortcuts and are vulnerable to even minor distribution shifts. To address this issue, we adopt a conditional generative diffusion model and introduce the Emotion Diffusion Classifier (EmoDC) for FER, which demonstrates enhanced adversarial robustness. However, retraining EmoDC using standard strategies fails to penalize incorrect categorical descriptions, leading to suboptimal recognition performance. To improve EmoDC, we propose margin-based discrepancy training, which encourages accurate predictions when conditioned on correct categorical descriptions and penalizes predictions conditioned on mismatched ones. This method enforces a minimum margin between noise-prediction errors for correct and incorrect categories, thereby enhancing the model's discriminative capability. Nevertheless, using a fixed margin fails to account for the varying difficulty of noise prediction across different images, limiting its effectiveness. To overcome this limitation, we propose Adaptive Margin Discrepancy Training (AMDiT), which dynamically adjusts the margin for each sample. Extensive experiments show that AMDiT significantly improves the accuracy of EmoDC over the baseline model with standard denoising diffusion training under 100-step evaluations. Additionally, AMDiT-enhanced EmoDC has better generalization and robustness than state-of-the-art discriminative classifiers.

arXiv:2606.24781v1cs.AI

Assessing Distribution Shift in Human Activity Recognition for Domain Generalization

While the field of Human Activity Recognition (HAR) continues to draw interest from researchers and advance in important ways, some key challenges remain. One of the most difficult aspects of building HAR models that show good performance in real-world settings is dealing with data diversity from device and sensor heterogeneity, and contextual changes that are intrinsic to real-world applications. While data diversity in HAR has been well-acknowledged in the literature, there remains a gap in understanding the effect of various types of distribution shifts on HAR models and the domain generalization problem that arises. Towards that end, this paper systematically evaluates 4 different types of distribution shifts, including variations in device type, sensor placement, sampling rate, and user behavior. Quantifying their effects, we illustrate that diversity shifts predominantly define all types of shifts, indicating the existence of unique features that are not shared across different domains. We then introduce a uniform HAR-based distribution shift benchmarks and conduct a comprehensive evaluation of up to 28 domain generalization methods. Our analysis exposes the limitations of current domain generalization algorithms in achieving model generalizability, marginally outperforming the empirical risk minimization baseline. This work represents the first systematic exploration of domain generalization and adaptation concerning specific distribution shifts in sensor-based HAR, offering an open-source benchmark platform and datasets to spur further research.

arXiv:2606.23702v1eess.AS

Heterogeneous 2D/1D Signal Representation Fusion for Underwater Acoustic Modulation Recognition Under Distribution Shift

Modulation recognition systems rely on heterogeneous signal representations. 2D signal-image modalities such as time-frequency and cyclostationary maps capture structural patterns, while 1D statistical descriptors such as higher-order power spectra encode complementary cues. Under distribution shift, these modalities degrade unevenly, making robust fusion a central challenge for practical deployment. Progress is further limited by the lack of a unified evaluation protocol that systematically separates different shift types. This paper addresses both challenges through a joint benchmark-and-model study in underwater acoustic modulation recognition. UAMR-ShiftBench is the first benchmark to jointly cover in-distribution, low-SNR, unseen-environment, unseen-communication-parameter, and measured sea-trial evaluation under a single matched protocol, with two independent real-world subsets collected during two sea-trial campaigns conducted in March and November in the South China Sea. SCP-TriCA fuses STFT, cyclostationary, and P2/P4 (second- and fourth-order power spectra) modalities hierarchically: the two 2D modalities are first aligned through bidirectional cross-attention, and the 1D statistical modality is then incorporated through a sample-adaptive selective gate. On UAMR-ShiftBench, SCP-TriCA achieves 95.33% in-distribution accuracy and 74.59% simulated OOD average, outperforming the strongest baseline by 5.12 percentage points, and reaches 91.14% and 94.86% on the two sea-trial subsets, exceeding the best baseline by 15.71 and 23.00 percentage points respectively. Ablation results confirm that the gains stem from modality complementarity and the hierarchical fusion design. Code and models are available at https://github.com/ronglaiqian/UAMR-ShiftBench.

arXiv:2604.11915v2cs.LG

AI가 생명을 탐지할 수 있는가? 인공 생명으로부터 얻은 교훈

Can AI Detect Life? Lessons from Artificial Life

인공 생명(Artificial Life) Avida 시스템에서 자기복제 프로그램과 비복제 9-mer를 구분하도록 학습한 AI 분류기는 테스트 정확도는 거의 완벽했지만, 탐욕적 힐클라이밍으로 실제 복제자가 아닌 서열을 약 150회 질의만으로 약 100% 신뢰도의 생명(복제자)으로 오분류하게 속일 수 있음을 보였다. 이는 분포 밖(out-of-distribution) 샘플에 취약한 현대 기계학습의 한계로, 지구 기반 학습 데이터와 다른 외계 샘플에 AI 생명 탐지를 적용하면 상당한 위양성(false positive)이 발생할 가능성이 높다.

arXiv:2511.17902v4cs.LG

DUPLE: 희소 타깃 레이블 환경에서 광섬유 경계 보안을 위한 지능형 교차 배치 인식 프레임워크

DUPLE: An Intelligent Cross-Deployment Recognition Framework for Fiber-Optic Perimeter Security under Scarce Target Labels

서로 다른 현장 배치에서 분포 이동과 레이블 부족으로 광섬유 경계 보안의 DFOS 이벤트 인식이 어려운 문제를, 통계 기반 가이드 메타 학습 프레임워크 DUPLE이 이중 도메인 다중 프로토타입 학습·통계적 가이던스 네트워크·쿼리 인지 집계로 해결한다. 두 실제 교차 배치 DFOS 벤치마크에서 전통적 머신러닝, 심층 학습, 도메인 일반화, 메타 학습 베이스라인을 일관되게 능가한다.

arXiv:2606.23336v1cs.CL

WaveDetect: 웨이블릿 변환을 통한 기계 생성 텍스트 탐지를 위한 견고한 프레임워크

WaveDetect: Robust Framework for Machine-Generated Text Detection via Wavelet Transform

LLM 생성 텍스트 탐지를 시간-주파수 영역의 신호 처리 문제로 재공식화한 WaveDetect는 토큰 확률 신호에 미분 가능한 연속 웨이블릿 변환(CWT)을 적용해 시간 영역에서 보이지 않는 스펙트럼 지문을 학습 가능한 표현으로 추출한다. RAID, EvoBench, Domain-Shift 평가에서 적대적 공격, 도메인 전환, 미경험 LLM 진화 상황에서도 높은 정확도와 견고성을 보이며 기존 최고 수준을 넘는 성능을 달성했다.

arXiv:2606.22823v1cs.LG

저상동성 분포 이동 하에서의 효소-기질 상호작용 예측을 위한 검색-증강 다중모달 학습

Retrieval-Augmented Multimodal Learning for Enzyme-Substrate Interaction Prediction Under Low-Homology Shift

효소-기질 상호작용(ESI) 예측은 대규모 생화학 공간에서 생물촉매 탐색과 반응 스크리닝을 위한 기본적인 계산 과제이다. 실제 환경에서는 ESI 예측이 희소한 양성 감독과 저상동성 분포 이동에 의해 어려움을 겪는데, 이는 테스트 효소가 학습 중 관측된 효소와 제한적인 서열 동일성(sequence identity)을 공유하는 상황을 말한다. 이러한 과제를 해결하기 위해, 우리는 강건한 ESI 예측을 위한 검색-증강 다중모달 프레임워크 RAMMESI를 제안한다. RAMMESI는 방향성 교차-모달 상호작용 모델링과 적응적 융합을 통해 명시적인 쌍별 효소-기질 표현을 학습한다. 강건성을 높이기 위해 RAMMESI는 추론 시점에 이웃 효소를 검색하고, 이를 질의 기질과 재결합한 뒤, 그 결과로 얻어진 쌍별 예측을 문맥적 증거로 집계한다. 희소한 양성 감독 하에서의 학습을 개선하기 위해, 우리는 추가로 불균형 인식 가중 BCE 목적함수를 채택한다. 서열 동일성을 고려한 분할 하의 두 ESI 벤치마크에서의 실험은 RAMMESI가 일관되게 강한 성능을 달성함을 보여주며, 특히 더 어려운 저동일성(low-identity) 구간에서 두드러진 이점을 보인다. 또한 검색 모듈은 plug-and-play 방식으로 여러 ESI 백본을 개선하며, 이는 검색이 상동성 이동(homology shift) 하에서 강건성을 향상시키는 일반적인 메커니즘을 제공함을 시사한다.

arXiv:2606.22567v1cs.LG

퓨샷 CLIP 적응을 위한 개념 제약 프롬프트 학습

Concept-Constrained Prompt Learning for Few-Shot CLIP Adaptation

퓨샷 프롬프트 학습은 CLIP을 다운스트림 태스크에 적응시키는 효과적인 전략이지만, 클래스만을 대상으로 한 프롬프트 최적화는 베이스 클래스 지도 학습에 과적합하고 보지 못한 클래스로의 전이를 약화시킬 수 있다. 우리는 Concept-Constrained Prompt Learning(CCPL)을 제안한다. 이는 CLIP 인코더를 갱신하지 않고 학습 가능한 클래스 프롬프트를 고정된 개념 수준의 텍스트 프로토타입에 고정하는 경량 정규화 프레임워크이다. CCPL은 공유 컨텍스트 토큰 집합을 학습하고, 클래스 이름을 덧붙여 클래스 프롬프트를 구성하며, 클래스 수준 개념 뱅크로부터 고정된 개념 프로토타입을 만든다. 학습 중, 텍스트 공간 코사인 일관성 목적 함수는 학습 가능한 클래스 프롬프트 임베딩을 고정된 개념 프로토타입과 정렬한다. 개념 드롭아웃은 고정된 개념 목록에 과도하게 의존하는 것을 막기 위한 추가 정규화를 제공한다. 추론 시 CCPL은 조절 가능한 앙상블 가중치 alpha를 사용해 클래스 프롬프트 로짓과 개념 프로토타입 로짓을 선택적으로 융합한다. 기본 설정은 텍스트 공간 개념 정규화 lambda = 0.5, 개념 드롭아웃 p = 0.3, 약한 개념 유도 융합(alpha = 0.1)을 사용하며, KL 기반 예측 일관성 항은 포함하지 않는다. 동일한 자동 생성 폴백 분할 하에서의 실험은 CCPL이 CoOp 대비 DTD에서 베이스-신규 조화 평균을 +0.6, EuroSAT에서 +2.9 개선하는 반면 OxfordPets에서는 거의 중립(-0.1)임을 보여준다. ablation은 텍스트 공간 개념 정규화가 일관되게 유익함을 나타내며, 최적의 개념 유도 추론 강도는 데이터셋 및 프로토콜에 민감하다. 이러한 결과는 개념 제약이 개념 프로토타입이 데이터셋 의미론과 자연스럽게 정렬될 때 가장 효과적임을 시사하며, 세분화된 카테고리를 현재의 한계 조건으로 식별한다. 코드는 https://github.com/richael-sang/concept-constrained-prompt-learning 에서 공개되었다.

arXiv:2606.20967v1cs.LG

제로샷 일반화를 위한 작업 공간 복잡도 공식화

Formalizing Task-Space Complexity for Zero-Shot Generalization

정책은 다양한 조건에서 작동해야 하지만, 단일 정책은 종종 보수적이고 완전 적응적 방식은 복잡해질 수 있다. 우리는 맥락적 동적 시스템에서 제로샷 일반화를 연구하고, 소스 맥락에서 타깃 맥락으로의 일반화 격에 대한 상한을 제공하는 성능 중심의 방향성 작업 비유사도—부호 있는 발산(signed divergence)—을 제안한다. 부호 있는 발산은 소스 정책 클래스가 일반화되는 시점을 보증하는 $\varepsilon$-허용 집합($\varepsilon$-tolerance sets)을 유도하며, 작업 공간 복잡도(task-space complexity)에 대한 구체적인 개념, 즉 모든 타깃 맥락이 최대 $\varepsilon$의 일반화 격을 넘지 않도록 필요한 소스 맥락의 최소 개수를 제공한다. 성능에 대한 완만한 국소 매끄러움 가정 하에서, 유도된 허용 집합은 작업 공간 복잡도에 대한 보증된 내부/외부 공(inner/outer balls)과 인스턴스 의존적 부피 상한을 허용한다. 유한 오라클(finite-oracle) 설정에서 소스 선택은 집합 덮개(set cover) 문제로 환원되며, 탐욕(greedy) 전략은 표준 $H(n)$ 근사 보증을 그대로 물려받는다. 선형-이차 조절기(LQR) 컨트롤러를 사용하는 질량-스프링-댐퍼(Mass-Spring-Damper) 시스템과 심층 강화학습 컨트롤러를 사용하는 비선형 CartPole 시스템을 통해, 탐욕 선택이 균등(uniform) 또는 무작위(random) 기준선보다 더 적은 정책으로 동일한 $\varepsilon$-커버리지를 달성함을 보인다. 우리 접근법은 성능 기반 작업 유사도 측정과 단순한 정책으로 일반화 가능한 제어를 구축하기 위한 실용적 보증을 제공한다.

arXiv:2606.20673v1cs.LG

NeuroShield: EEG 인증을 위한 장치에 구애받지 않는 파운더션 모델

NeuroShield: A Device-Agnostic Foundation Model for EEG Authentication

EEG 인증의 핵심 과제는 모델이 일반적으로 학습된 취득 설정에 묶여 있다는 점이다. 특히 헤드셋 하드웨어, 채널 레이아웃, 신호 길이의 변화가 이질적인 기록을 만들어내는데, 기존 모델은 이를 처리하기 위해 설계되지 않아 각각의 새 헤드셋이나 데이터셋이 별도의 모델 개발 문제로 취급된다. 이러한 분열은 멀티 데이터셋 학습을 제한하고, 지식 전이를 방해하며, 모델 재사용성을 저하한다. 이 한계를 해결하기 위해, 우리는 가변 채널 및 가변 길이 EEG 기록에서 이중 단계 트랜스포머 아키텍처를 통해 신원 판별 임베딩을 학습하는 재사용 가능한 EEG 인증 파운더션 모델 NeuroShield를 제안한다. 우리는 15,762명의 피험자와 28,116개의 세션을 포함하는 세 개의 공개 EEG 데이터셋에서 NeuroShield를 사전학습하고, 두 개의 미본 다운스트림 데이터셋에서 전이를 평가한다. 평가 결과, 미세조정 후 NeuroShield는 최신 방법 대비 동등 오류율(equal error rate)을 0.44~8.06 percentage points 감소시킨다. NeuroShield는 또한 학습 중 본 길이보다 긴 세그먼트로 일반화되고, 사전학습 중 접하지 못한 채널 레이아웃에서도 동작한다. 이러한 결과는 NeuroShield를 이질적인 기록 설정 전반에서 재사용 가능하고 적응 가능한 EEG 신원 인코더로 자리매김한다. 우리는 재현성과 커뮤니티 채택을 지원하기 위해 NeuroShield를 오픈 소스로 공개한다.

arXiv:2606.20670v1cs.LG

CSI 네이티브 파운데이션 모델을 향하여: 6G를 위한 채널 적응형 로드맵

Towards CSI-Native Foundation Models: A Channel-Adaptive Roadmap for 6G

무선 파운데이션 모델은 6세대(6G) 시스템을 위한 재사용 가능한 채널 상태 정보(CSI) 인텔리전스로 나아가는 경로를 제공한다. 그러나 기존의 일반적인 백본 적응 및 CSI 사전학습 방법들은 CSI를 전파 조건부 채널 응답이 아닌 태스크 텐서로 처리하는 경우가 많아, 무선 환경의 본질적인 시간-주파수-공간 기하학적 특성을 포착하지 못한다. 본 논문은 CSI 네이티브 파운데이션 모델을 향한 채널 적응형 로드맵을 제시하며, 사전학습, 위치 모델링, 어텐션 제어를 세 가지 채널 요구사항인 스케일 인식 이기종 노출, 물리적 시간-주파수-안테나 좌표, 상관관계 경계 토큰 상호작용과 정렬하는 통합 프레임워크를 제안한다. 광범위한 실험을 통해 제안된 프레임워크가 세 가지 차원에서 우수성을 입증한다: 제로샷 일반화의 경우 공간-시간-주파수 태스크에서 NMSE를 4 dB 이상 감소시키고; 스케일 외삽의 경우 8배 미확인 안테나 스케일링에서 최대 5.4 dB의 이득을 제공하며; 추론 효율성의 경우 이동성 인식 처리를 최대 18.8% 가속화한다. Sionna SYS를 이용한 시스템 수준 평가에서는 제안된 프레임워크가 밀집 파일럿 오버헤드의 7.01%만 사용하고, 평균 NMSE -18.64 dB에 도달하며, 밀집 LMMSE 대비 평균 순 스펙트럼 효율을 36.6%, WiFo 대비 15.5% 향상시킴으로써, CSI 네이티브 표현 학습이 파일럿 효율적인 무선 접속을 지원할 수 있음을 나타낸다.

arXiv:2606.22813v1cs.AI

물리 AI 에이전트의 테스트 타임 스케일링 법칙으로서의 능동 추론

Active Inference as the Test-Time Scaling Law for Physical AI Agents

본 논문에서는 물리 인공지능(AI) 에이전트를 위한 새로운 테스트 타임 스케일링 법칙을 제안한다. 이 스케일링 법칙은 물리 AI 에이전트가 자신의 세계 모델(world model)로 추론하여 테스트 타임에 예상치 못한 시나리오에서 일반화할 수 있게 한다. 도출된 스케일링 법칙은 능동 추론(active inference)의 제1원리에 기반하며, 이는 에이전트에게 실제 세계에서 생존한다는 일반적 목표를 부여하고, 구체적인 과제 목표는 이 아래에 포괄된다. 능동 추론은 에이전트가 학습 분포 밖의 예상치 못한 상황을 마주할 때 발생하는 예측 오류를 해결하는 추론을 제공함으로써 이를 달성하며, 비정상(non-stationary) 환경에서의 일반화를 가능하게 한다. 제안된 스케일링 법칙은 테스트 타임에 이러한 추론으로 에이전트의 정책(policy)을 동적으로 갱신함으로써 이를 포착한다. 이 정책 갱신은 소프트 베이지안 추론 과정으로 모델링되며, 허용 가능한 정책 하에서 기대 예측 오류를 줄이는 추론을 가능도(likelihood)로 사용하여 정책에 대한 믿음(belief)을 갱신한다. 결과적 사후 정책은 생물학적 해석을 허용하며, 테스트 타임에 뇌의 기저핵(basal ganglia)과 전전두엽 피질(prefrontal cortex)을 동원하는 스케일링 메커니즘을 복원한다. 해석적으로 다루기 어려운 이 문제를 풀기 위해, 자유 에너지(free energy) 상계를 최소화하는 변분 추론(variational inference) 해법을 개발한다. 이 해법은 테스트 타임에 해결된 새로운 사례를 정책과 세계 모델 모두에서 강화함으로써 학습을 넘어선 학습을 가능하게 하도록 확장된다. 모델 크기와 학습 데이터에 의해 제한되는 기존 스케일링 법칙과 달리, 도출된 해법은 물리 AI 에이전트의 연속적인 실세계 경험에 따라 스케일링된다. 자율 주행 과제에 대한 시뮬레이션 결과는 제안된 해법이 모델-프리 Q-학습 및 모델-기반 베이지안 강화학습을 능가하며, 예상치 못한 시나리오에 대한 강건한 일반화를 달성하면서 추론 효율을 36% 이상 개선함을 보여준다.

arXiv:2606.22797v1cs.AI

대규모 언어 모델에서의 행동 이식성 측정

Measuring Behavior Portability in Large Language Models

대규모 언어 모델(LLM)은 점점 더 자율적 의사결정자로 배치되고 있지만, 모델이 보이는 행동 매핑(behavioral mapping)은 설계상 보수 등가(payoff-equivalent)인 의사결정 환경들—동일한 보수 관련 구조를 공유하지만 표면적 표현은 다른 환경들—사이에서 상당히 달라질 수 있다. 이러한 민감성은 스위트 기반 평가(suite-based evaluation)를 취약하게 만들며, 행동 이식성(behavioral portability)에 관한 근본적인 질문을 제기한다: 하나의 의사결정 환경에서 학습된 행동 매핑이 동일한 근본적 인centive 구조를 보존하는 다른 환경에 얼마나 잘 정보를 제공하는가? 우리는 이 성질을 측정하기 위한 공식적 프레임워크를 제안한다. 우리의 프로토콜은 소스 환경 집합에서 풀링(pooled)된 데이터에 해석 가능한 행동 모델을 적합(fit)하고, 타깃 데이터에 직접 학습된 오라클(oracle)과 비교하여 보류된(hold-out) 타깃 환경에서의 표본 외(out-of-sample) 예측 성능을 평가한다. 이식성은 손실과 무관한(loss-agnostic) 척도를 통해 정량화되며, 이는 타깃 환경에서 유도된 예측-행동(prediction-action) 매핑의 성능에 대한 최악의 경우(worst-case) 상한을 제공한다. 7개의 대표적인 경제학 의사결정 문제에 걸친 통제 실험에서, 우리는 상당하고 체계적인 이식성 손실을 기록했으며, 이는 하나의 의사결정 환경에서 얻은 LLM의 행동 특성화가 구조적으로 동등한 대안으로 신뢰성 있게 전이된다고 가정할 수 없음을 시사한다.

arXiv:2606.22731v1cs.AI

분자 속성 예측을 위한 폐루프 자동 연구: 일반화 가능한 개선의 발견과 인증

Closed-loop Auto Research for Molecular Property Prediction: Discovering and Certifying Generalizable Improvements

폐루프 자동 연구(Closed-loop Auto Research)는 자동화된 머신러닝을 고정 데이터셋 피팅에서 연구 워크플로우 변경으로 확장하며, 언어 모델 에이전트가 표현(representation)과 모델 코드를 편집하고 외부 증거를 획득한다. 분자 속성 예측은 다수의 소규모 엔드포인트에 걸쳐 있다. 우리는 이 행동 공간이 해당 개선을 선택한 검증 신호를 넘어 일반화되는 개선을 산출하는지 묻는다. 우리는 강력한 기준선 대비 각 이득을 하나의 축에 귀속시키는 파일 수준 어블레이션 잠금 하에 특징, 모델, 외부 증거라는 세 가지 자동 연구 축을 분리한다. 세 가지 벤치마크 스위트의 36개 엔드포인트에 걸쳐, 탐색이 레이블을 한 번도 읽지 않은 홀드아웃 테스트에서 선택된 각 구성을 한 번 평가한다. 각 엔드포인트의 최선 검증 축을 취하는 라우팅 파이프라인은 0.013, 0.011, 0.042의 양의 홀드아웃 이득에 도달하며, 전이 가능한 축은 스위트별로 다르다: TDC에서는 데이터, Polaris에서는 모델, MoleculeNet에서는 특징과 모델이다. 가장 큰 모델 탐색 이득은 검증에서 0.041에서 테스트에서 0.003으로 감소하고, 큐레이션된 데이터는 0.022에 도달하지만 테스트에서는 -0.019를 보이며, 이는 두 가지 비전이(non-transfer) 특성이다. 큐레이션된 외부 데이터는 홀드아웃 CYP2C9-substrate 성능을 0.17, 반감기(half-life)를 0.08 향상시키며, 테스트 구조의 64~89%와 겹치는 동일 출처 파일을 거부하는 오염 필터를 통해 허용되지만, 이는 전이에 필요하나 충분하지는 않다. 매칭된 시험의 자동화된 머신러닝 제어군은 에이전트의 코드 수준 모델 개입을 재현하지 못해 0.042 대비 0.006에 그쳤으며, 파이프라인은 공유 학습 분할에서 8400만 매개변수 사전학습된 3D 모델과 경쟁력을 유지한다. 실험은 분자 속성 예측 범위에 머물지만, 발견과 홀드아웃 인증의 분리는 홀드아웃 지표의 프록시를 최적화하는 모든 폐루프 시스템에 적용되는 도메인 무관한 교훈이다.

arXiv:2606.22829v1cs.CV

DBT-Bleed: 키프레임 선택을 활용한 이중 분기 시간적 모델링 기반 수술 중 출혈 감지

DBT-Bleed: Dual-Branch Temporal Modeling with Key-Frame Selection for Surgical Bleeding Detection

수술 중 부작용(Intraoperative Adverse Events, IAE) 감지는 수술 안전성 개선에 핵심적이며, 출혈은 많은 수술 유형에서 가장 빈번한 사건 중 하나이다. 기존 방법은 시간적 추론(temporal reasoning)의 한계로 인해 출혈 IAE를 시각적으로 유사한 잔여 혈액과 구별하기 어렵다. 또한 긴 수술 영상을 모델링하면서 세밀한 시간적 역학을 보존하는 것은 여전히 계산적으로 어려운 과제이다. 우리는 DBT-Bleed를 제안한다. 이는 단기 및 장기 출혈 진행을 위해 층별(layer-wise) 시간적 어댑터를 사용하여 출혈과 정상 표현을 분리하는 이중 분기 다중 스케일 시간적 모델링 프레임워크이다. 세밀한 시간적 정보를 희생하지 않고 긴 수술 영상을 효율적으로 처리하기 위해, 시간적으로 유익한 구간은 유지하고 중복은 제거하는 계층적 엔트로피 기반(Hierarchical Entropy-Driven, HiRED) 프레임 선택 전략을 도입한다. MultiBypass 데이터셋에서의 실험은 출혈 IAE 감지에서 F1 6.53%, 재현율 5.62%, MCC 9%의 향상을 보여주며, 영상 수준 베이스라인을 일관되게 능가한다. 또한 다른 수술 절차 유형에서 새로 구축한 데이터셋에 대해 교차 절차 일반화를 평가했으며, DBT-Bleed는 제로샷(zero-shot) 설정에서 F1 6%, MCC 8%의 향상을 달성하며 견고한 전이 가능성을 보였다. 이 평가를 지원하기 위해 IAE로 주석이 달린 신경외과 분야 최초의 IAE 주석 데이터셋인 Endonasal Pituitary Surgery 데이터셋 EndoPit-IAE를 소개한다. 코드는 논문 수락 후 공개될 예정이다.

arXiv:2606.22660v1cs.CV

제로샷 인스턴스 분할을 위한 확산 모델 프롬프팅

Prompting Diffusion Models for Zero-Shot Instance Segmentation

컴퓨터 비전(CV) 분야에서는 최근 여러 혁신적인 연구 방향이 등장했으며, 그 가운데에는 장면 이해(scene understanding)에서 이전에 볼 수 없었던 제로샷 성능을 달성하는 기반 모델(foundation model)—상호작용 방식까지 포함—과 극도로 사실적인 이미지를 합성하는 생성 모델(generative model)이 있다. 후자는 풍부한 사전(prior) 덕분에 장면 이해 작업에서도 매우 효과적인 것으로 나타났다. 그러나 프롬프트 가능(promptable) 분할에서는 기반 모델이 객체 영역을 정확히 분할하는 데 어려움을 겪어 false positive와 과분할(over-segmentation)을 유발한다. 특히 생성 사전을 활용한 초기 시도들은 후처리(post-processing) 단계에서만 프롬프트를 사용하여, 과정이 사용자 입력과 무관하기 때문에 최적이 아닌 분할 결과를 낸다. 본 논문에서는 이러한 한계를 Prompt2Seg로 해결한다. Prompt2Seg는 확산 기반 분할을 위한 공간 조건화(spatial conditioning) 프레임워크로, 고정(frozen)된 확산 분할 모델에 조건화 분기(conditioning branch)를 추가한다. 우리 접근법은 2D 가우시안 또는 confidence map으로 표현된 공간 프롬프트를 명시적 입력 신호로 받아, 모델이 사용자 의도에 직접 반응하도록 학습한다. Hypersim과 Virtual KITTI 2에서 추출한 의도적으로 제한된 객체 범주 집합에 대해 파인튜닝(fine-tuning)된 Prompt2Seg는, 보지 못한 다양한 객체 유형과 시각적 도메인에 제로샷으로 일반화한다. 표준 벤치마크부터 그림, 에고센트릭(egocentric) 시점, X-ray 데이터 등 더 도전적인 도메인에 이르는 7개 데이터셋에서 평가한다. 또한 Prompt2Seg가 모든 벤치마크에서 기본 확산 분할 백본(backbone)을 일관되게 능가함을 보인다. 결과는 생성 사전학습(generative pretraining)에 인코딩된 풍부한 사전과 원칙적인 공간 조건화를 결합하면, 대규모 마스크 지도 없이도 상호작용형 분할을 폭넓게 일반화할 수 있는 설득력 있는 경로를 제공함을 시사한다.

arXiv:2606.22285v1cs.CV

다중 수준 불일치 특징과 통합 DCT-양자화 임베딩을 이용한 효율적 문서 위조 지역화

Efficient Document Tampering Localization with Multi-Level Discrepancy Features and Unified DCT-Quantization Embedding

문서 위조 지역화는 매우 어려운 과제인데, 조작은 시각적으로 일관되게 만들어지며 종종 사람 눈에는 거의 보이지 않을 정도로 미묘한 흔적만 남기기 때문이다. 기존 연구에서는 평가가 주로 학습 분포와 밀접하게 일치하는 합성 벤치마크에 의해 주도되어 왔고, 이러한 설정에서 방법들은 꾸준한 진전을 보여왔다. 그러나 이러한 성능 향상은 사람이 만든 위조나 교차 도메인 평가—원본 문서와 위조 파이프라인 모두가 달라져 분포 이동(distribution shift)이 발생하는 경우—에는 잘 이전되지 않는 경우가 많다. 또한 이산 코사인 변환(DCT) 모달리티를 위한 Frequency Perception Head가 도입된 이후 표준 선택지가 되었고, 이후 연구는 백본 자체를 재검토하기보다 하위 모듈과 융합 전략에 대부분 초점을 맞춰 왔다. 교차 도메인 성능의 이러한 격차를 줄이고 DCT 백본 설계를 개선하기 위해, 우리는 두 가지 핵심 설계 선택에 기반한 비교적 단순하면서도 효과적인 RGB-DCT 조기 융합 아키텍처인 DiffNet을 제안한다. 첫째, 디코더가 원시의 콘텐츠 중심 활성화가 아니라 다중 스케일 불일치 증거를 집계하도록 하기 위해, 각 백본 단계의 출력에 경량 다중 수준 불일치 변환을 적용하여, 학습된 영합 필터에 대한 크기 전용(magnitude-only) 응답으로 특징을 대체한다. 둘째, 경량 주파수 인덱스 인식 DCT-양자화 공동 임베딩에 의존하는 효율적인 DCT 도메인 백본을 설계한다. 우리 접근법은 교차 도메인 및 사람이 만든 문서 위조 지역화에서 최신(state-of-the-art) 성능을 달성하며, 기존 방법보다 약 30% 우수하고, 이전 최고 모델 대비 최대 $7\times$ 높은 처리량을 달성한다.

arXiv:2606.21861v1cs.CV

제로샷 비전-언어 모델을 이용한 교실 참여도 인식: 프롬프트 민감도 및 교차 데이터셋 일반화 벤치마크 연구

Zero-Shot Vision-Language Models for Classroom Engagement Recognition: A Benchmark Study of Prompt Sensitivity and Cross-Dataset Generalization

자동화된 교실 참여도 인식은 확장 가능한 학습 분석에 상당한 잠재력을 지니지만, 제로샷 조건에서 이 과제에 대한 현대 비전-언어 모델(VLM)의 적합성은 아직 거의 탐구되지 않았다. 우리는 두 가지 상호 보완적인 교육 데이터셋에서 널리 사용되는 다섯 개의 VLM—CLIP, BLIP-VQA, GPT-4o, LLaVA-1.5-7B, Qwen2.5VL-7B-Instruct—을 평가하는 체계적 벤치마크를 제시한다. 데이터셋으로는 개별 학생 비디오 데이터셋인 DAiSEE(300개의 샘플링된 테스트 클립)와 Student Classroom Behaviour 데이터셋(SCB, 1,168개의 장면 수준 이미지)이 있다. 각 모델은 최소형, 루브릭 기반, 사고의 연쇄(Chain-of-Thought) 설계를 아우르는 세 가지 프롬프트 변형으로 탐색된다. 실험 결과, 참여도 인식을 위한 제로샷 VLM의 세 가지 주요 실패 양상이 드러난다: (1) 개별 학생에 대한 거의 무작위 수준의 성능으로, DAiSEE에서 Cohen's kappa가 0.10을 넘지 못함; (2) 심각한 클래스 붕괴(class collapse)로, 모델이 시각적 내용과 무관하게 예측의 85–100%를 단일 참여도 수준에 할당함; (3) 극심한 프롬프트 민감도로, 동일한 이미지에서 프롬프트 표현만에 따라 정확도가 최대 32퍼센트포인트까지 변동함. 주목할 만하게, SCB에서의 장면 수준 분류는 실질적으로 더 다루기 쉽다. CLIP과 GPT-4o는 행동 기반 루브릭으로 프롬프트했을 때 kappa가 약 0.60에 달한다. 또한 배포를 위한 실질적 장벽도 기록한다. GPT-4o의 안전성(safety) 필터는 개별 학생 얼굴이 포함된 사고의 연쇄 요청의 98%를 거부한다. 본 연구 결과는 교육 관찰 시스템에서 VLM을 사용하기 위한 보정된 기준선을 제공하고, 핵심 설계 고려사항을 드러낸다.