PyTorchKR Papers

최신 논문

총 1,987편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17294v1cs.RO

VISTA: 행동 이력 조건화를 통한 스케일 인식 시각 내비게이션

VISTA: Scale-Aware Visual Navigation via Action History Conditioning

비전 내비게이션 파운데이션 모델(VNMs)은 다양한 형태와 환경에 걸쳐 제로샷 배포가 가능한 엔드-투-엔드 학습된 내비게이션 정책을 제공할 것을 약속합니다. 일반성을 유지하기 위해 많은 비전 기반 내비게이션 모델은 정규화된 행동을 예측합니다. 그러나 이러한 정규화는 치명적인 배포 취약점을 야기하는데, 동일한 정규화된 궤적에 서로 다른 스케일링 인자를 적용하면 물리적 기하학적 구조가 변경되어 내비게이션 성능이 저하되고 충돌 위험이 증가합니다. 우리는 모델을 이미지 관찰과 함께 정규화된 행동 이력에 대해 조건화하여 이 취약점을 해결합니다. 이는 모델의 예측과 로봇의 실제 물리적 변위 사이의 관계에 대한 명시적인 컨텍스트를 제공합니다. 또한, 현재의 VNMs는 뚜렷한 특징이 부족한 시각적으로 반복적인 환경에서 종종 어려움을 겪습니다. 이 문제를 해결하기 위해 DINOv3 인코더를 통합했으며, 이의 더 풍부한 표현(representations)을 통해 우리 모델이 관찰 사이의 공간적 및 기하학적 차원을 모두 포착하도록 합니다. VISTA는 분포 외(OOD) 환경에 강건하게 일반화되며, 야외, 숲 및 사무실 환경에서의 제로샷 실제 배포 시 100%의 목표 예측 정확도를 달성하고 평균 95%의 체크포인트를 통과하여, 보이지 않는 환경에서 일관된 경로 추종(path following)을 입증합니다.

arXiv:2606.17115v1cs.LG

프로빙, 융합, 신뢰성: 멀티모달 암 분석을 위한 파운데이션 모델 표현의 체계적 평가

Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

파운데이션 모델(FM)은 의료 데이터를 위한 강력한 표현 추출기로 등장했으나, 분포 변동(distribution shift) 하의 데이터셋에 대한 일반화 성능은 아직 충분히 탐구되지 않았습니다. 본 연구는 라이선스된 사내(IH) 종양학 데이터셋에서 추출한 두 가지 실제 상용 코호트인 IH-BC와 IH-NSCLC에 걸친 일련의 계산 병리학 태스크에서 FM 기반 표현을 체계적으로 평가합니다. 이 분석은 IH 멀티모달 데이터에서 추출한 두 가지 모달리티인 전체 슬라이드 이미지와 전사체 프로필에 초점을 맞춥니다. 우리는 먼저 5개의 FM에 대해 8개의 다운스트림 분류 태스크에서 단일 모달 프로빙 성능을 벤치마킹하고, 이미지와 오믹스 표현이 상호 보완적인 예측 신호를 가지고 있음을 발견했습니다. 그런 다음 짝을 이룬 표현에 기반한 세 가지 이미지-오믹스 융합 전략을 비교하여, 멀티모달 융합이 단일 모달 기준선에 비해 추가적인 이득을 낼 수 있는지 조사합니다. 선택된 단일 모달 및 멀티모달 파이프라인의 신뢰성은 컨포멀 예측(conformal prediction)을 통해 추가로 평가됩니다. 결과는 FM 표현이 분포 외(OOD) 데이터에서 경쟁력 있는 성능을 달성하며, 멀티모달 융합은 주로 단일 모달리티가 신호를 지배하지 않을 때 도움이 됨을 보여줍니다. 컨포멀 예측은 점 예측이 실패하는 대다수의 경우에서도 실제 진단이 예측 세트 내에서 복구 가능함을 보여주며, 이는 임상 지원을 위한 불확실성 인지 추론의 가치를 강화합니다.

arXiv:2606.12854v1cs.CL

바이오메디컬 주장 검증을 위한 소형 LLM: 비용 효율적인 미세조정, 데이터셋 구조적 지름길, 그리고 교차 도메인 일반화

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

바이오메디컬 사실 검증(biomedical claim verification)을 위해 QLoRA를 활용하여 소형 언어 모델을 효율적으로 파인튜닝(fine-tuning)하여 Mistral-7B가 소량의 학습 데이터로 GPT-4o 및 GPT-5를 능가하는 비용 효율적인 성능을 달성했습니다. 또한 데이터셋의 구조적 특성이 도메인 간 일반화(cross-domain generalization)에 중요한 영향을 미침을 규명하고 구조적으로 건전한 데이터 학습의 필요성을 제시했습니다.

arXiv:2606.11898v2cs.CL

GraspLLM: 대규모 언어 모델을 활용한 텍스트 속성 그래프에서의 제로샷 일반화

GraspLLM: Towards Zero-Shot Generalization on Text-Attributed Graphs with LLMs

텍스트 속성 그래프(TAGs)에 대한 연구는 인용 네트워크, 전자상거래 플랫폼, 소셜 미디어, 웹 페이지와 같은 다양한 실제 데이터 시나리오에서의 광범위한 응용으로 인해 최근 큰 주목을 받고 있습니다. 대규모 언어 모델(LLMs)의 탁월한 의미적 이해 능력에 영감을 받아, TAGs에 LLMs를 통합하려는 수많은 시도가 있었습니다. 그러나 기존 방법들은 여전히 다양한 그래프와 작업에 걸쳐 일반화하는 데 어려움을 겪고 있으며, 전이 가능한 그래프 구조적 패턴을 포착하는 능력도 제한적입니다. 이를 해결하기 위해 우리는 데이터셋 간 및 작업 간 일반화 능력을 향상시키기 위해 그래프 구조 이해와 LLMs의 의미적 이해 능력을 결합한 프레임워크인 GraspLLM을 소개합니다. 구체적으로, 우리는 동결된 일반 임베딩 모델을 사용하여 서로 다른 그래프의 노드 텍스트를 통합된 의미 공간에 표현하고, 그 위에서 데이터셋 독립적인 구조 정보를 추출하기 위해 여러 모티프 유도 인접 행렬에 걸쳐 모티프 인지 대조 학습을 수행합니다. 그런 다음, 제안된 최적의 문맥 하위 그래프를 사용하여 각 대상 노드에 대해 가장 문맥적으로 관련성 높은 하위 그래프를 추출하고, 정렬 프로젝터를 통해 이 하위 그래프들을 LLM의 토큰 공간에 정렬합니다. 다양한 도메인에 걸친 TAG 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GraspLLM이 TAGs를 위한 기존 LLM 기반 방법들을 일관되게 능가한다는 것을 밝혔으며, 특히 제로샷 시나리오에서 그 성능이 두드러져 다양한 데이터셋과 작업에 걸친 강력한 일반화 능력을 강조했습니다. 우리의 코드는 https://github.com/Heinz217/GraspLLM에서 확인할 수 있습니다.

arXiv:2606.12930v1cs.LG

허위 상관 제거는 항상 학습 가능한가?

Is Spurious Correlation Removal Always Learnable?

불변 학습(invariant learning)은 통계적으로 식별 가능한 구조가 존재하더라도 다항 시간 알고리즘으로는 학습이 불가능한 조건부 계산적 장벽이 있음을 보여줍니다. 환경 다양성을 제어하는 분리 파라미터 $\gamma$를 도입하여 최소-최대 위험(minimax risk)을 정량화하고 레이블 유도 변화 하에서 위상 전이(phase transition)가 발생함을 입증했습니다.

arXiv:2606.12680v1cs.LG

유한 샘플 설정에서 인과적 불변성은 도메인 적응에 얼마나 유용한가?

How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings?

인과적 불변성이 유한 샘플 설정에서 도메인 적응(domain adaptation)에 미치는 영향을 분석하여, 선형 회귀(linear regression)에서 후보 예측자 간의 위험 마진이 충분할 때 적응형 집계 절차가 최상의 성능을 달성하고 네거티브 전이를 방지할 수 있음을 이론적으로 입증한다.

arXiv:2606.12651v1cs.LG

물리 인식 보조 손실이 GNN 합성 가능성 필터의 분포 외 일반화를 개선한다

Physics-Aware Auxiliary Losses Improve Out-of-Distribution Generalization of a GNN Synthesizability Filter

기존 통계 기반 합성 가능성 필터의 분포 외(OOD) 성능 저하 문제를 해결하기 위해, 그래프 신경망(GNN)에 물리적 사전 지식을 보조 손실로 추가했습니다. 이를 통해 OOD 일반화 성능을 통계적으로 유의미하게 개선하면서도 분포 내 성능은 유지하는 결과를 확인했습니다.

arXiv:2606.13562v1cs.CV

대비 정보 기반 증강과 도메인 적대적 학습을 통한 성인-신생아 MR 재구성 일반화

Contrast-Informed Augmentation and Domain-Adversarial Training for Adult-to-Neonatal MR Reconstruction Generalization

목적: 대비 정보 기반 데이터 증강과 도메인 적대적 학습이 E2E-VarNet의 성인-신생아 일반화를 향상시키는지 조사한다. 방법: 세 가지 학습 체계를 조사했다: (1) 증강하지 않은 성인 데이터만을 사용한 성인 전용 학습, (2) 증강하지 않은 성인 데이터와 신생아 정보 기반으로 증강한 성인 데이터를 짝지어 사용한 혼합 학습, (3) 도메인 적대적 목적 함수를 포함한 혼합 학습. 모델은 후향적으로 언더샘플링된 다중 코일 성인 T2 가중 뇌 MR 데이터로 학습했으며, 가속 인수 $R=4$ 및 $R=8$에서 정량 지표와 정성 평가를 통해 신생아 및 성인 테스트 데이터에서 평가했다. 특징 분석을 통해 도메인 적대적 학습이 증강하지 않은 성인, 증강한 성인, 신생아 테스트 샘플의 잠재 표현을 변화시켰는지 평가했다. 결과: 신생아 데이터에서 평가할 때 혼합 학습(Mixed)과 혼합 도메인 적대적 학습(Mixed-DAT)이 증강 없이 성인 전용 학습(Unaug-Only)보다 우수한 성능을 보였다. R=4에서 Mixed-DAT가 최고 성능을 달성했다(SSIM = 0.924 +/- 0.027, PSNR = 33.98 +/- 1.15 dB). R=8에서 Mixed-DAT는 SSIM 기준 최고 성능을 보였고(0.848 +/- 0.031 vs. Unaug-Only 0.766 +/- 0.037, Mixed 0.814 +/- 0.035), Mixed는 PSNR 기준 최고 성능을 보였다(29.56 +/- 0.83 dB vs. Unaug-Only 26.26 +/- 0.78 dB, Mixed-DAT 29.43 +/- 0.83 dB). t-SNE 플롯의 정성적 평가는 Mixed-DAT가 증강하지 않은 성인, 증강한 성인, 신생아 테스트 데이터의 잠재 표현 간 겹침을 증가시켰음을 시사했다. 결론: 대비 정보 기반 증강과 도메인 적대적 학습은 딥러닝 기반 MR 재구성의 성인-신생아 일반화를 향상시켰다. 이러한 결과는 대비 정보 기반 데이터 증강과 적대적 학습의 결합이 언더샘플링된 신생아 MR 재구성에서 도메인 이동(domain shift)에 대한 견고성을 향상시킬 수 있음을 시사한다.

arXiv:2606.11857v1eess.SP

REACH: 다중 채널 차량 채널 추정을 위한 해석 가능성 기반 특징 식별 및 아키텍처 압축

REACH: Interpretability-Driven Feature Identification and Architecture Compression for Multi-Channel Vehicular Channel Estimation

다중 채널 혼합 SNR 학습은 IEEE 802.11p 차량 통신을 위한 심층 학습 채널 추정기의 분포 외(OOD) 일반화를 향상시키지만, 이를 담당하는 내부 메커니즘은 아직 설명되지 않았다. 본 연구는 REACH(Relevance-based Explanation and Architectural Compression for cHannel estimators)를 제안한다. 이는 그래디언트 기반 해석 가능성 프레임워크로 두 수준에서 동작한다. 입력 수준 기여도(attribution)는 평가된 모든 채널 조건에서 일관되게 관련 있는 시간-주파수 특징의 부분집합을 식별하여, 최소한의 성능 손실로 입력 차원 축소를 가능하게 한다. 필터 수준 기여도는 거의 보편적인 내부 표현을 드러내어, 관찰된 OOD 일반화에 대한 표현적 설명을 제공한다. 그 결과로 얻은 필터 분류체계를 바탕으로 한 관련성 기반 아키텍처 압축은 파라미터 수와 부동소수점 연산(FLOPs) 수를 크게 줄이면서 정규화 평균 제곱 오차(NMSE) 저하를 1 dB 미만으로 유지하며, 압축이 증가할수록 OOD 일반화는 분포 내 정확도보다 더 완만하게 저하된다.

arXiv:2606.11490v1cs.LG

OmniLoc: 다양한 실내 환경에서의 앵커 프리 UE 위치 추정을 위한 기하학적 인식 파운데이션 모델

OmniLoc: A Geometry-Aware Foundation Model for Anchor-Free UE Localization Across Diverse Indoor Environments

무선 측정값을 이용한 실내 위치 추정은 건물의 기하학적 구조, 감지 가능한 액세스 포인트(AP) 집합, 수신 신호의 이질성(heterogeneity)에 큰 변동이 있어 대규모 배포 시 여전히 어려운 과제로 남아 있습니다. 기존 학습 기반 방법들은 제한된 설정에서만 잘 작동하고 환경 변동 시 성능이 저하되어, 다양한 실내 환경에서의 강건한 앵커 프리 위치 추정은 매우 어려운 문제로 알려져 있습니다. 본 논문에서는 다양한 실내 환경에서의 앵커 프리 사용자 장비(UE) 위치 추정을 위한 환경 대화형 파운데이션 모델(foundation model)인 OmniLoc을 제안합니다. 우리의 아는 한, OmniLoc은 이 작업을 위해 무선 측정값에 직접 구축된 최초의 파운데이션 모델 기반 접근 방식입니다. OmniLoc은 세 가지 핵심 설계를 기반으로 구축되었습니다. 첫째, 통합 입력 토큰화 모듈은 이질적인 무선 측정값을 학습에 더 적합한 공통 표현(representation)으로 변환합니다. 둘째, 기하학적 인식 트랜스포머(Transformer)는 지배적인 AP를 강조하고 지원 AP로부터 보완적인 증거를 집계하여 AP 인식 특징 추출을 수행합니다. 셋째, 기하학적 인식 위치 추정 모듈은 기하학적으로 일관된 위치 예측을 생성하기 위해 기하학적 임베딩(embedding)을 조건으로 하여 회귀(regression)를 수행합니다. 우리는 대규모 자체 데이터셋과 공개 벤치마크 데이터셋 모두에서 OmniLoc을 평가했습니다. 결과에 따르면 OmniLoc은 기존 방법들을 현저히 능가하며, 설계 구성 요소를 통합했을 때 기존 백본(backbone)을 일관되게 개선하고, 교차 환경 평가에서 강력한 일반화 성능을 보여주었습니다.

arXiv:2606.12378v1cs.CV

로봇의 생체 신호 감지를 위한 조명 강건 카메라 기반 심박수 추정

Illumination-Robust Camera-Based Heart-Rate Estimation for Physiological Sensing in Robots

생체 신호 인식은 일상 환경에서 인간과 상호작용하는 서비스, 사회적, 보조 로봇에게 중요하다. 원격 광용적맥파 측정(rPPG)은 RGB 카메라로부터 비접촉 심박수(HR) 추정을 가능하게 하며, 로봇 탑재 비전 시스템을 위한 유망한 감지 모달리티다. 그러나 조명 변화는 강건한 배포에 있어 주요 장벽으로 남아 있다. 본 논문은 다양한 조명 조건의 새로운 데이터셋에서 원격 심박수 추정을 위한 엔드투엔드 공간-시간 트랜스포머 프레임워크를 제시한다. 우리의 추정기는 PRNet 기반 3D 얼굴 정렬, 클립 수준 조명 증강, 잔차 시간 표준화 모듈, 제어된 하이브리드 시간-주파수 지도를 통합한다. 학습 목적 함수는 Soft-Shifted Pearson 파형 손실과 스펙트럴 쿨백-라이블러 발산 손실을 결합하며, 조정된 가중치($\mathbf{β}$)가 주파수 도메인 심박수 지도의 기여도를 제어한다. 세 가지 조명 수준을 아우르는 정적 전체 수준 혼합 프로토콜에서의 실험 결과, $\mathbf{β}=5$가 테스트된 베타 설정 중 가장 강력한 결과를 제공하며, 최적 실행 심박수 평균 절대 오차(MAE) 0.79 bpm과 심박수 상관관계 0.982를 달성한다. 우리 데이터셋에서 평가된 PhysFormer 기준선과 비교하여, 우리의 추정기는 심박수 MAE를 93.6% 감소시키고 심박수 상관관계를 0.088에서 0.982로 향상시켜, 조명이 변화하는 환경에서도 사용 가능하다.

arXiv:2606.12217v1cs.CV

예측을 행동으로: 월드 액션 모델에서의 표현 정렬 재활용

Making Foresight Actionable: Repurposing Representation Alignment in World Action Models

월드 액션 모델(WAM)은 비디오 생성 모델을 활용하여 미래 장면의 변화를 모델링한 후 제어 행동을 생성하는 방식으로 로봇 조작에 유망한 접근법을 제시한다. 그러나 우리의 실험적 관찰은 하나의 현상을 드러낸다: 그럴듯한 시각적 미래를 생성하는 것이 항상 정확한 행동 추출을 보장하지는 않는다. 이 실패를 진단하기 위해 우리는 액션 헤드 어텐션 분석과 인과 개입을 수행한다. 액션 디코더가 과제 관련 상호작용 영역에 집중하지 못하고 과제 무관 영역의 섭동에 민감하게 반응한다는 사실을 발견한다. 이는 표현 불일치를 드러낸다: 시각적 복원에 최적화된 은닉 상태가 저수준 행동 제어에 유용한 형태로 본질적으로 구성되지 않는다는 것이다. 본 논문에서 우리는 AGRA, 즉 행동 기반 표현 정렬(Action-Grounded Representation Alignment) 목적함수를 제안한다. AGRA는 중간 비디오 확산 피처를 기반 시각 인코더의 공간적으로 일관된 의미 표현과 정렬함으로써 월드-액션 인터페이스를 정규화한다. 우리는 실제 환경의 조작 과제에서 AGRA를 평가한다. 실험 결과, AGRA는 월드 모델 표현을 더 행동 기반으로 만든다는 것을 보인다: 액션 디코더가 올바른 상호작용 영역에 집중하도록 하여 객체 위치 파악 정확도와 어포던스 이해를 향상시키고, 과제 무관 영역의 섭동에 대해 정책을 더 강건하게 만든다. 결과적으로, AGRA는 기준선 월드 액션 모델 대비 분포 내 성능과 분포 외 일반화 모두에서 일관되게 향상된 결과를 보인다.

arXiv:2606.11573v1cs.CV

일반화 가능한 3D 인식을 위한 교차 센서 특징 변화 이해

Understanding Cross-Sensor Feature Variations for Generalizable 3D Perception

레이더-카메라 BEV(Bird's-Eye-View) 인식은 데이터셋 간 평가 시 성능 저하를 겪는 경우가 많은데, 이는 주행 장면, 센서 구성, 환경 조건의 변화가 입력 관찰값과 내부 융합 표현 모두를 변경할 수 있기 때문입니다. 본 연구는 소스 도메인 변화 모델링 관점에서 이 문제를 연구하며, 타겟 도메인 샘플에 의존하지 않고 BEV 기반 3D 탐지기의 강건성을 향상시키는 것을 목표로 합니다. 우리는 주파수 영역에서 시각적 장면 변화를 특성화하고 이를 사용하여 다양한 소스 도메인 뷰를 합성하는 프레임워크를 제안합니다. 결과적으로 융합된 BEV 표현을 비교함으로써, 해당 프레임워크는 이미지 수준의 변화가 멀티모달 BEV 특징에 어떤 영향을 미치는지 추가로 포착합니다. 이러한 변화 패턴은 탐지기를 정규화하는 데 사용되어, 학습된 융합 공간이 잠재적인 장면 변화 하에서도 안정적으로 유지되도록 유도합니다. 제안된 방법은 학습(training) 중에만 적용되며 추론(inference) 파이프라인은 변경되지 않습니다. View-of-Delft와 TJ4DRadSet 간의 교차 데이터셋 레이더-카메라 3D 탐지에 대한 실험은 여러 BEV 융합 백본에 걸쳐 일관된 개선을 보여주며, 소량의 타겟 도메인 데이터가 사용 가능할 때도 이러한 개선 효과는 유효합니다.

arXiv:2604.13326v2cs.CV

올바른 영역, 잘못된 레이블: 상관관계 이동 하에서의 세그멘테이션 의미론적 레이블 플립

Right Regions, Wrong Labels: Semantic Label Flips in Segmentation under Correlation Shift

머신러닝 모델의 강건성은 입력 데이터의 비인과적 특성과 타겟 레이블 사이의 허위 상관관계(spurious correlation)에 의해 저하될 수 있다. 이러한 상관관계를 검증하는 일반적인 방법은 레이블이 특정 비인과적 단서와 강하게 연결된 데이터로 학습한 후, 그 연결이 더 이상 성립하지 않는 예시에서 평가하는 것이다. 이 아이디어는 분류 태스크에서 잘 정립되어 있으나, 시맨틱 세그멘테이션에서의 구체적인 실패 양상은 아직 충분히 이해되지 않았다. 본 논문에서는 객체 경계가 대부분 올바르더라도 모델이 하나의 그럴듯한 전경 클래스를 다른 클래스로 교체하는 방식으로, 즉 잘못된 의미론적 레이블을 할당하면서도 합리적인 겹침(overlap)을 달성할 수 있음을 보인다. 우리는 이러한 의미론적 레이블 플립(label-flip) 동작에 집중하고, 정답 전경 픽셀이 전경으로 예측된 상태를 유지하면서 잘못된 전경 클래스로 할당되는 빈도를 측정하는 간단한 진단 지표(Flip)로 이를 정량화한다. 학습 중 카테고리와 장면이 상관되는 설정에서, 상관관계가 증가할수록 일반 테스트 조건과 희귀 테스트 조건 간의 격차가 일관되게 벌어지고, 반사실적(counterfactual) 그룹에서 객체 내 레이블 교체가 증가함을 확인한다. 종합적으로, 본 연구의 결과는 전경 오류를 올바른 픽셀, 플립된 클래스 픽셀, 배경으로 누락된 픽셀로 분해함으로써 겹침 지표를 넘어선 분포 이동(distribution shift) 하에서의 세그멘테이션 강건성 평가의 필요성을 촉구한다. 또한 전경 클래스 불확실성으로부터 계산되며 정답 레이블이 필요 없는 엔트로피 기반의 '플립 위험(flip-risk)' 점수를 제안하고, 이것이 추론 시점에 플립이 발생하기 쉬운 케이스를 표시할 수 있음을 보인다. 코드는 https://github.com/acharaakshit/label-flips 에서 제공된다.

arXiv:2506.17137v3cs.CV

도메인 간 카운팅을 위한 조건부 특징 정렬(Conditional Feature Alignment) 방향

Towards Conditional Feature Alignment for Cross-Domain Counting

객체 카운팅 모델은 도메인 간 배포 시 밀도 구성(density composition)이 도메인마다 다르고 이 자체가 작업과 관련이 있기 때문에 성능이 저하되는 경우가 많습니다. 표준 특징(feature) 정렬 방법은 전역적인 도메인 불변성(global domain invariance)을 장려하여 이러한 변이를 억제하는 경향이 있으며, 이는 소스(source) 및 타겟(target) 도메인이 배경(background), 희소 전경(sparse foreground), 밀집 전경(dense foreground)의 비율이 다를 때 해로울 수 있습니다. 우리는 전체 주변 특징(marginal feature) 분포가 아닌 레이블 유도 조건 내에서 표현(representation)을 정렬하는 도메인 간 카운팅 프레임워크인 조건부 특징 정렬(Conditional Feature Alignment, CFA)을 제안합니다. 밀도 주석(density annotations) 또는 의사 밀도(pseudo-density) 예측이 주어지면, CFA는 전경/배경 또는 밀도 수준 조건을 구성하고 일치하는 조건에 속하는 특징만 정렬합니다. 우리는 조건부 발산(conditional divergence) 관점에서 이 아이디어를 형식화하여, 조건부 정렬이 조건-주변 밀도 이동(condition-marginal density shift)을 보존하면서 조건 내 불일치(within-condition discrepancy)를 제거함을 보여줍니다. 비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)의 경우, CFA는 주석에서 소스 조건을 추정하고 분리된(detached) 의사 밀도 맵에서 타겟 조건을 추정한 다음, 전체 이미지 일관성 정규화(full-image consistency regularisation)와 함께 조건별 적대적 정렬을 수행합니다. 소스 도메인 일반화(Source-Domain Generalisation, DG)의 경우, 생성된 소스 도메인 뷰 간에 조건별 메모리 일관성(condition-wise memory-consistency)을 강제하여 MPCount를 사용하여 동일한 원칙을 구현합니다. 군중 및 세포 카운팅 벤치마크에 대한 실험은 다양한 UDA 및 DG 설정에서 경쟁력 있거나 향상된 성능을 보여줍니다. 예를 들어, JHU-CROWD++ FH$\rightarrow$SN에서 CFA-DG는 MAE/RMSE를 MPCount의 216.3/421.4에서 90.5/169.9로 감소시켜, 조건별 정렬이 큰 날씨 및 밀도 유발 변화(weather- and density-induced shifts) 하에서 특히 효과적임을 나타냅니다. 이러한 결과는 조건별 정렬이 도메인 적응 카운팅(domain-adaptive counting)을 위한 유망한 설계 원칙임을 시사합니다.

arXiv:2405.06995v4cs.SD

도메인 간 오디오-비주얼 기만 탐지 벤치마킹

Benchmarking Cross-Domain Audio-Visual Deception Detection

자동화된 기만 탐지는 사람이 진실성을 정확하게 평가하고 기만 행동을 식별하는 데 도움을 주는 데 있어 중요합니다. 폴리그래프 장치와 같은 기존의 접촉 기반 기술은 개인의 진술 진위 여부를 판단하기 위해 생리 신호에 의존합니다. 그럼에도 불구하고, 자동화된 기만 탐지의 최근 발전은 오디오 및 비디오 모달리티에서 모두 파생된 멀티모달 특징이 공개적으로 이용 가능한 데이터셋에서 인간 관찰자보다 우수한 성능을 발휘할 수 있음을 입증했습니다. 이러한 긍정적인 결과에도 불구하고, 다양한 시나리오에서 기존 오디오-비주얼 기만 탐지 접근 방식의 일반화 능력은 아직까지 거의 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 이러한 방법들이 실제 시나리오에서 얼마나 잘 일반화되는지 평가할 수 있는 최초의 도메인 간 오디오-비주얼 기만 탐지 벤치마크를 제시합니다. 벤치마킹을 위해 널리 채택된 오디오 및 비주얼 특징과 다양한 아키텍처를 사용하여, 단일 대 단일(single-to-single) 및 다중 대 단일(multi-to-single) 도메인 일반화 성능을 비교했습니다. 학습을 위해 여러 소스 도메인의 데이터를 사용하는 영향을 더욱 활용하기 위해, 다중 대 단일 도메인 일반화 평가를 위해 도메인 동시(domain-simultaneous), 도메인 교대(domain-alternating), 도메인 순차(domain-by-domain)를 포함한 세 가지 유형의 도메인 샘플링 전략을 조사했습니다. 또한, 모달리티 인코더 간의 그래디언트 내적을 최대화하여 일반화 성능을 향상시키는 'MM-IDGM'이라는 알고리즘을 제안합니다. 더불어 성능을 향상시키기 위해 Attention-Mixer 융합 방법을 제안했으며, 이 새로운 도메인 간 벤치마크가 오디오-비주얼 기만 탐지 분야의 향후 연구를 촉진할 것으로 믿습니다.

arXiv:2606.11915v1cs.SD

호흡음 분류를 위한 품질 적응형 각도 마진 학습

Quality Adaptive Angular Margin Learning for Respiratory Sound Classification

녹음 품질에 따라 각도 마진(angular margin)을 적응적으로 조정하여 호흡음 분류의 특징 일반화를 개선하는 QLung 프레임워크를 제안한다. 이 방법은 ICBHI 데이터셋(dataset)에서 성능을 향상시켰으며, SPRSound 데이터셋에서 기존 최첨단 방법론보다 우수한 분포 외(OOD) 성능을 달성했다.

arXiv:2606.11637v1cs.AI

TouchThinker: 대규모 데이터와 행동 인식 표현을 통한 오픈 월드 촉각 상식 추론 확장

TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation

촉각 상식 추론의 오픈 월드 확장을 위해 대규모 데이터셋과 액션 인지 표현 학습 메커니즘을 갖춘 TouchThinker 프레임워크를 제안한다. 100만 개 규모의 데이터셋 구축과 효율적인 표현 모델링을 통해 다양한 데이터셋에서 최첨단 성능을 달성했다.

arXiv:2307.01472v2cs.AI

오프라인 다중 에이전트 강화학습에서 확산을 활용한 일반화 및 데이터 효율성 향상

Improving Generalization and Data Efficiency with Diffusion in Offline Multi-agent RL

오프라인 다중 에이전트 강화학습(Offline MARL)을 위해 확산 모델(diffusion model)을 정책 네트워크에 통합하고 궤적 기반 데이터 재가중치 기법을 적용한 DOM2를 소개한다. 해당 방법은 기존 최첨단 방법론 대비 환경 변화에 대한 강건성, 일반화 성능, 그리고 데이터 효율성을 획기적으로 개선했다.

arXiv:2606.07017v1cs.AI

파운데이션 모델 에이전트의 Sim-to-Real 격차: 통합된 마르코프 결정 과정 관점

The Sim-to-Real Gap of Foundation Model Agents: A Unified MDP Perspective

파운데이션 모델 에이전트는 실제 환경에서의 의사결정을 위해 점점 더 많이 배포되고 있지만, Sim-to-Real 격차로 인해 어려움을 겪고 있습니다. 로봇공학 및 고전 제어 분야에서는 이러한 격차를 해결하기 위한 성숙한 프레임워크가 존재하지만, 파운데이션 모델 커뮤니티는 에이전트 강건성(robustness)을 전적으로 새로운 현상으로 다루고 있습니다. 본 논문은 파운데이션 모델 에이전트의 평가 및 학습 간의 격차를 관찰(Observation), 행동(Action), 전이(Transition), 보상(Reward)을 포함한 마르코프 결정 과정(MDP)의 4가지 요소를 중심으로 구조화된 고전적인 Sim-to-Real 문제로 공식화할 것을 제안합니다. 본 논문에서는 고전적인 불일치를 파운데이션 모델 도메인으로 변환하고 도메인 무작위화(domain randomization)와 같은 확립된 솔루션의 채택을 옹호하는 포괄적인 연구 의제를 설정합니다. 우리는 다국어 도구 호출과 같은 구체적인 예를 통해, 올바른 의미적 의도에도 불구하고 심각한 관찰 공간(observation space) 격차가 작동적으로 유효하지 않은 행동으로 이어지는 방식을 보여줍니다. 궁극적으로, 이 의제는 패러다임의 전환을 주도하여 신뢰할 수 있는 실제 환경 애플리케이션을 위한 고도로 신뢰할 수 있는 에이전트의 새로운 세대를 육성하기 위해 통합된 어휘와 표준화된 스트레스 테스트 벤치마크를 생성하는 것을 목표로 합니다.