PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13986v1cs.CV

다중 과업 정서 행동 분석을 위한 과업별 특징 융합 방법

Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis

11th Affective Behavior Analysis in-the-wild(ABAW11) 다중 과업 학습 챌린지는 공식 s-Aff-Wild2 이미지로부터 valence-arousal, 범주형 표정(categorical expressions), 얼굴 action unit을 예측하는 통합 시스템을 요구한다. 이러한 과업들은 얼굴 행동을 통해 자연스럽게 연관되어 있지만, 검증 실험 결과 서로 다른 시각적 특징, 시간적 처리 전략, 융합 메커니즘, 보정 절차로부터 이점을 얻는 것으로 나타났다. 본 논문에서는 ABAW11 다중 과업 정서 행동 분석을 위한 과업 적응형 특징 융합을 연구한다. 먼저 두 사전학습 시각 백본인 DINOv2 ViT-L 및 DINOv3 ConvNeXt-base를 외부 표현 지향 얼굴 이미지 세트에서 적응한 뒤 고정하여, 공식 ABAW11 데이터로부터 상보적인 프레임 수준 특징을 추출한다. 이 고정된 특징 위에 프레임 수준 예측 헤드, 시간적 합성곱 헤드, 사후 시간적 스무딩, LightGBM 모델, 특징 연결, 게이트 융합, 잔차 융합, 후기 로짓 융합, 임계값 보정, 공유 MTL 구조를 체계적으로 비교한다. 최종 시스템은 모든 과업이 단일 아키텍처를 공유하도록 강제하지 않고, 과업별 융합 및 예측 전략을 선택한다. ABAW11 검증 세트에서 선택된 시스템은 EXPR macro-F1 0.4222, AU macro-F1 0.5402, 평균 VA CCC 0.6717을 달성하여 전체 검증 점수 1.6341을 기록했다. 결과는 고정된 시각적 특징의 과업 적응형 융합이 ABAW 스타일 다중 과업 정서 행동 분석을 위한 단순하면서도 효과적인 전략임을 시사한다.

arXiv:2607.11096v1cs.CV

차분 기반 게이팅: U-Net 디코더를 위한 적응적 특징 융합

Difference-Driven Gating: Adaptive Feature Fusion for U-Net Decoder

U-Net 스타일 모델은 다양한 응용 분야에서 널리 사용되어 왔다. 이 모델들의 핵심 단계는 탑다운(top-down) 디코더를 사용하여 저수준 특징을 재구성하는 것이다. 이 재구성에는 고수준 의미 정보와 저수준 세부 정보의 정밀한 융합이 요구된다. 기존의 어텐션 기반 융합 방법들은 일반적으로 탑다운 디코더 특징(전역)만으로부터 어텐션 가중치를 도출하거나, 탑다운 디코더 특징과 바텀업(bottom-up) 인코더 특징 간의 상관관계(지역)로부터 어텐션 가중치를 도출한 뒤, 이 가중치를 사용하여 인코더 특징을 조절한다. 본 연구에서는 두 특징 스트림 간의 차분으로부터 어텐션 가중치를 도출하는 새로운 패러다임을 탐구한다. 이를 위해 두 가지 차분 기반 게이팅 방법을 제안한다: 전역 특징과 지역 특징 간의 절댓값 차분을 직접 사용하여 적응적 게이팅 맵을 생성하는 특징 차분 게이팅(FDG, Feature-difference Gating)과, 정보 엔트로피를 통해 각 스트림의 표현 확실성을 측정하고 부호화된 엔트로피 차분으로부터 어텐션 가중치를 도출하는 엔트로피 차분 게이팅(EDG, Entropy-difference Gating)이다. 두 방법 모두 전역 특징과 지역 특징을 동시에 조절하는 결합된 게이팅 맵을 생성한다. 의료 이미지 분할, 원격 감지 이미지 구름 제거, 음성 분리를 포함한 다양한 태스크에 대한 실험 결과, 두 방법 모두 기존의 어텐션 기반 융합 방법을 능가하였으며, EDG가 더 우수한 성능을 보였다. 이 결과는 U-Net 스타일 구조에서의 다중 스케일 특징 융합을 위한 새로운 패러다임을 제시한다.

arXiv:2606.26712v1eess.IV

MLFFM-SegDiff: 피부 병변 분할을 위한 다중 수준 특징 융합 확산 모델

MLFFM-SegDiff: A Multi-Level Feature Fusion Diffusion Model for Skin Lesion Segmentation

피부경 영상의 흐릿한 경계와 아티팩트로 인한 분할 한계를 줄이기 위해 MLFFM-SegDiff는 확산 기반 프레임워크에 이중 경로 U-Net 인코더, 다중 수준 특징 융합 모듈(MLFFM), 경계 민감 손실을 결합해 수준 간 특징 상호작용과 경계 복원을 강화한다. ISIC2018, PH2, HAM10000에서 DermoSegDiff, U-Net, SwinUNETR 등을 능가하며 평균 Jaccard index 0.8546, Dice 계수 0.9207을 달성했다.

arXiv:2606.12628v1cs.CV

자율 주행에서 공존 객체 검출을 위한 맥락 인식 특징 융합

Context-Aware Feature-Fusion for Co-occurring Object Detection in Autonomous Driving

자율 주행에서 객체 검출은 정밀한 위치 추정과 공존 객체 간의 관계형 맥락에 대한 본질적인 이해가 필요합니다. 극도로 복잡하고 이질적인 환경에서는 희소 클래스, 소형 객체, 빈번하게 등장하는 객체를 표준 객체 검출 프레임워크가 처리하기 어렵습니다. 본 논문에서는 Context-Centric Feature Fusion (CCFF)라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 두 가지 어텐션 기반 모듈을 활용합니다. Local Context Fusion Module (LCFM)은 RoI-to-RoI 셀프 어텐션 메커니즘을 사용하여 공간적 상호작용을 해결하며, 주로 소형 객체와 부분적으로 가려진 객체를 고려합니다. Global Context Attention Module (GCAM)은 상위 K개 RoI 특징을 글로벌 맥락 어텐션 토큰으로 풀링하여 객체 공존 사전 정보를 변환함으로써 픽셀 수준 글로벌 풀링의 계산 오버헤드를 피합니다. 로컬 및 객체 중심 글로벌 특징의 이러한 융합은 분류 결과와 공존 객체 검출을 향상시키는 맥락화된 임베딩을 산출합니다. 우리의 방법은 Cityscapes와 BDD100K 두 데이터셋에서 평가되었으며, 관계형 일관성에서 상당한 개선을 보여 각각 0.973과 0.969의 Category-level Consistency Strategy (CCS)를 달성했습니다. 또한, 우리의 접근 방식은 소형 객체 검출에서 상당한 이득(AP_S: 14.1%)을 내며, 일반적으로 대규모 분포에서 손실되는 "Train"과 같은 희소 클래스를 성공적으로 복원합니다. 효율성 보고서에 따르면, 해당 프레임워크는 0.2 FPS 오버헤드만으로 이미지를 실시간으로 처리합니다. 코드는 https://github.com/BinayKSingh/CCFF에서 확인할 수 있습니다.