arXiv:2310.13674

Using Human-like Mechanism to Weaken Effect of Pre-training Weight Bias in Face-Recognition Convolutional Neural Network

Haojiang Ying, Yi-Fan Li, Yiyang Chen

제출 2023-10-20

원문 초록

Convolutional neural network (CNN), as an important model in artificial intelligence, has been widely used and studied in different disciplines. The computational mechanisms of CNNs are still not fully revealed due to the their complex nature. In this study, we focused on 4 extensively studied CNNs (AlexNet, VGG11, VGG13, and VGG16) which has been analyzed as human-like models by neuroscientists with ample evidence. We trained these CNNs to emotion valence classification task by transfer learning. Comparing their performance with human data, the data unveiled that these CNNs would partly perform as human does. We then update the object-based AlexNet using self-attention mechanism based on neuroscience and behavioral data. The updated FE-AlexNet outperformed all the other tested CNNs and closely resembles human perception. The results further unveil the computational mechanisms of these CNNs. Moreover, this study offers a new paradigm to better understand and improve CNN performance via human data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24422v1cs.CV공통 태그 Transfer Learning, Face Recognition

IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회

IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.

arXiv:2607.22071v1cs.CV공통 태그 Transfer Learning, Face Recognition

ReCowGnition: 소 얼굴 인식을 위한 현실적인 생체인식 벤치마크

ReCowGnition: A Realistic Biometric Benchmark for Cow Face Recognition

정밀 축산(precision livestock farming)의 발전과 컴퓨터 비전(CV)의 진보로 시각적 동물 생체인식(visual animal biometrics)이 주목받고 있다. 인간에게 효과가 입증된 생체인식 기술을 가축 식별에 활용하면 동물 복지와 생산 효율을 모두 높일 수 있다. 그러나 복잡한 시나리오, 유사한 외모, 가림(occlusion), 비협조적 행동과 같은 과제, 그리고 공개적으로 이용 가능한 레이블 데이터셋의 제한된 양 등의 문제가 남아 있다. 본 연구에서는 낙농장에서 161두의 서로 다른 소에 대한 6,838장의 이미지를 현실적인 자동화 시나리오에서 수집한, 새롭고 공개적으로 이용 가능한 소 얼굴 벤치마크 데이터셋을 기여한다. 공개 데이터셋 외에도, 소 인식 연구 분야에서 비교 가능한 연구를 촉진하기 위해 2개의 검증(verification) 및 4개의 식별(identification) 평가 프로토콜을 정의한다. 또한 제한된 데이터로 학습된 모델, 종간(cross-species) 파인튜닝(fine-tuning) 모델, 제로샷(zero-shot) 파운데이션 모델 접근법을 포함하는 6개의 벤치마크 모델에 대한 데이터셋 평가 결과를 제공한다.

arXiv:2609.07780v3cs.CV공통 태그 Transfer Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2607.22117v2cs.CV공통 태그 Transfer Learning

도메인 일반화를 위한 Projection Pursuit CPCANet

Projection Pursuit CPCANet for Domain Generalization

도메인 일반화(DG)는 분포 변화에 강건한 표현을 학습하는 것을 목표로 한다. CPCANet과 같은 최근의 기하학적 정렬 방법들은 배치 단위 공통 주성분 분석(CPCA)을 통해 도메인 불변 구조를 추출한다. 그러나 CPCANet은 미니배치 학습에서의 소표본 문제로 인해 계수 결손(rank-deficient) 공분산 추정의 한계를 겪는다. 이 한계를 해결하기 위해, 우리는 Stiefel 다양체 위에서 전역 직교 기저를 학습하고 Cayley 변환을 통해 네트워크 파라미터와 함께 공동 최적화하는 공분산-무(covariance-free) 프레임워크인 Projection Pursuit CPCANet(PP-CPCANet)을 제안한다. 또한 우리는 밀집하고 강건한 최적화 신호로 공통 주성분(CPC)을 추출하기 위해 대칭성 깨기(symmetry-breaking) 분리-중앙값(detached-median) PP 분산(dispersion) 목적함수를 도입한다. 4개의 DG 벤치마크에서의 실험은 PP-CPCANet이 안정적인 학습을 유지하면서 SOTA 성능을 달성함을 보여준다.

arXiv:2609.24937v3cs.CV공통 태그 Transfer Learning

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2609.25722v3cs.LG공통 태그 Transfer Learning

부호 그래프 사전학습 및 프롬프트 학습

Signed Graph Pre-Training and Prompt Learning

부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.