PyTorchKR Papers

업데이트된 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12818v3cs.CV

데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사

Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.

arXiv:2511.01390v3cs.CV

SEPS: 세밀한 크로스-모달 정렬을 위한 의미 강화 패치 슬리밍 프레임워크

SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment

비전과 언어 간 정보 밀도 불균형으로 인한 패치 중복성과 모호성(Semantic Sparsity Bias) 문제를 해결하기 위해, MLLM이 생성한 밀도 높은 텍스트 앵커와 희소 캡션을 이중 세분화 의미 보정(Dual-Granularity Semantic Calibration) 메커니즘으로 결합해 핵심 시각 패치를 선별하는 SEPS 프레임워크를 제안한다. Flickr30K 및 MS-COCO 데이터셋 실험에서 기존 방법 대비 rSum 기준 23–86% 향상된 성능을 달성했다.

arXiv:2606.19882v2cs.CV

멀티모달 컨셉 병목 모델

Multimodal Concept Bottleneck Models

개념 병목 모델(Concept Bottleneck Models, CBM)은 이미지에서 추출한 특징을 사람이 해석할 수 있는 개념과 정렬함으로써 심층 신경망의 해석 가능성을 높인다. 그러나 기존 CBM은 일반적으로 개념 활성화를 미리 정의된 고정 클래스 집합에 매핑하는 선형 분류기를 사용하여 개방형 어휘 환경에서의 유연성이 제한된다. 본 논문에서는 이러한 문제를 해결하고 CBM을 CLIP 구조로 확장하기 위해 멀티모달 개념 병목 모델(Multimodal Concept Bottleneck Model, MM-CBM)을 제안한다. MM-CBM은 이중 개념 병목 계층(Concept Bottleneck Layers, CBL)을 활용하여 이미지와 텍스트 임베딩을 모두 해석 가능한 특징으로 정렬한다. 이를 통해 제로샷 분류나 이미지 검색과 같은 새로운 비전 작업을 해석 가능한 방식으로 수행할 수 있다. 기존 방법과 비교하여 MM-CBM은 네 가지 표준 벤치마크 전반에서 평균 23.28%의 정확도 향상을 달성한다. 본 방법은 해석 가능성을 제공하면서도 블랙박스 CLIP 모델과 경쟁력 있는 성능을 유지한다. 분류 작업에서 MM-CBM의 정확도는 대상 데이터셋 적응 설정에서 CLIP보다 평균 3.94%, 제로샷 전이 설정에서 9.84% 낮다. 이미지-텍스트 검색 작업에서는 이미지 검색에서 평균 2.48%, 텍스트 검색에서 9.22%의 격차를 보인다.

arXiv:2512.04888v5cs.CV

ZeBROD: 재학습 없는 인식 및 객체 검출 프레임워크

ZeBROD: Zero-Retraining Based Recognition and Object Detection Framework

객체 검출(object detection)은 컴퓨터 비전(CV) 분야에서 핵심적인 과제이며 수많은 영역에서 활용되고 있다. 그럼에도 불구하고 객체 검출은 치명적 망각(catastrophic forgetting) 문제에 지속적으로 직면하고 있다. 새로운 상품이 도입될 때마다 모델은 신규 상품 데이터셋뿐만 아니라 기존 전체 데이터셋까지 활용하여 재학습되어야 한다. 그 결과 모델 학습 비용이 증가하고 상당한 시간이 소모되는 것은 명백하다. 특히 소매점 결제와 같은 여러 분야에서는 신규 상품의 잦은 출시가 큰 난제로 작용한다. 본 연구에서는 객체 위치 추정을 위한 YOLO11n과 특징 추출 및 거리 학습(metric learning)을 위한 DeiT 및 Proxy Anchor Loss를 결합하여 치명적 망각 문제를 해결하도록 설계된 방법론인 ZeBROD(Zero-Retraining Based Recognition and Object Detection)를 소개한다. 분류를 위해 대상 상품의 임베딩 특징과 Qdrant 벡터 데이터베이스 내 임베딩 특징 간의 코사인 유사도를 활용한다. 140개 상품을 취급하는 소매점에서 수행된 사례 연구에서, 실험 결과는 제안된 프레임워크가 신규 상품과 기존 상품의 검출 모두에서 고무적인 정확도를 달성함을 보여준다. 아울러 재학습을 수행하지 않으므로 학습 소요 시간 차이가 현저하다. 우리는 기존 객체 검출 접근 방식과 비교하여 거의 3배에 달하는 학습 시간 효율성을 달성했다. 이러한 효율성은 상품 데이터베이스에 새로운 상품이 추가될수록 더욱 증대된다. 엣지 기기에서 여러 상품이 포함된 이미지당 평균 추론 시간은 580ms로 나타나 제안된 프레임워크의 실용적 활용 타당성을 검증한다.

arXiv:2403.11207v3cs.CV공식 코드 · Papers with Code

MindEye2: 피험자 공유 모델로 1시간의 데이터만으로 fMRI에서 이미지 복원

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

뇌 활동으로부터 시각 지각을 재구성하는 기술은 크게 향상되었으나, 이러한 방법의 실용성은 제한적이었다. 이는 이러한 모델이 피험자별로 독립적으로 학습되며, 각 피험자가 고품질 결과를 얻기 위해 수십 시간에 달하는 고비용 fMRI 학습 데이터를 필요로 하기 때문이다. 본 연구는 단 1시간의 fMRI 학습 데이터만으로 고품질 재구성을 달성함을 보인다. 7명의 피험자에 걸쳐 모델을 사전학습한 뒤, 새로운 피험자의 최소한의 데이터로 미세조정한다. 새로운 기능적 정렬 절차는 모든 뇌 데이터를 피험자 공유 잠재 공간으로 선형 사상하고, 이어서 공유된 비선형 사상을 통해 CLIP 이미지 공간으로 매핑한다. 그다음 Stable Diffusion XL이 텍스트 대신 CLIP 잠재 벡터를 입력으로 받도록 미세조정하여 CLIP 공간에서 픽셀 공간으로 매핑한다. 이 접근법은 제한된 학습 데이터에서 피험자 외 일반화를 향상시키며, 단일 피험자 접근법과 비교하여 최첨단 이미지 검색 및 재구성 지표도 달성한다. MindEye2는 MRI 시설을 한 번 방문하는 것만으로도 지각의 정확한 재구성이 가능함을 보여준다. 모든 코드는 GitHub에서 공개되어 있다.