PyTorchKR Papers

업데이트된 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.27101v3cs.CV

PRUE: 대규모 농경지 경계 분할을 위한 실용적인 레시피

PRUE: A Practical Recipe for Field Boundary Segmentation at Scale

대규모 농경지 경계 지도는 농업 모니터링 작업에 필수적입니다. 위성 기반 농경지 매핑을 위한 기존 심층 학습(deep learning) 접근법은 조도, 공간 규모 및 지리적 위치 변화에 민감합니다. 본 연구에서는 Fields of The World (FTW) 벤치마크를 활용하여 전 세계 농경지 경계 획정을 위한 분할 및 지구공간 파운데이션 모델(GFM)에 대한 최초의 체계적 평가를 수행합니다. 통일된 실험 환경에서 18개 모델을 평가한 결과, U-Net 의미론적 분할(semantic segmentation) 모델이 일련의 성능 및 배포 지표에서 인스턴스 기반 모델 및 GFM 대안들보다 우수한 성능을 보임을 확인했습니다. 이에 따라 본 논문에서는 실제 환경에서의 성능과 강건성을 향상시키기 위해 U-Net 백본, 복합 손실(loss) 함수, 맞춤형 데이터 증강을 결합한 새로운 분할 접근법을 제안합니다. 제안 모델은 FTW에서 이전 기준선(baseline) 대비 각각 6%와 9% 향상된 76% IoU 및 47% object-F1을 달성합니다. 본 접근법은 모델 설계, 학습(training), 추론(inference) 전반에 걸쳐 신뢰할 수 있고 확장 가능하며 재현 가능한 농경지 경계 획정을 위한 실용적인 프레임워크를 제공합니다. 모든 모델과 5개국에 대해 모델로부터 도출된 농경지 경계 데이터셋을 공개합니다.

arXiv:2607.09583v2cs.CV

위에서 본 프롬프트 기반 개념 분할: 원격 탐사에서 SAM 3의 제로샷 텍스트 및 시각 프롬프팅 평가

Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing

Segment Anything Model 3(SAM 3)와 같은 대규모 파운데이션 모델은 개방형 어휘와 무학습 컴퓨터 비전으로의 전환을 약속한다. 그러나 이러한 모델이 지구 관측 영상의 하향식 기하 구조라는 분포 외 영역으로 일반화하는 능력은 아직 거의 정량화되지 않았다. 우리는 미세 조정 없이 원격 탐사 장면 분류, 객체 탐지, 인스턴스 분할에 걸쳐 SAM 3를 다중 과제로 경험적으로 평가한다. 장면 분류에서는 분리된 이진 존재 헤드(binary presence head)를 독립적인 제로샷 분류기로 재활용한다. 탐지와 분할에서는 텍스트 프롬프트와 시각 프롬프트를 비교하며, 여기서 시각 프롬프트는 분할 대상 이미지 안에 있는 목표 클래스의 실제 인스턴스 하나를 제시한다. 텍스트만 사용하면 성능이 낮고, 시각 프롬프트를 추가하면 정확도가 크게 오르며, 둘을 결합하면 과제에 따라 정확도가 오르기도 하고 내리기도 한다. 또한 동일한 평가 프로토콜에서 SAM 3의 텍스트 전용 성능을 여러 일반 도메인 개방형 어휘 탐지 및 분할 모델과 비교한 결과, 두 벤치마크 모두에서 모든 모델을 앞선다. 그럼에도 시각 프롬프트가 없을 때의 정확도는 여전히 제한적이며, 이는 향후 연구 방향으로서 매개변수 효율적 미세 조정의 필요성을 시사한다.

arXiv:2406.10891v4cs.CV공식 코드 · Papers with Code

스푸마토 지도: 잡음 레이블을 이용한 인스턴스 분할 학습

Sfumato Supervision: Learning Instance Segmentation with Noisy Labels

인스턴스 분할에는 정밀한 물체 마스크가 필요하지만, 사람 주석자와 프롬프트 기반 모델 모두 신뢰할 수 없는 윤곽선을 만들어낼 수 있다. 윤곽선 근처의 높은 예측 손실이 반드시 주석 오류를 의미하는 것은 아니며, 유효한 경계도 불확실할 수 있다. 대상과 주변 사이의 전이를 부드럽게 하는 레오나르도 다 빈치의 \emph{스푸마토}에서 영감을 받아, 본 논문은 \textbf{\texttt{CB-LNL} (Copula-Boundary Learning with Noisy Labels)}를 제안한다. CB-LNL은 각 윤곽선 픽셀을 개별적으로 판단하는 대신, 마스크 내부의 전경 증거와 외부의 배경 증거를 결합하여 국소 지도와 주석 수정을 유도한다. 우리는 짝지어진 COCO와 LVIS 주석에 대한 감사(audit)에 이 접근법의 근거를 두고, 사람 주석, 약한 프롬프트의 SAM2 마스크, 자연 및 주행 장면에서의 통제된 오염을 포괄하는 벤치마크를 도입한다. 통제된 비교 결과, 절차적으로 생성된 윤곽선 잡음에 대한 학습이 개선되었으며 교사 마스크를 직접 대체하는 방식보다 해로운 수정이 적었다. 짝지은 시드 평가와 고정 예측 평가는 이러한 이점이 주석 출처에 따라 어떻게 달라지는지를 보여 주며, 범주 신뢰도와 윤곽선 신뢰도를 분리하여 평가해야 함을 뒷받침한다.

arXiv:2111.13630v3eess.IV공식 코드 · Papers with Code

낮은 GPU 메모리 요구량의 SpatialConfiguration-Net을 이용한 효율적인 다중 장기 분할

Efficient Multi-Organ Segmentation Using SpatialConfiguration-Net with Low GPU Memory Requirements

많은 의료 데이터셋에서 우수한 성능을 보이는 의미론적 분할 방법이 다수 존재하지만, 이들은 임상 현장에서 직접 사용하도록 설계되지 않은 경우가 많다. 주된 문제는 두 가지로, 다른 스캐너로 획득한 영상처럼 시각적 외형이 다른 미지의 데이터에 대한 일반화, 그리고 계산 시간과 필요한 그래픽 처리 장치(GPU) 메모리 측면의 효율성이다. 본 연구에서는 SpatialConfiguration-Net(SCN)을 기반으로 한 다중 장기 분할 모델을 사용하며, 이 모델은 레이블이 지정된 장기 간 공간적 배치에 대한 사전 지식을 통합하여 네트워크 출력의 허위 반응을 해소한다. 또한 예측 품질에 큰 영향을 주지 않는 범위에서 메모리 사용량을 최대한 줄이도록 분할 모델의 구조를 수정하였다. 마지막으로 실행 시간과 필요한 GPU 메모리를 모두 최적화한 최소한의 추론 스크립트를 구현하였다.

arXiv:2106.06801v4cs.CV

클래스별 패치와 실루엣 적응형 일관성을 이용한 대조적 준지도 분할

Contrastive Semi-Supervised Segmentation with Class-wise Patches and Silhouette-Adaptive Consistency

본 논문은 의료 영상 분할을 위한 대조적 준지도 방법인 CSSL을 제시한다. CSSL은 레이블이 있는 영상과 신뢰도 높은 의사 레이블에서 클래스별 패치를 샘플링하고, 혼합된 하드 네거티브를 사용하는 지도 대조 손실로 이들의 임베딩을 분리하며, 임베딩 군집의 실루엣 계수를 이용하여 특징 섭동 일관성 손실의 강도를 설정한다. MoNuSeg에서는 마스킹되지 않은 영상의 인코더 특징에 마스크 풀링을 적용하여 패치 임베딩을 얻고, 핵 가장자리가 추가적인 대조 클래스를 이루며, 메모리 뱅크가 과거 임베딩을 저장한다. CHAOS에서는 패치를 픽셀 단위로 마스킹하며 메모리 뱅크는 사용하지 않는다. CSSL 손실은 약한 증강에서 강한 증강으로 이어지는 의사 레이블링 방식에 추가된다. 기존에 발표된 기준 방법의 프로토콜을 따르며, MoNuSeg에서는 Self-Loop를, CHAOS에서는 DAFNet을 따른다. MoNuSeg에서 레이블 50% 조건일 때 CSSL은 세 가지 레이블 분할에 걸쳐 핵 F1 80.87 $\pm$ 0.17을 달성하였으며, 이는 Self-Loop의 79.10, CSSL을 제외한 동일 방식의 78.73과 비교된다. CHAOS T2에서 레이블 25% 조건일 때 CSSL은 Dice 89.01을 달성하였으며, 이는 DAFNet의 82.0, 해당 방식만 사용한 경우의 88.94와 비교된다. 절제 실험 결과, 대조 분기와, MoNuSeg에서는 경계 클래스와 특징 수준 풀링이 성능 향상의 대부분을 차지함을 보였다. 코드: https://github.com/prinshul/CSSL

arXiv:2607.22698v2cs.CV

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.

arXiv:2605.13674v3cs.CV

의미 기반 정규화로서의 약 지도 분할

Weakly Supervised Segmentation as Semantic-Based Regularization

약 지도 시맨틱 분할(WSSS)은 바운딩 박스, 스크리블(scribbles), 또는 이미지 수준 태그와 같은 불완전하거나 거친 주석으로부터 밀집 픽셀 수준 분할 모델을 학습합니다. 최근 연구는 Segment Anything Model(SAM)과 같은 파운데이션 모델을 활용하여 의사 라벨을 생성하지만, 이러한 접근 방식은 일반적으로 휴리스틱 프롬프트 선택에 의존하며 사전 지식이나 이질적인 라벨을 통합할 수 있는 방법이 제한적입니다. 우리는 뉴로심볼릭(neurosymbolic) 관점을 취하여 이러한 격차를 해결합니다: 미분 가능한 퍼지 논리를 딥러닝 분할 모델과 통합합니다. 약한 주석과 도메인 특화 사전 지식은 연속적 논리 제약 조건으로 통합되어, 약한 지도 하에서 SAM을 미세조정합니다. 이후 개선된 파운데이션 모델은 향상된 의사 라벨을 생성하며, 우리는 이를 통해 2단계 프롬프트 프리(prompt-free) 분할 모델을 학습합니다. Pascal VOC 2012 및 REFUGE2 시신경 유두/컵 분할 데이터셋에 대한 실험 결과, 우리의 논리 기반 미세조정이 더 고품질의 의사 라벨을 생성함을 보여주며, 이는 종종 밀집 지도 기준 모델을 초과하는 최첨단 분할 정확도로 이어집니다.

arXiv:2610.02946v2cs.CV

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

arXiv:2502.10259v4cs.CV공식 코드 · Papers with Code

MITO: 비가시선 인지를 위한 밀리미터파 데이터셋 및 시뮬레이터

MITO: A Millimeter-Wave Dataset and Simulator for Non-Line-of-Sight Perception

세상을 관찰하는 능력은 추론과 환경과의 상호작용에 관한 합리적 의사결정의 기본이다. 그러나 광학적 인지는 가림 현상과 같은 흔한 상황으로 인해 방해받기 쉬우며, 이는 기존 비전 시스템에 어려움을 초래할 수 있다. 본 논문은 UR5 로봇 팔, 서로 다른 주파수에서 동작하는 두 개의 밀리미터파 레이더, RGB-D 카메라를 사용하여 수집한 다양한 일상 물체의 최초 밀리미터파(mmWave) 데이터셋인 MITO를 제시한다. 가시광선과 달리 mmWave 신호는 골판지 상자, 직물, 플라스틱 같은 흔한 가림물을 투과할 수 있다. MITO는 2,400만 개가 넘는 mmWave 프레임을 수집하고, 이를 이용해 76개의 서로 다른 물체에 대해 가시선 및 비가시선(NLOS) 환경의 고해상도 mmWave 이미지 550장과 RGB-D 이미지, 분할 마스크, 원시 mmWave 신호를 생성한다. 또한 임의의 3D 삼각형 메시에 대해 합성 mmWave 이미지를 생성할 수 있는 오픈 소스 시뮬레이션 도구를 개발하였다. 마지막으로, 더 폭넓은 NLOS 인지를 가능하게 하는 본 데이터셋과 시뮬레이터의 유용성을 보이기 위해 NLOS 분할 및 분류 벤치마크를 구축한다.

arXiv:2607.03068v2cs.CV

PixCon: 기반 모델 반지도 분할을 위한 클린-포지티브 대조 학습

PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation

단순한 레이블 픽셀 대조 분기가 강력한 사전학습 인코더를 사용하는 준지도 분할을 개선할 수 있는가? 우리는 UniMatch V2의 DINOv2-Base 구현에 클래스별 메모리 뱅크를 추가한 PixCon으로 이 질문을 연구한다. 이 뱅크는 학생 모델의 예측이 레이블과 일치하는 위치에서만 정답 레이블이 있는 특징을 저장한다. 다중 양성 대조 손실은 이러한 특징을 사용하여 공유 인코더-디코더를 학습시키며, 헤드와 뱅크는 추론 시 폐기된다. 이는 신뢰도 임계값과 학습된 순위 부여를 제거함으로써 기존의 레이블 픽셀 뱅크를 단순화한다. 183개 레이블을 사용한 Pascal VOC에서 PixCon은 짝지어진 세 시드 모두에서 각각 0.20, 0.64, 1.83 mIoU 포인트를 향상시켜 평균을 87.01에서 87.90으로 높인다. 92개 레이블에서는 평균 향상이 0.40 포인트이며, Cityscapes와 ADE20K에서 단일 시드 차이는 -0.08에서 +0.14 포인트 범위이다. 예측 레이블 대조 대조군이 Pascal에서 거의 동일한 정확도에 도달하므로, 이러한 결과는 추가된 분기 자체를 뒷받침할 뿐 정확성 필터에 따른 정확도 이득을 뒷받침하지는 않는다. 정확한 기울기 분해는 잘못 레이블된 양성의 개수와 유사도로 가중된 영향력을 구별한다. 별도의 교사 모델 진단에서는 유지된 픽셀의 오류율이 Pascal에서 1.8%, ADE20K에서 10.6%로 나타난다. 이러한 진단은 학습 중인 뱅크를 측정하거나 최종 정확도를 예측하지는 않는다. PixCon은 측정된 실행에서 반복당 시간을 15.3-19.7% 증가시키며 추론 연산은 추가하지 않는다. 우리는 짝지어진 시드, 학습 비용, 그리고 증거의 한계를 보고한다.

arXiv:2504.15669v5cs.CV

UINO-FSS: 계층적 증류와 Mamba-하이퍼상관을 통한 표현 학습과 퓨샷 분할의 통합

UINO-FSS: Unifying Representation Learning and Few-shot Segmentation via Hierarchical Distillation and Mamba-HyperCorrelation

퓨샷 시맨틱 분할은 소수의 주석 샘플만으로 새로운 객체 범주에 일반화할 수 있다는 점에서 관심이 커지고 있다. 데이터 부족을 해결하기 위해 최근 방법들은 여러 파운데이션 모델을 도입하여 특징 전이성과 분할 성능을 개선한다. 그러나 이들은 상호 보완적인 강점을 활용하기 위해 사전학습된 인코더를 결합한 이중 분기 아키텍처에 의존하는 경우가 많으며, 이러한 설계는 유연성과 효율성을 제한한다. 이는 근본적인 질문을 제기한다. 서로 다른 파운데이션 아키텍처의 지식을 통합하는 단일 모델을 구축할 수 있는가? 그러나 클래스 비의존적 분할 능력과 세밀한 판별적 표현 간의 불일치로 인해 이를 달성하기는 어렵다. 이를 위해 우리는 DINOv2의 초기 단계 특징이 SAM의 출력 임베딩과 분포 일관성을 보인다는 핵심 관찰에 기반한 새로운 프레임워크 UINO-FSS를 제시한다. 이러한 일관성은 조대-정밀(coarse-to-fine) 멀티모달 증류를 통해 두 모델의 지식을 단일 인코더 아키텍처로 통합할 수 있게 한다. 구체적으로, 우리의 분할기는 임베딩 정렬을 위한 병목 어댑터, 조밀한 유사도 볼륨과 시맨틱 임베딩을 활용하는 메타 시각 프롬프트 생성기, 마스크 디코더의 세 가지 핵심 구성요소로 이루어진다. 계층적 모델 간 증류를 사용하여 SAM의 지식을 분할기로 효과적으로 전이하며, 서포트-쿼리 쌍에 대한 Mamba 기반 4D 상관 마이닝으로 이를 더욱 강화한다. PASCAL-5$^i$와 COCO-20$^i$에 대한 폭넓은 실험에서 UINO-FSS는 1-shot 설정에서 새로운 최고 성능을 달성하였으며, PASCAL-5$^i$에서 mIoU 80.6(+3.8%), COCO-20$^i$에서 64.5(+4.1%)를 기록하여 통합 접근법의 효과를 입증한다.

arXiv:2503.00972v5cs.CV

SemICP: 탄성 에너지 정규화를 이용한 의미론적 비강체 점군 정합

SemICP: Semantic Non-Rigid Point Cloud Registration with Elastic Energy Regularization

목적: 정확한 점군 정합은 수술 중 안내를 위해 다중 모달 의료 영상을 정렬하는 컴퓨터 보조 중재(CAI)에서 필수적이다. 반복 최근접점(ICP)과 같은 고전적 방법은 설명 가능성과 최소한의 학습 요구 때문에 여전히 매력적이지만, 정규화 과정에서 해부학적 의미와 생체역학적 특성을 대체로 무시한다. 방법: 우리는 의미 정보를 활용한 점 매칭과 선형 탄성 에너지 정규화를 결합한 새로운 비강체 점군 정합 프레임워크인 Semantic ICP(SemICP)를 제시한다. 의미 레이블은 대응이 해부학적으로 일관되도록 제약하여 대응 매칭을 개선하는 데 사용된다. 생체역학적으로 타당한 변형을 유도하기 위해 선형 탄성 에너지 정규화를 갖춘 새로운 제어점 변형 표현을 도입한다. SemICP는 시뮬레이션 팬텀과 네 개의 데이터셋에서 기존 기준선들과 비교 평가되었다. 또한 완전 자동 분할-정합 파이프라인에서 AI 기반 분할로 얻은 레이블을 사용하여 시험하였다. 결과: 유한요소 팬텀에서 SemICP는 표면 관측만으로 내부 변위의 86%를 복원하였다. 실제 데이터셋에서 SemICP는 Liver MR-US에서 가장 낮은 표적 정합 오차를, TORS에서 가장 낮은 표면 거리를 달성했으며, NR-ICP가 더 낮은 표면 거리를 보인 AbdominalMR-CT와 HippocampusMR에서는 2위를 기록했다. 완전 자동 정합 파이프라인은 US-MR 정합에 효과적이며 전문가가 주석을 단 구조의 정렬을 개선하는 것으로 나타났다. 결론: SemICP는 의미 대응 제약과 선형 에너지 정규화를 결합함으로써 경쟁력 있는 표면 정확도를 유지하면서 내부 정확도를 향상시킨다. AI 기반 분할과 결합하면 SemICP는 CAI에서 다중 모달 정합을 위한 효과적인 파이프라인을 제공한다.