arXiv:1711.10683

Patch Correspondences for Interpreting Pixel-level CNNs

Victor Fragoso, Chunhui Liu, Aayush Bansal, Deva Ramanan

제출 2017-11-29

원문 초록

We present compositional nearest neighbors (CompNN), a simple approach to visually interpreting distributed representations learned by a convolutional neural network (CNN) for pixel-level tasks (e.g., image synthesis and segmentation). It does so by reconstructing both a CNN's input and output image by copy-pasting corresponding patches from the training set with similar feature embeddings. To do so efficiently, it makes of a patch-match-based algorithm that exploits the fact that the patch representations learned by a CNN for pixel level tasks vary smoothly. Finally, we show that CompNN can be used to establish semantic correspondences between two images and control properties of the output image by modifying the images contained in the training set. We present qualitative and quantitative experiments for semantic segmentation and image-to-image translation that demonstrate that CompNN is a good tool for interpreting the embeddings learned by pixel-level CNNs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13558v1cs.CV공통 태그 Image Generation, Image-to-Image Translation

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2609.25597v2cs.CV공통 태그 Segmentation, Semantic Segmentation

망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가

Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation

분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.

arXiv:2610.00040v1cs.CV공통 태그 Segmentation, Semantic Segmentation

DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론

DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians

3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.

arXiv:2610.00483v1cs.CV공통 태그 Semantic Segmentation, Image Generation

PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측

PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.

arXiv:2610.00805v1eess.IV공통 태그 Image Generation, Image-to-Image Translation

국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.