arXiv:1805.10344

Pathology Segmentation using Distributional Differences to Images of Healthy Origin

Simon Andermatt, Antal Horváth, Simon Pezold, Philippe Cattin

제출 2018-05-25

원문 초록

Fully supervised segmentation methods require a large training cohort of already segmented images, providing information at the pixel level of each image. We present a method to automatically segment and model pathologies in medical images, trained solely on data labelled on the image level as either healthy or containing a visual defect. We base our method on CycleGAN, an image-to-image translation technique, to translate images between the domains of healthy and pathological images. We extend the core idea with two key contributions. Implementing the generators as residual generators allows us to explicitly model the segmentation of the pathology. Realizing the translation from the healthy to the pathological domain using a variational autoencoder allows us to specify one representation of the pathology, as this transformation is otherwise not unique. Our model hence not only allows us to create pixelwise semantic segmentations, it is also able to create inpaintings for the segmentations to render the pathological image healthy. Furthermore, we can draw new unseen pathology samples from this model based on the distribution in the data. We show quantitatively, that our method is able to segment pathologies with a surprising accuracy being only slightly inferior to a state-of-the-art fully supervised method, although the latter has per-pixel rather than per-image training information. Moreover, we show qualitative results of both the segmentations and inpaintings. Our findings motivate further research into weakly-supervised segmentation using image level annotations, allowing for faster and cheaper acquisition of training data without a large sacrifice in segmentation accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19877v1cs.CV공통 태그 Segmentation, Weakly supervised segmentation

약지도 볼륨 분할을 위한 강건한 활성화 맵 보정: 시간적 일관성이라는 공짜 점심

Robust Activation Map Rectification for Weakly Supervised Volumetric Segmentation: Temporal Coherence as a Free Lunch

약지도 분할은 목표 영역을 초기에 국한화하기 위해 클래스 활성화 맵(CAM)에 크게 의존한다. 그러나 CAM은 종종 노이즈가 많고 치명적 실패에 취약하다. 기존 해결책은 보통 추가 학습 단계나 프로토타입 학습을 도입하여 계산 비용을 늘리고 강건성을 저하시킨다. 본 논문에서는 볼륨 데이터의 시간적·구조적 일관성을 공짜 점심으로 활용하여 신뢰할 수 없는 CAM을 보정하는, 학습 없이(training-free) 프로토타입 없이(prototype-free) 동작하는 프레임워크를 제안한다. 우리 접근법은 두 가지 핵심 구성 요소로 이루어진다. 첫째, 노이즈를 억제하고 일관된 의미 신호를 증폭하는 분산 감소 활성화 집계(Variance-Reduced Activation Aggregation, VRAA)를 도입한다. CAM을 고차원 랜덤 벡터로 모델링하고 집계가 입증 가능한 분산 감소를 가져온다는 이론적 근거를 제시한다. 둘째, 양방향 극단값 검사를 통해 비현실적인 활성화를 탐지·보정하는 양방향 극단값 보정(Bidirectional Extremity Rectification, BER) 메커니즘을 설계하여, 추가 파라미터 학습 없이 극단값 실패를 효과적으로 완화한다. 제안 방법은 모델에 구애받지 않으며(model-agnostic) 기존 파이프라인에 원활하게 통합할 수 있다. 여러 공개 벤치마크에 대한 광범위한 실험에서 최신 약지도 방법 대비 Dice 최대 20%, mIoU 최대 40% 향상과 추론 시간 5배 이상 단축을 포함한 유의미한 개선을 보여준다. 이 결과는 일관성을 암묵적 귀납적 바이어스(implicit inductive bias)로 활용하는 것이 약지도 볼륨 분할을 안정화하는 원칙적이고 효율적인 접근임을 시사한다. 코드는 공개 예정이다.

arXiv:2607.09892v1eess.IV공통 태그 Segmentation, Image-to-Image Translation

다중 모달 자기회귀 시각 모델링을 위한 Next-Dense-Stride 예측

Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling

우리는 DenseAR를 소개한다. DenseAR는 간결한 단일 스케일 토크나이저를 사용하여 자기회귀 이미지 생성을 거친 것에서 세밀한 것으로의 next-dense-stride 예측으로 재정의하는 새로운 생성 패러다임이다. 우리의 핵심 통찰은, 점진적으로 더 조밀해지는 스트라이드로 단일 스케일 잠재 그리드를 순회하면 전역 구조에서 세부 사항으로의 전환을 자연스럽게 포착할 수 있다는 것이다. 이는 기존 자기회귀 모델의 두 가지 한계를 동시에 해결한다: 래스터 순서 자기회귀의 느린 추론(DenseAR는 여러 토큰을 병렬로 예측하여 이를 회피함)과, 거친 것에서 세밀한 것으로의 예측을 달성하기 위해 길고 다중 해상도의 토큰 시퀀스를 필요로 하는 다중 스케일 접근 방식의 높은 비용이다. 효율적인 프레임워크와 자기회귀 모델링의 유연성을 기반으로, 우리는 DenseAR를 단일 백본 내에서 다중 모달리티와 이미징 작업을 처리하는 통합 모델로 더 확장한다. 우리는 DenseAR를 의료 이미지와 자연 이미지 모두에서 검증한다. 다중 대조 뇌 MRI에서, 단일 DenseAR 모델은 교차 모달 변환(cross-modal translation), 모달리티 조건부 생성(modality-conditioned generation), 종양 분할(tumor segmentation)을 통합하면서 작업별 방법들과 경쟁력 있는 성능을 유지한다. ImageNet에서 DenseAR는 스트라이드 순서가 없는 단일 그리드 기준선과 다중 스케일 토크나이저 기반 기준선 모두에 비해 클래스 조건부 생성 품질(FID 및 IS)을 향상시킨다.

arXiv:2609.20816v3cs.CV공통 태그 Image-to-Image Translation

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2607.03836v2cs.CV공통 태그 Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.