arXiv:2309.08234

Efficient Polyp Segmentation Via Integrity Learning

Ziqiang Chen, Kang Wang, Yun Liu

제출 2023-09-15

원문 초록

Accurate polyp delineation in colonoscopy is crucial for assisting in diagnosis, guiding interventions, and treatments. However, current deep-learning approaches fall short due to integrity deficiency, which often manifests as missing lesion parts. This paper introduces the integrity concept in polyp segmentation at both macro and micro levels, aiming to alleviate integrity deficiency. Specifically, the model should distinguish entire polyps at the macro level and identify all components within polyps at the micro level. Our Integrity Capturing Polyp Segmentation (IC-PolypSeg) network utilizes lightweight backbones and 3 key components for integrity ameliorating: 1) Pixel-wise feature redistribution (PFR) module captures global spatial correlations across channels in the final semantic-rich encoder features. 2) Cross-stage pixel-wise feature redistribution (CPFR) module dynamically fuses high-level semantics and low-level spatial features to capture contextual information. 3) Coarse-to-fine calibration module combines PFR and CPFR modules to achieve precise boundary detection. Extensive experiments on 5 public datasets demonstrate that the proposed IC-PolypSeg outperforms 8 state-of-the-art methods in terms of higher precision and significantly improved computational efficiency with lower computational consumption. IC-PolypSeg-EF0 employs 300 times fewer parameters than PraNet while achieving a real-time processing speed of 235 FPS. Importantly, IC-PolypSeg reduces the false negative ratio on five datasets, meeting clinical requirements.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26381v1cs.CL공통 태그 Segmentation, Computational Efficiency

GROBID를 위한 레이아웃 유도 마스킹: 대규모 학술 PDF 수집에서의 경량 구조적 성능 향상

Layout-Guided Masking for GROBID: Lightweight Structural Gains in Large-Scale Scientific PDF Ingestion

학술 PDF를 기계 판독 가능한 전문(fulltext)으로 변환하는 작업은 대규모 정보 시스템에서 여전히 병목 현상으로 남아 있습니다. 최근의 비전 기반 파서는 정확도를 향상시키지만, GPU가 필요하며 추출된 텍스트에 노이즈를 유입시킬 수 있습니다. CPU에서 실행되는 모듈형 폰트 스트림 파서인 GROBID는 과학 논문의 구조화에 있어 사실상의 표준(de-facto standard)이며, 가장 큰 오픈 학술 코퍼스 여러 개의 기반을 이루고 있습니다. 본 연구에서는 이를 그림, 표, 파라텍스트(헤더, 푸터, 페이지 번호) 영역을 위치 특정(localising)하는 경량 CPU 검출기와 결합합니다. 이 영역들은 유형화된 영역(typed-area) 마스크로 인코딩되어 해당 토큰이 GROBID의 특화된 모델로 라우팅되거나 폐기됩니다. 섹션 인식 구조 프로토콜을 사용하여 JATS를 기준으로 점수를 매긴 두 개의 PMC 코퍼스인 생물정보학(Bioinformatics, 1,926편의 논문) 및 재료과학(Materials Science, 2,595편)에서, 본 확장 모델은 대부분의 지표(NS $+0.025$/$+0.013$, 재료과학에서 문단 재현율(recall) $+0.086$, $d_z{=}1.08$)에서 기존 GROBID 대비 성능을 향상시키며, 두 코퍼스 모두에서 캡션과 연결된 그림 복원이 개선됩니다. 외부 Table-BRGM 벤치마크에서는 표 검출 F1 점수가 $0.16 \to 0.94$로 회복되고 표 구조 파악도 뒤따릅니다(GriTS-Top $0.27 \to 0.78$, 가장 강력한 GPU 시스템보다는 낮음). 본문 텍스트의 경우, 4개의 비전 기반 시스템(Docling, MinerU, olmOCR, dots.ocr)과 비교했을 때 두 코퍼스 모두에서 최고의 문단 정밀도(precision)를 달성하고, 재료과학에서 최고의 섹션 검출 성능을 보이며, 문자 오류율(character error rate)은 최고 성능의 GPU 파서 대비 0.004 이내입니다. CPU 기반의 엔드투엔드(end-to-end) 실행 시, 가장 저렴한 GPU 시스템(Docling)보다 $2.7$--$3.2\times$, 생성형 파서보다 $10$--$14\times$ 더 적은 비용이 듭니다.

arXiv:2609.26249v2cs.CL공통 태그 Computational Efficiency

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2609.28870v3cs.DC공통 태그 Computational Efficiency

정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.