TFLMS: Large Model Support in TensorFlow by Graph Rewriting
원문 초록
While accelerators such as GPUs have limited memory, deep neural networks are becoming larger and will not fit with the memory limitation of accelerators for training. We propose an approach to tackle this problem by rewriting the computational graph of a neural network, in which swap-out and swap-in operations are inserted to temporarily store intermediate results on CPU memory. In particular, we first revise the concept of a computational graph by defining a concrete semantics for variables in a graph. We then formally show how to derive swap-out and swap-in operations from an existing graph and present rules to optimize the graph. To realize our approach, we developed a module in TensorFlow, named TFLMS. TFLMS is published as a pull request in the TensorFlow repository for contributing to the TensorFlow community. With TFLMS, we were able to train ResNet-50 and 3DUnet with 4.7x and 2x larger batch size, respectively. In particular, we were able to train 3DUNet using images of size of $192^3$ for image segmentation, which, without TFLMS, had been done only by dividing the images to smaller images, which affects the accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CPU 기반 피부경 검사 영상 분할에서의 초기화 및 중단 허용 오차
Initialization and Stopping Tolerance in CPU Dermoscopic Segmentation
윤곽선 초기화(initialization)와 수치적 중단 조건은 액티브 컨투어(active-contour) 분할 평가에 함께 영향을 미칠 수 있습니다. 본 연구에서는 크기가 조정된 ISIC 2017 미러 데이터셋에서 오픈소스 scikit-image Chan-Vese 구현을 사용하여 이 둘의 상호작용을 조사합니다. 100장의 이미지로 구성된 고정 개발 셋을 통해 공통 입력 채널을 선택한 후, 저장소의 홀드아웃(held-out) 분할에 속한 600장의 전체 이미지를 평가합니다. 기본 및 더 엄격한 레벨셋 허용 오차 조건 하에서 오츠(Otsu) 임계값 처리를 체커보드, 디스크, 오츠 방식으로 초기화된 윤곽선과 비교합니다. 기본 허용 오차에서 오츠 초기화는 체커보드 초기화 대비 평균 이미지 Dice 점수를 0.6011에서 0.6660으로 향상시키며, 이는 0.0649의 대응 차이(95% 이미지 부트스트랩 신뢰구간 [0.0452, 0.0860])를 보입니다. 오츠 임계값 처리 단독으로는 0.6897을 달성합니다. 기본 디스크 초기화 방식은 471장의 이미지에서 단 1회 반복(iteration) 후 중단됩니다. 허용 오차를 엄격하게 설정하면 체커보드 초기화 대비 오츠 시드의 이점이 0.0197로 감소하며, 대부분의 실행이 500회 반복 한계에 도달합니다. 기본 허용 오차에서의 이점 또한 병변 크기 계층(소형 병변 및 대형 병변) 간에 뒤바뀝니다. 이러한 결과는 범용 초기화 방식 대비 개선이 이루어지더라도 임계값 기준선(baseline) 대비 성능 저하와 공존할 수 있음을 보여줍니다. 따라서 향후 평가에서는 정제되지 않은 마스크를 비교 대상으로 유지해야 하며, 초기 필드 정의, 중단 허용 오차, 그리고 관측된 반복 횟수를 함께 보고해야 합니다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
확산 기반 세그멘테이션에 대한 재고: 모델은 언제 노이즈 상태에 의존하며, 확산 과정은 정말 중요한가?
Rethinking Diffusion Segmentation: When Does It Rely on Its Noisy State, and Does Diffusion Matter?
확산 모델(diffusion model)은 생성 모델에서 조건부 신호와 점진적으로 변화하는 타깃의 노이즈 표현(noisy representation)을 결합하는 조건부 예측으로 점차 확장 적용되고 있습니다. 그러나 완전 지도(fully supervised) 세그멘테이션에서는 조건부 이미지만으로도 이미 직접적인 타깃 예측이 가능하므로, 최종 종단(endpoint) 성능만으로는 추가된 확산 상태(diffusion state)에 대한 의존성이나 이미지 전용 예측 대비 결정론적 이점을 입증할 수 없습니다. 상태 의존성을 검증하기 위해, 저자들은 3개 데이터셋에 걸쳐 발표된 12가지 기법을 설정당 10개의 일치된 시드(seed)로 재학습하면서 타깃 유래 상태 내용 또는 올바른 이미지-상태 쌍을 교란했습니다. 평가 마스크 경로가 노이즈 수치 재구성의 하류(downstream)에 유지된 기존 기법 비교 40건 모두에서 상태 의존성이 나타난 반면, 세그멘테이션 감독 우회로(bypass)가 있는 비교 30건 모두에서는 기준 성능이 유지되었습니다. 원래 우회로 사용이 가능했던 5가지 기법에서 세그멘테이션 감독이 노이즈-마스크 재구성을 거치도록 경로를 재설정하자, 해당 비교 30건 모두에서 성능 유지 상태가 상태 의존성으로 전환되었습니다. 결정론적 유용성 측면에서는, 매칭된 이미지 전용 대조군이 전체 35개 설정 중 28개에서 유사하거나 더 우수한 성능을 달성했으며, 원본 기법이 검증 대상 상태 특성 두 가지 모두에 의존했던 20개 중 16개 설정에서도 동일한 결과가 나타났습니다. 이러한 결과는 감독 경로가 검증 대상 기법들의 상태 의존성을 결정짓는 요인임을 보여줍니다. 아울러 매칭된 이미지 전용 대조군은 검증 대상 상태 특성에 의존하는 기법을 포함하여, 확산 특화 연산이 최종 종단에서 결정론적 이점을 제공하지 못하는 경우가 많음을 보여줍니다. 보다 일반적으로, 조건부 입력이 이미 강력한 타깃 예측을 지원하는 경우 확산 특화 주장은 추가된 상태가 실제로 활용된다는 점과 확산 특화 연산이 매칭된 조건 전용 대조군을 넘어 주장된 성능을 향상시킨다는 추가적인 증거를 요구합니다.
0.5%>100%: 참조 이미지 분할을 위한 양방향 상호 학습
0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation
최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.
SPDCN: 강철 표면 결함 분할을 위한 스트립 기반 변형 합성곱 네트워크
SPDCN: Strip-based Deformable Convolutional Network for Steel Surface Defect Segmentation
강철 표면 결함 분할은 산업 품질 검사에 매우 중요하지만, 기존 방법들은 표준 합성곱의 등방성(isotropic) 수용 영역과 불규칙한 결함 경계에 적응할 수 없는 고정 샘플링 그리드로 인해 균열 및 긁힘과 같은 세장하고 이방성(anisotropic)인 결함을 처리하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 두 가지 핵심 혁신을 갖춘 변형 합성곱 네트워크(Deformable Convolutional Networks)용 스트립 기반 예측기(SPDCN)를 제안한다. Fuzzy-enhanced Multi-scale Context Module(FMCM)은 직관적 퍼지 채널 어텐션(intuitionistic fuzzy channel attention) 메커니즘을 갖춘 그룹별 다중 분기 합성곱을 사용하여 다양한 결함 크기에 걸친 다중 스케일 문맥 정보를 적응적으로 포착한다. Adaptive Direction-Aware Deformable Convolution(ADADC)은 기존 오프셋 예측기를 분리된 수평·수직 스트립 합성곱으로 대체하여, 변형 샘플링 그리드가 세장한 결함의 주 방향과 이방성적으로 정렬되도록 한다. 공개 강철 표면 결함 벤치마크에 대한 광범위한 실험에서 SPDCN은 최신(state-of-the-art) 방법들을 일관되게 능가하며, 3.54M 파라미터만으로 NEU-Seg에서 89.60% mIoU를 달성한다. 소스 코드는 https://github.com/DWlzm 에서 공개적으로 제공된다.
약지도 심층 이미지 분할을 위한 통합 변분 프레임워크
A Unified Variational Framework for Deep Weakly Supervised Image Segmentation
우리는 희소 픽셀 수준 지도 하에서의 이미지 분할을 위한 통합 변분 프레임워크를 제안한다. 우리 방법은 매끄러운 둘레 정규화자를 갖는 단체(simplex) 제약 Potts 모델에 기반하며, 약지도 심층 학습 패러다임에서 학습 손실로 사용하거나 반복적 방법을 통해 효율적으로 최적화할 수 있는 볼록하고 매끄러운 에너지 함수(functional)를 산출한다. 희소 레이블은 재생 커널 힐베르트 공간(RKHS)에서의 함수 확장(function extension) 문제를 통해 퍼지 멤버십 함수(fuzzy membership function)를 구성함으로써 데이터 충실도(data fidelity) 항에 통합되며, 이는 비균질 강도 통계를 효과적으로 포착할 수 있다. 표준 네트워크 학습을 위해 도출된 이산 손실은 실험에서 비학습(non-training) 및 부분 교차 엔트로피(PCE) 기준선 대비 견고성과 일관된 성능 향상을 보이며, 정답(ground-truth) 분할 이미지 없이도 비교 가능한 성능을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.