arXiv:2007.07129

An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis

Alexander Treiss, Jannis Walk, Niklas Kühl

제출 2020-07-14

원문 초록

Convolutional neural networks have shown to achieve superior performance on image segmentation tasks. However, convolutional neural networks, operating as black-box systems, generally do not provide a reliable measure about the confidence of their decisions. This leads to various problems in industrial settings, amongst others, inadequate levels of trust from users in the model's outputs as well as a non-compliance with current policy guidelines (e.g., EU AI Strategy). To address these issues, we use uncertainty measures based on Monte-Carlo dropout in the context of a human-in-the-loop system to increase the system's transparency and performance. In particular, we demonstrate the benefits described above on a real-world multi-class image segmentation task of wear analysis in the machining industry. Following previous work, we show that the quality of a prediction correlates with the model's uncertainty. Additionally, we demonstrate that a multiple linear regression using the model's uncertainties as independent variables significantly explains the quality of a prediction (\(R^2=0.718\)). Within the uncertainty-based human-in-the-loop system, the multiple regression aims at identifying failed predictions on an image-level. The system utilizes a human expert to label these failed predictions manually. A simulation study demonstrates that the uncertainty-based human-in-the-loop system increases performance for different levels of human involvement in comparison to a random-based human-in-the-loop system. To ensure generalizability, we show that the presented approach achieves similar results on the publicly available Cityscapes dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.27240v2cs.CV공통 태그 regression, Semantic Segmentation

UniFLM: 태아 사지 초음파 이미지의 통합 분할 및 측정

UniFLM: United Segmentation and Measurement on Fetal Limb Ultrasonic Image

산전 초음파 검사는 태아의 사지 발달을 평가하고 선천적 기형을 발견하는 데 매우 중요합니다. 그러나 기존 인공지능 모델들은 고품질의 주석 데이터 부족과 여러 긴뼈(장골)를 아우르는 통합 프레임워크의 부재로 인해 태아 치사성 골이형성증을 간과하는 경우가 많습니다. 또한 범용 분할 모델은 초음파 영상 특유의 잡음과 의미적 차이(semantic gap)로 인해 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 상완골, 대퇴골, 경골-비골, 요골-척골에 대한 고품질 주석을 포함하는 FLB(Fetal Limb Bones) 데이터셋을 구축합니다. 더 나아가, 교차 평면 자동 분할 및 측정을 위한 통합 프레임워크인 UniFLM(United Segmentation and Measurement on Fetal Limb Ultrasonic Image)을 제안합니다. UniFLM은 인코더와 디코더 특징 간의 의미적 격차를 해소하기 위한 의미 정렬 스킵 연결(SASC, Semantic Alignment Skip Connection) 모듈과 잡음을 필터링하고 필수적인 의미 정보를 추출하기 위한 양성 샘플링(PoSamp, Positive Sampling) 전략을 포함합니다. 마지막으로, 정밀한 뼈 길이 측정을 위해 임상의의 주석 패턴을 학습하는 점 회귀 매핑(PRM, Point Regression Mapping) 모듈을 도입합니다. FLB 데이터셋과 공개 FetalP5 벤치마크에서 수행된 광범위한 실험을 통해, UniFLM이 4가지 뼈 범주 및 외부 다기관 데이터 전반에서 일관된 일반화 성능과 함께 경쟁력 있는 성능을 달성함을 입증하였으며, 이는 블랜드-알트만(Bland-Altman) 일치도 분석과 부트스트랩 신뢰구간을 포함한 포괄적인 통계적 검증으로 뒷받침됩니다. 소스 코드는 https://github.com/chosen1203/UniFLM 에서 공개되어 있습니다.

arXiv:2610.02494v1cs.CV공통 태그 regression, Semantic Segmentation

DeepStratNet: 희소한 레이블 환경에서 지진파 지층면 추적을 위한 문맥 인식 좌표 회귀 프레임워크

DeepStratNet: A Context-Aware Coordinate Regression Framework for Seismic Horizon Tracking under Sparse Labels

자동 지층면 추적(horizon tracking)은 3D 지진파 해석의 기초적인 작업입니다. 대부분의 기존 심층 학습(deep learning) 접근 방식은 주로 U-Net 기반 아키텍처를 사용하여 이를 조밀한 시맨틱 세그멘테이션(dense semantic segmentation) 문제로 공식화합니다. 이러한 모델은 정밀한 지층면 좌표를 추출하기 위해 후처리가 필요한 모든 픽셀에 대한 확률 맵을 생성하며, 시간/심도에서의 지층면 픽(horizon pick)은 학습(training)을 위해 조밀한 마스크로 변환되어야 합니다. 결과적으로 픽되지 않은 지진파 트레이스는 배경으로 처리되어 수렴(convergence)을 저해할 수 있으며, 전처리 및 후처리 과정 모두 최종 해석에 오차를 유발할 수 있습니다. 더욱이 2D 세그멘테이션 모델은 본질적으로 슬라이스 간 문맥을 포착하지 못하며, 3D 모델은 종종 연산 비용이 과도하게 듭니다. 대신 본 연구에서는 지층면 추적을 경계가 지정된 좌표 회귀(coordinate regression) 문제로 공식화하여, 모델이 각 횡방향 위치에서 목표 지층면의 시간/심도 좌표를 직접 예측하도록 합니다. 우리는 사전학습된 모든 비전 백본과 호환되는 경량 회귀 헤드를 제안하며, 슬라이스 간 문맥을 모델링하고 볼륨 전반에 걸쳐 연속적인 지층면 표면을 생성하기 위해 LSTM 모듈과 결합합니다. L1 및 L2 손실의 조합은 유효한 지층면 픽에서의 예측을 지도하며, 지질학적 정보를 반영한 정규화(regularization)는 연속적인 트레이스 간의 횡방향 연속성을 강화합니다. 통제된 실험 조건 하에서 뉴질랜드의 지진파 볼륨을 대상으로 세그멘테이션 및 회귀 구성 모두에서 네 가지 사전학습된 비전 백본을 평가합니다. 제안된 접근 방식은 RMSE 및 PCC를 포함한 지표를 사용한 정량적 평가와 정성적 평가 모두에서 세그멘테이션 기반 방식보다 지속적으로 우수한 성능을 보였으며, 학습 픽의 희소성(sparsity)이 증가함에도 더 높은 견고성을 입증했습니다. 마지막으로, 연속적인 트레이스 전반에 걸친 예측 편차가 지질학적 복잡성의 국소적 변화를 포착함으로써 후속 지진파 해석을 위한 자동화된 품질 관리 척도를 제공함을 보입니다.

arXiv:2609.23553v1cs.CV공통 태그 regression, Semantic Segmentation

관상동맥 조영술 영상 기반 SYNTAX 점수 산정을 위한 임상 워크플로우 모델링

Modeling Clinical Workflow for SYNTAX Scoring from Coronary Angiography Videos

SYNTAX 점수는 관상동맥 질환(coronary artery disease)에서 해부학적 병변 복잡도를 평가하고 후속 치료 방침을 결정하는 데 임상적으로 확립된 도구이다. 그러나 자동화된 SYNTAX 점수 산정은 일반적으로 관상동맥 조영술 영상으로부터 환자 단위 점수로의 직접 회귀 문제로 정식화되어 왔다. 본 연구에서는 SYNTAX 점수 산정을 혈관 분절(vessel segment) 정체성을 보존하는 해부학적 추론 문제로 재정식화하고, 학습 과정을 임상 워크플로우와 명시적으로 정렬시키는 계층적 모델링 프레임워크를 제안한다. 본 접근법은 프레임과 뷰(view) 전반에 걸쳐 혈관 분절의 정체성을 유지하고, 분절 단위로 협착(stenosis) 중증도를 추정하며, 관상동맥 해부구조에 따라 증거를 계층적으로 집계한다. 동시에, 도메인 특화 데이터의 부족 문제를 해결하기 위해 여러 공개 관상동맥 조영술 데이터셋(dataset)을 통합 및 보완하여, 완성된 혈관 분할(segmentation)과 이로부터 도출된 구조적 주석을 포함하는 대규모 리소스를 구축하였다. 실험 결과, 혈관 분절 단위의 협착 임베딩(embedding)이 기준선(baseline) 모델 대비 설명력을 향상시키고 예측 변동성을 감소시키는 것으로 나타났으며, R^2 점수는 0.201 향상되고 dev STD는 18.4% 감소하였다. 이러한 결과는 다중 뷰 관상동맥 조영술 영상으로부터 신뢰할 수 있고 안정적인 자동화된 SYNTAX 점수 산정을 위해 구조 정렬 모델링이 필요함을 보여준다. GitHub 링크는 https://github.com/VersaceSu7/SYNTAX_score_777 이다.

arXiv:2609.23967v1cs.CV공통 태그 Image Segmentation, Semantic Segmentation

확산 기반 세그멘테이션에 대한 재고: 모델은 언제 노이즈 상태에 의존하며, 확산 과정은 정말 중요한가?

Rethinking Diffusion Segmentation: When Does It Rely on Its Noisy State, and Does Diffusion Matter?

확산 모델(diffusion model)은 생성 모델에서 조건부 신호와 점진적으로 변화하는 타깃의 노이즈 표현(noisy representation)을 결합하는 조건부 예측으로 점차 확장 적용되고 있습니다. 그러나 완전 지도(fully supervised) 세그멘테이션에서는 조건부 이미지만으로도 이미 직접적인 타깃 예측이 가능하므로, 최종 종단(endpoint) 성능만으로는 추가된 확산 상태(diffusion state)에 대한 의존성이나 이미지 전용 예측 대비 결정론적 이점을 입증할 수 없습니다. 상태 의존성을 검증하기 위해, 저자들은 3개 데이터셋에 걸쳐 발표된 12가지 기법을 설정당 10개의 일치된 시드(seed)로 재학습하면서 타깃 유래 상태 내용 또는 올바른 이미지-상태 쌍을 교란했습니다. 평가 마스크 경로가 노이즈 수치 재구성의 하류(downstream)에 유지된 기존 기법 비교 40건 모두에서 상태 의존성이 나타난 반면, 세그멘테이션 감독 우회로(bypass)가 있는 비교 30건 모두에서는 기준 성능이 유지되었습니다. 원래 우회로 사용이 가능했던 5가지 기법에서 세그멘테이션 감독이 노이즈-마스크 재구성을 거치도록 경로를 재설정하자, 해당 비교 30건 모두에서 성능 유지 상태가 상태 의존성으로 전환되었습니다. 결정론적 유용성 측면에서는, 매칭된 이미지 전용 대조군이 전체 35개 설정 중 28개에서 유사하거나 더 우수한 성능을 달성했으며, 원본 기법이 검증 대상 상태 특성 두 가지 모두에 의존했던 20개 중 16개 설정에서도 동일한 결과가 나타났습니다. 이러한 결과는 감독 경로가 검증 대상 기법들의 상태 의존성을 결정짓는 요인임을 보여줍니다. 아울러 매칭된 이미지 전용 대조군은 검증 대상 상태 특성에 의존하는 기법을 포함하여, 확산 특화 연산이 최종 종단에서 결정론적 이점을 제공하지 못하는 경우가 많음을 보여줍니다. 보다 일반적으로, 조건부 입력이 이미 강력한 타깃 예측을 지원하는 경우 확산 특화 주장은 추가된 상태가 실제로 활용된다는 점과 확산 특화 연산이 매칭된 조건 전용 대조군을 넘어 주장된 성능을 향상시킨다는 추가적인 증거를 요구합니다.

arXiv:2609.24510v1cs.CV공통 태그 Image Segmentation, Semantic Segmentation

0.5%>100%: 참조 이미지 분할을 위한 양방향 상호 학습

0.5\%>100\%: Bidirectional Reciprocal Learning for Referring Image Segmentation

최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.

arXiv:2609.24787v1cs.CV공통 태그 regression, Semantic Segmentation

산림 포인트 클라우드를 위한 파운데이션 모델을 향하여

Toward a foundation model for forest point clouds

산림 조사는 대규모 3D 포인트 클라우드에서 산림 특성을 도출하기 위해 인공지능(AI) 모델에 점점 더 의존하고 있습니다. 현재의 모델들은 대개 단일 작업, 센서 및 산림 유형에 특화되어 있어, 어노테이션, 연산, 전문 지식 측면에서 적응 비용이 많이 듭니다. 본 연구에서는 단일 사전학습(pre-training) 모델이 다양한 산림 조사 환경에 걸쳐 전이 가능한 표현을 학습할 수 있는지 묻습니다. 언어 모델링과 컴퓨터 비전(CV)의 최근 발전에 영감을 받아, 3D 임업을 위한 파운데이션 모델(FM)을 향한 첫걸음을 내딛습니다. LitePT를 백본으로 사용하여, 산림 시맨틱 및 인스턴스 분할, 수종 분류(classification), 수령 회귀 벤치마크에서 새로운 최고 성능(state of the art)을 달성하는 강력한 지도학습 기준선(baseline)을 먼저 구축합니다. 그런 다음 다양한 산림 생태계에 걸쳐 항공, UAV 및 모바일 레이저 스캐닝을 아우르는 대규모 레이블 미지정 코퍼스를 구축하고, 자기지도학습을 사용하여 동일한 백본을 사전학습합니다. 다양한 어노테이션 예산 하에서 네 가지 대표적인 임업 작업에 대해 스크래치 학습(training from scratch), 지도 사전학습, 자기지도 사전학습을 비교함으로써 표현 학습 전략을 체계적으로 평가합니다. 스크래치 학습과 비교하여, 자기지도 사전학습은 모델(model) 수렴(convergence)을 가속화하고 어노테이션이 부족할 때 일관되게 성능을 향상시킵니다. 작업 특화 지도 사전학습과 비교할 때, 자기지도 사전학습은 다운스트림 임업 작업 전반에 걸쳐 더 전이 가능한 표현을 생성합니다. 이러한 발견은 사전학습된 표현이 가장 가치 있는 실질적인 영역을 규명하며, 산림 시맨틱보다는 인스턴스 구별이 범용 3D 산림 파운데이션 모델로 나아가는 주된 남은 장애물임을 시사합니다. 코드와 모델은 https://github.com/prs-eth/ForPT 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.