eX-ViT: A Novel eXplainable Vision Transformer for Weakly Supervised Semantic Segmentation
원문 초록
Recently vision transformer models have become prominent models for a range of vision tasks. These models, however, are usually opaque with weak feature interpretability. Moreover, there is no method currently built for an intrinsically interpretable transformer, which is able to explain its reasoning process and provide a faithful explanation. To close these crucial gaps, we propose a novel vision transformer dubbed the eXplainable Vision Transformer (eX-ViT), an intrinsically interpretable transformer model that is able to jointly discover robust interpretable features and perform the prediction. Specifically, eX-ViT is composed of the Explainable Multi-Head Attention (E-MHA) module, the Attribute-guided Explainer (AttE) module and the self-supervised attribute-guided loss. The E-MHA tailors explainable attention weights that are able to learn semantically interpretable representations from local patches in terms of model decisions with noise robustness. Meanwhile, AttE is proposed to encode discriminative attribute features for the target object through diverse attribute discovery, which constitutes faithful evidence for the model's predictions. In addition, a self-supervised attribute-guided loss is developed for our eX-ViT, which aims at learning enhanced representations through the attribute discriminability mechanism and attribute diversity mechanism, to localize diverse and discriminative attributes and generate more robust explanations. As a result, we can uncover faithful and robust interpretations with diverse attributes through the proposed eX-ViT.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Clustering-Guided Class Activation for Weakly Supervised Semantic Segmentation
MSG-SR-Net: A Weakly Supervised Network Integrating Multi-Scale Generation and Super-Pixel Refinement for Building Extraction from High-Resolution Remotely Sensed Imageries
Group-Wise Learning for Weakly Supervised Semantic Segmentation
CAD 평면도를 위한 텍스트 보조 멀티모달 파노틱 심볼 스포팅
Text-Aided Multi-Modal Panoptic Symbol Spotting for CAD Floor Plan Drawings
CAD(Computer-Aided Design) 평면도에는 그래픽 프리미티브와 텍스트 주석이 함께 포함되어 있으며, 이는 지능형 설계 이해를 위한 상호 보완적인 기하학적·의미론적 단서를 제공한다. CAD 분석 작업 가운데 파노틱 심볼 스포팅은 산업 디지털화와 심층 학습 기반 자동화에 대한 수요 증가와 함께 점점 더 중요해지고 있다. 그러나 기존 방법의 대부분은 여전히 프리미티브 중심적이며, 비록 핵심적인 의미론적 가치를 지니고 있음에도 텍스트 주석을 충분히 활용하지 못한다. 텍스트를 인식하는 몇 안 되는 접근법조차 주석을 얕게만 다루는 경우가 많아, CAD 주석의 복잡한 구문과 계층적 의미론을 제대로 모델링하지 못하고, 이로 인해 의미 손실과 최적에 못 미치는 스포팅 성능이 발생한다. 이러한 한계를 해결하기 위해, 우리는 파노틱 심볼 스포팅을 위해 그래픽 프리미티브와 텍스트 주석을 공동으로 모델링하는 멀티모달 프레임워크 TextCAD를 제안한다. 구체적으로, 우리는 유형과 속성을 공동으로 모델링하여 주석 내 조합적 의미론을 명시적으로 인코딩하는 Type-Attribute Correlation Encoder(TACE)를 설계한다. 또한 Multi-level Semantic Filtering(MSF)과 프리미티브 다운샘플링을 포함한 Semantic Hierarchy Alignment 프레임워크를 도입하여, 서로 다른 의미 수준에서 주석 의미론과 그래픽 프리미티브를 적응적으로 정렬하고 정확한 교차 모달 의미 주입 및 융합을 가능하게 한다. 실제 건축 설계 데이터셋에서의 실험 결과, TextCAD는 심볼 스포팅 성능을 효과적으로 향상시키며 최첨단 결과를 달성함을 보여준다.
Leveraging Instance-, Image- and Dataset-Level Information for Weakly Supervised Instance Segmentation
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.