Quantum-Inspired Vision: Leveraging Wave-Particle Duality for Low-Illumination Enhancement
원문 초록
This study provides a theoretical expansion of the recent Data Relativistic Uncertainty (DRU) framework by formalizing a physics-to-AI paradigm for image enhancement. By modeling images as probabilistic wave functions rather than deterministic states, the paradigm explicitly integrates wave-particle duality to illustrate the system flow of how DRU leverages the intrinsic physical uncertainty of light, a dimension requiring further theoretical discussion. Consequently, this paradigm provides a rigorous Explainable AI (XAI) approach that enhances the interpretability of how DRU mitigates illumination bias and maintains robustness against data noise.
요약
Data Relativistic Uncertainty(DRU) 프레임워크를 양자역학의 파동-입자 이중성(wave-particle duality) 개념으로 이론적으로 확장하여, 이미지를 확률적 파동 함수로 모델링함으로써 조명 불확실성을 명시적으로 처리하는 Physics-to-AI 패러다임을 제시한다. 이 패러다임은 DRU가 조명 편향(illumination bias)을 억제하고 데이터 노이즈에 강건성을 유지하는 메커니즘을 설명하는 설명 가능한 AI(XAI) 이론적 기반을 제공하며, 실험에서 결정론적 모델 대비 향상된 저조도 이미지 개선 성능을 입증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01731v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
제로샷 의학 논문 초록 분류에서 DeBERTa-v3를 위한 비교 설명가능성 프레임워크
A Comparative Explainability Framework for DeBERTa-v3 in Zero-Shot Medical Abstract Classification
본 연구에서는 의학 논문 초록의 제로샷(zero-shot) 분류 환경에서 DeBERTa-v3를 감사(audit)하기 위한 비교 설명가능성(explainability) 프레임워크를 제시한다. 이 연구는 서로 다른 기여도 산출(attribution) 방식이 동일한 입력과 예측에 대해 상이한 설명을 생성하는 설명가능한 인공지능(XAI)의 불일치 문제를 다룬다. Medical Abstracts 말뭉치를 기반으로 진단 범주당 5개의 보강된 가설과 클래스당 1,000개의 균형 잡힌 텍스트 샘플을 활용하여 자연어 추론(NLI) 엔진을 구현한다. 모델 불가지론적(model-agnostic) 접근법인 SHAP과 LIME, 딥러닝 특화 접근법인 오클루전(occlusion)과 Input x Gradient, 트랜스포머 특화 접근법인 Attention x Gradient 등 다섯 가지 설명 방법을 비교한다. 설명은 상위 토큰 기여도를 통해 표준화되며, 쌍별 일치도는 자카드 지수(Jaccard index)를 사용하여 정량화된다. 잘 정의된 임상 영역에서는 높은 예측 정확도를 달성하지만, 의미적 모호성이 높은 상황에서는 성능이 저하된다. 설명의 안정성은 예측 확신도를 직접적으로 반영하여 일가적(univalent) 범주에서는 강한 수렴을 보이고 진단 불확실성 하에서는 뚜렷한 하락을 나타낸다. 나아가 정성적 오류 감사를 통해 어휘적 과민성, 의미적 중첩, 기여도 일관성 손실이라는 세 가지 시스템적 실패 메커니즘을 밝혀낸다. 이러한 결과는 의학 텍스트 분류에서 트랜스포머 기반 모델을 감사할 때 여러 설명 방법과 정량적 일치도 지표를 결합하여 사용할 것을 지지하며, 광범위한 진단 레이블보다 구체적인 임상 온톨로지를 우선시할 것을 시사한다.
ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
Diff-RF: 열화 인지 학습을 통한 상호 강화 이미지 정합 및 융합
Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning
이미지 정합(registration)과 융합(fusion)은 정렬되지 않은 다중 모달(multi-modal) 소스 이미지로부터 공간적 대응 관계를 설정하고 상보적인 정보를 통합하는 것을 목표로 한다. 그러나 실제 촬영 시나리오에서는 저조도, 노이즈 등 복잡하고 다양한 열화(degradation)의 영향을 소스 이미지가 받는 경우가 많아 정합과 융합의 효과를 심각하게 저해한다. 이 문제를 해결하기 위해 열화 인지 학습을 통한 상호 강화형 이미지 정합 및 융합 확산(diffusion) 프레임워크인 Diff-RF를 제안한다. 이 방법은 열화 조건 하에서 정합-융합과 정보 복원 사이의 내재적 결합을 탐구하여, 복잡한 열화 조건에서 정합되지 않은 이미지의 고품질 융합을 가능하게 한다. 먼저 모달 내(intra-modal) 복원 모듈은 각 모달리티 내부의 정보를 활용해 모달리티 특유의 열화를 완화하도록 설계되어, 정합을 위한 보다 신뢰할 수 있는 구조적 표현을 제공하고 이후 교차 모달(cross-modal) 융합을 촉진한다. 둘째, 정합과 융합 사이의 양방향 상호작용을 구축하는 교차 모달 확산 기반 정합 및 융합 모듈을 개발한다. 융합에서 도출된 시각적 단서와 대응 관계 기반 기하학적 조건을 확산 과정에 통합함으로써, 제안 프레임워크는 공간 정렬을 점진적으로 정제하고 교차 모달 상보 정보를 활용해 협력적 향상을 달성한다. 열화 인지 정보 복원과 정합 및 융합의 협력적 최적화를 독립적인 구성요소로 다루지 않고 긴밀히 결합하여 전반적인 성능 향상을 달성한다. 여러 확장 데이터셋에 대한 광범위한 실험 결과, Diff-RF는 다양한 열화 시나리오에서 우수한 정합 정확도와 융합 품질을 달성하며 강한 견고성(robustness)과 일반화(generalization) 능력을 보인다.
어텐션 마스킹, 잠재 공간 앵커링 및 정제를 통한 제로샷 객체 제거
Zero-Shot Object Removal via Attention Masking, Latent Anchoring, and Refinement
실제 이미지에서 객체를 제거하려면 마스크 내부에 그럴듯한 내용을 합성하는 것만으로는 부족하며, 방법은 잔여 객체 특징을 억제하고 편집되지 않은 장면을 보존한 뒤 주변 배경과 일관된 대체 내용을 생성해야 한다. 본 논문은 단계 기반 관점에서 객체 제거에 접근하며, 동결된 사전학습 Stable Diffusion 모델을 이용한 제약 잠재 공간 인페인팅(constrained latent inpainting)용 제로샷 프레임워크를 제안한다. 과제별 학습이나 모델 미세조정은 필요하지 않다. 이 방법은 SAM 기반 마스크 구성, BLIP 이미지-캡션 조건화, DDIM inversion, 배경 가중 마스크 null-text 최적화(NTI), 디코더 self-attention 마스킹, 마스크 외부 hard 잠재 공간 앵커링, 국소 renoise–denoise 정제를 하나의 통합 파이프라인에 결합한다. 정성적 사례, 정량적 국소 일관성 지표, ablation 연구로 평가하였다. 결과는 효과적인 객체 제거와 문맥상 일관된 대체 내용 생성을 보여준다. Ablation에 따르면 배경 가중 마스크 NTI는 구조적으로 복잡한 배경에서 특히 유리하며, NTI 없는 변형은 다른 평가 사례에서는 충분하다. 반복 정제는 1차 편집 이후 남는 객체 잔여물과 경계 아티팩트를 더 줄인다.
조건부 텐서 확산: 분포적 반사실 학습 및 추론
Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference
인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.
PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스
PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation
이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.