Adversarial training with cycle consistency for unsupervised super-resolution in endomicroscopy
원문 초록
In recent years, endomicroscopy has become increasingly used for diagnostic purposes and interventional guidance. It can provide intraoperative aids for real-time tissue characterization and can help to perform visual investigations aimed for example to discover epithelial cancers. Due to physical constraints on the acquisition process, endomicroscopy images, still today have a low number of informative pixels which hampers their quality. Post-processing techniques, such as Super-Resolution (SR), are a potential solution to increase the quality of these images. SR techniques are often supervised, requiring aligned pairs of low-resolution (LR) and high-resolution (HR) images patches to train a model. However, in our domain, the lack of HR images hinders the collection of such pairs and makes supervised training unsuitable. For this reason, we propose an unsupervised SR framework based on an adversarial deep neural network with a physically-inspired cycle consistency, designed to impose some acquisition properties on the super-resolved images. Our framework can exploit HR images, regardless of the domain where they are coming from, to transfer the quality of the HR images to the initial LR images. This property can be particularly useful in all situations where pairs of LR/HR are not available during the training. Our quantitative analysis, validated using a database of 238 endomicroscopy video sequences from 143 patients, shows the ability of the pipeline to produce convincing super-resolved images. A Mean Opinion Score (MOS) study also confirms this quantitative image quality assessment.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
매개변수화된 CEC 2017 벤치마크를 이용한 변환의 민감도 분석
Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark
CEC 2017은 편향(bias), 이동(shift), 회전(rotation)을 동시에 적용하므로 각각이 알고리즘 동작에 미치는 개별 효과가 가려진다. 우리는 원래의 함수와 변환 데이터를 보존하면서 이들을 독립적으로 제어하는 매개변수화된 구현을 소개한다. 이를 이용하여, 예측 후보 메커니즘이 수치적 목적함수 값과 좌표별 재구성에 의존하는 하이브리드 해양 포식자 알고리즘(hMPA)을 진단한다. 심층 통계 비교(DSC)와 확장 DSC(eDSC)를 알고리즘 수준의 비교에서 구성 수준의 진단으로 적응시켰다. 우리가 아는 한, 이는 매개변수화된 CEC 2017 벤치마크의 편향-이동-회전 8개 구성 전체에 대한 최초의 철저한 DSC 및 eDSC 분석이다. 29개 함수, 차원 10, 30, 50, 100, 30회의 독립 실행, 차원당 10,000회의 목적함수 평가라는 고정 예산을 사용하여, 가능한 56개의 3개 구성 부분집합 전부와 변환하지 않은 대조군과의 비교를 검토한다. DSC와 eDSC는 모든 차원에서 구성 간 통계적으로 유의한 차이를 보이지만, 순위는 함수에 따라 달라 일관된 순서를 정할 수 없다. 대부분의 개별 효과 크기 신뢰구간은 0을 포함한다. 0을 포함하지 않는 경우 중에서는, 차원 10에서는 MPA가, 차원 50과 100에서는 hMPA가 유리한 비교가 더 많다. 이동은 대체로 목적함수 값 결과를 악화시킨다. 단독 회전은 체계적인 성능 저하를 일으키지 않으며, 단독 편향은 최종 해 분포를 거의 바꾸지 않는다. 이동과 회전의 결합은 대조군과 가장 일관되게 다르다. 수렴 곡선은 함수 및 차원에 따라 달라지는 분리, 정체 구간, 후반부 개선을 보여 준다. 수치적 결과는 hMPA에 한정되지만, 이 프레임워크는 다른 연속 최적화 알고리즘으로 확장될 수 있고 CEC 2024 및 CEC 2025를 포함한 관련 CEC 벤치마크에도 적용할 수 있다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.
라우팅 서브스페이스: 미세조정 언어 모델의 평가-배포 불일치 감사
Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models
안전성 평가는 흔히 테스트 중 관찰된 행동이 일반 사용 시의 행동을 반영한다고 가정하지만, 미세조정은 이 가정을 깨뜨릴 수 있다. 체크포인트가 평가 스타일의 프롬프트에서는 교정된 것처럼 보이면서 일반 사용 프롬프트에서는 동일한 행동이 지속될 수 있다. 출력 점수는 이러한 불일치를 드러내지만 그 위치를 알려주지는 않는다. 우리는 이 구분이 안정적인 내부 지점에 인코딩되어 있는지를 조사하고, 경로 패칭에 기반한 중간 깊이 구간에서 쌍을 이룬 활성화 대비를 적합한 뒤 보류된 프롬프트에서 그 결과 좌표를 수정하는 감사 방법을 도입한다. 이 개입은 네 개의 전체 행렬 지시 튜닝 모델 인스턴스에 걸쳐 12개 모델-행동 설정 중 10개에서 평가-배포 격차를 $0.12$ 넘게 줄이고, 그중 4개에서는 격차를 닫는다(개입 후 격차 $0.06$ 미만). 쌍 질문이 $n{\geq}120$인 8개 설정 중에서는 6개가 감소하고 1개가 닫힌다. 다섯 번째 모델은 위치 특정 및 편집 출처 검사를 뒷받침하며, 12개 설정에서 배포 프레이밍 비율은 최대 $6.1$pp 변한다. 재학습된 체크포인트에서 같은 용량의 무작위 방향은 효과를 재현하지 못하며, 구간 밖 대조군은 일부만 재현한다. 평가 대 배포 구분에 대한 가장 강력한 문자 그대로의 증거는 프롬프트 프레이밍이 명시적으로 평가적인 샌드배깅에서 나오며, 아첨과 거절은 프레이밍에 의존하는 과제 구분을 시험한다. 두 개의 약한 셀은 모두 아첨에 해당하며, 고정된 구간에서의 단일 좌표 감사로는 충분하지 않은 경우를 보여준다. 이 감사는 통제된 미세조정 체크포인트를 위한 비적응형 화이트박스 진단이며, 학습 시점의 방어책도, 배포 안전성의 보장도, 자연적으로 발생하는 실패에 대한 증거도 아니다.
동결된 히스토리: 학습 기반 실시간 슈퍼샘플링에서 시간적 손실이 누적을 중단시키는 시점
Frozen History: When Temporal Losses Stop Accumulation in Learned Real-Time Supersampling
학습(training) 기반 실시간 슈퍼샘플링(supersampling)은 모션 벡터(motion vector)를 따라 지터링된(jittered) 저해상도 샘플들을 누적합니다. 많은 방법들이 깜빡임(flicker)을 줄이기 위해 시간적 일관성 손실(temporal consistency loss)을 사용합니다. 본 연구는 정확한 정합(registration)이 주어지면 이 손실이 누적을 억제할 수 있음을 보여줍니다. 정적 콘텐츠에서 네트워크는 거의 시간적 비용 없이 워핑된 히스토리를 그대로 복사합니다. 모션 벡터의 카메라 지터는 이 비용을 높여 해당 효과를 감출 수 있습니다. 본 논문에서는 학습 과정에서 은폐될 수 있는 네 가지 정합 오차로 지터를 포함하는 모션 벡터, 두 해상도 격자 모두에 사용되는 단일 모션 필드, 지터링된 깊이(depth), 정합되지 않은 스킵 경로(skip path)를 식별합니다. 모델(model) 프리 오라클을 통해 정확한 정합이 정적 픽셀에서 동결(freezing) 비용을 2차수(two orders of magnitude) 더 낮춘다는 것을 입증합니다. 제어된 학습 실험에서는 정합이 PSNR에 미치는 시간적 가중치(weight)의 영향을 반전시키는 것으로 나타났습니다. 정확한 정합 하에서 가중치를 늘리면 정확도와 인지 품질을 희생하면서 픽셀 분산을 줄이며, 가중치 0.25에서 정적 프레임의 손실이 0.7~0.9 dB에 달합니다. 이러한 반전 현상은 세 가지 네트워크 제품군과 두 가지 스케일 전반에서 반복되며, 해당 손실은 지터가 없는 STSS 데이터에서도 정확도를 저하시킵니다. 작은 시간적 가중치와 정규화된 샘플 누적기를 결합한 단순 정합 네트워크는 1080p로의 $\times$2, $\times$3, $\times$4 업스케일링에서 기존에 발표된 최고 QRISP PSNR 대비 0.34~0.62 dB 향상된 성능을 보여줍니다. $\times$2에서 정적 픽셀 표준편차는 DLSS 2의 1/4 수준입니다. 재학습 없이도 Arm의 지터링된 Bistro 캡처에서 고전적 시간적 업샘플링 대비 최소 4.4 dB 뛰어난 성능을 보입니다. 가장 정확한 $\times$4 모델은 H200에서 1080p 프레임당 2.03 ms로 구동됩니다. 코드: https://github.com/CV-AC/Frozen_history
토론
이 논문과 연결된 포럼 글이 아직 없습니다.