WAYLA - Generating Images from Eye Movements
원문 초록
We present a method for reconstructing images viewed by observers based only on their eye movements. By exploring the relationships between gaze patterns and image stimuli, the "What Are You Looking At?" (WAYLA) system learns to synthesize photo-realistic images that are similar to the original pictures being viewed. The WAYLA approach is based on the Conditional Generative Adversarial Network (Conditional GAN) image-to-image translation technique of Isola et al. We consider two specific applications - the first, of reconstructing newspaper images from gaze heat maps, and the second, of detailed reconstruction of images containing only text. The newspaper image reconstruction process is divided into two image-to-image translation operations, the first mapping gaze heat maps into image segmentations, and the second mapping the generated segmentation into a newspaper image. We validate the performance of our approach using various evaluation metrics, along with human visual inspection. All results confirm the ability of our network to perform image generation tasks using eye tracking data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성
Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks
뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.
가상 조영증강 유방 MRI를 위한 병변-게이팅 하이브리드 합성: MAMA-SYNTH 챌린지 솔루션
Lesion-Gated Hybrid Synthesis for Virtual Contrast-Enhanced Breast MRI: A MAMA-SYNTH Challenge Solution
목적: 조영증강 유방 MRI는 정맥 내 가돌리늄 기반 조영제에 의존하며, 이는 조영 전(pre-contrast) 영상만으로 조영 후(post-contrast) 모습을 합성하는 방법에 대한 동기를 제공한다. MAMA-SYNTH 챌린지(MICCAI 2026 Deep-Breath 워크숍)는 이러한 합성을 영상 충실도(image fidelity), 종양 관심 영역(tumour region of interest), 다운스트림 분류, 다운스트림 분할(segmentation)의 네 가지 지표 그룹에 걸쳐 평가한다. 네 그룹의 순위는 평균화되므로, 단일 목적 함수를 최적화하는 것만으로는 충분하지 않다. 재료 및 방법: 우리는 병변-게이팅(lesion-gated) 하이브리드 합성 파이프라인을 개발했다. 조영 전 영상만을 사용하는 분할 네트워크 앙상블(ensemble)에 의해 조영 전 슬라이스만으로 추정된 병변 확률 지도는, 종양 중심 회귀(regression) 경로와 배경 중심 Pix2PixHD 합성 경로를 공간적으로 조율하며, 이후 예측된 조영증강에 대한 영역-의존적 보정이 이어진다. 학습(training)에는 환자 단위 분할을 적용한 공개 MAMA-MIA 데이터 수집을 사용했다. 추론(inference)은 단일 조영 전 2D 슬라이스만을 입력으로 사용하며, 마스크, 조영 후 영상, 영상 기하 정보 이외의 보조 메타데이터는 사용하지 않는다. 결과: 내부 검증(validation)(n = 120명의 환자)에서 이 방법은 MSE 0.523, LPIPS 0.185, 종양 영역 SSIM 0.495를 달성했다. 이 방법은 자체 완결형(self-contained) 추론 컨테이너 형태로 비공개 외부 300건 테스트 코호트에 제출되었다. 이 방법은 공식 MAMA-SYNTH 챌린지 리더보드에서 6위를 기록했다. 결론: 조영 전 영상으로부터 도출된, 테스트 시점에도 적용 가능한 병변 확률 지도는 상호 보완적인 종양 중심 회귀와 배경 중심 지각적 합성을 조율할 수 있으며, 이를 통해 다중 지표(multi-metric) 챌린지 환경에서 균형 잡힌 가상 조영증강을 가능하게 한다.
소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망
Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives
배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.
두상경부암 3차원 CT-PET 합성을 위한 핫스폿 유도 융합 이중 경로 프레임워크
A Dual Path Framework with Hotspot Guided Fusion for Three Dimensional CT to PET Synthesis in Head and Neck Cancer
18F-FDG PET/CT는 해부학적 CT 영상을 보완하는 기능적 정보를 제공함으로써 두상경부암의 병기 설정(staging), 치료 계획, 반응 평가에 핵심적인 역할을 한다. 그러나 PET 촬영은 방사성 추적자 투여, 전문 인프라, 추가 비용을 필요로 하여 반복 영상 촬영에 대한 이용 가능성을 제한한다. 우리는 진단용 PET를 대체하기보다 영상 트리아지(imaging triage) 및 임상 의사결정 지원을 돕는 보완적 대사 정보를 제공하는 것을 목표로, 일상적인 CT 스캔으로부터 직접 PET 유사 영상을 합성하는 개념 증명(proof of concept) 심층 학습 프레임워크를 제안한다. 공개 QIN-HEADNECK 데이터셋의 44명 환자를 5-fold 교차 검증을 사용하여 후향적으로 분석하였다. 우리는 (i) 복셀 단위 정량적 SUV 추정에 최적화된 회귀 U-Net과 (ii) 사실적인 PET 텍스처에 최적화된 조건부 생성적 적대 신경망(conditional GAN)으로 구성된 완전 3차원 이중 경로 아키텍처를 제안한다. 두 출력은 핫스폿 유도 라플라시안 피라미드 블렌딩(hotspot guided Laplacian pyramid blending)을 통해 통합되어, 회귀 경로의 정량적 정보는 대사적으로 활성화된 영역 내에서 보존되고, 그 외 영역에서는 적대적 텍스처 합성을 활용한다. 제안된 프레임워크는 재구성된 3차원 PET 볼륨에서 평균 절대 오차 0.00395, PSNR 39.19 dB, SSIM 0.9634를 달성하였다. 정성적 평가는 해부학적으로 사실적인 배경 텍스처를 생성하면서 많은 FDG 섭취 병변의 정확한 국소화를 보여주었다. 이전 CT-PET 합성 연구와 일치하게, 주요 한계는 대사적으로 매우 활성화된 종양 영역 내 SUV의 체계적 과소추정이었다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.