arXiv:2501.03030

DDRM-PR: Fourier Phase Retrieval using Denoising Diffusion Restoration Models

Mehmet Onurcan Kaya, Figen S. Oktem

제출 2025-01-06

원문 초록

Diffusion models have demonstrated their utility as learned priors for solving various inverse problems. However, most existing approaches are limited to linear inverse problems. This paper exploits the efficient and unsupervised posterior sampling framework of Denoising Diffusion Restoration Models (DDRM) for the solution of nonlinear phase retrieval problem, which requires reconstructing an image from its noisy intensity-only measurements such as Fourier intensity. The approach combines the model-based alternating-projection methods with the DDRM to utilize pretrained unconditional diffusion priors for phase retrieval. The performance is demonstrated through both simulations and experimental data. Results demonstrate the potential of this approach for improving the alternating-projection methods as well as its limitations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.27710v3cs.CV공통 태그 Retrieval

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2609.23790v1cs.AI공통 태그 Retrieval

에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속

Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows

멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.