PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11067v1cs.CV

일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링

Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.

arXiv:2607.00500v1physics.med-ph

실시간 MRI 치료 안내를 위한 개인화 모델과 파운데이션 모델의 폐루프 결합

Closed-loop coupling of personalised and foundation models for real-time treatment guidance with MRI

영상 유도 치료(방사선 치료, 생검, 심부 뇌 자극 포함)는 해부학적 구조의 실시간 타겟팅에 의존한다. 그러나 움직임이 존재하는 경우, 영상 지연으로 인해 관측된 해부학과 실제 해부학 사이에 시간적 불일치가 발생하여 치료 정확도가 저하된다. 인공지능 기반 프레임워크가 이 지연 격차를 줄이기 위해 점차 제안되어 왔지만, 선도적인 개인화 모델은 안정적인 해부학적 그라운딩(grounding)의 부재로 인해 실패할 수 있다. 파운데이션 모델(foundation model)은 그라운딩된 동작을 제공할 수 있지만, 실시간 개별 환자 역학에는 적응하지 못한다. 본 논문에서는 환자별 시간적 예측과 파운데이션 모델의 연속적 분할(segmentation) 기반 해부학적 해석을 시너지적으로 결합하는 폐루프 결합 프레임워크를 제안한다. 개인화 모델은 시스템 지연을 보상하기 위해 미래 해부학을 예측하고, 스트리밍 파운데이션 모델은 치료 중 실시간으로 시간적 예측기를 지속적으로 업데이트하는 데 사용되는 해부학적 감독(supervision) 신호를 제공한다. 본 프레임워크는 디지털 팬텀과 MRI 유도 방사선 치료를 받는 환자의 분획 내 자기공명영상(MRI)을 사용하여 검증하였다. 400ms 예측 지평(prediction horizon)에서 제안된 방법은 임상적으로 유의미한 지연 제약 내에서 기존 접근법과 비교하여 해부학적 예측을 개선하고 선량 오차를 줄인다. 이러한 결과는 폐루프 결합이 실시간 영상 유도 중재를 위한 범용 전략임을 확립한다.