Prompt Performance Prediction for Image Generation
원문 초록
The ability to predict the performance of a query before results are returned has been a longstanding challenge in Information Retrieval (IR) systems. Inspired by this task, we introduce, in this paper, a novel task called "Prompt Performance Prediction" (PPP) that aims to predict the performance of a prompt, before obtaining the actual generated images. We demonstrate the plausibility of our task by measuring the correlation coefficient between predicted and actual performance scores across: three datasets containing pairs of prompts and generated images AND three art domain datasets of real images and real user appreciation ratings. Our results show promising performance prediction capabilities, suggesting potential applications for optimizing user prompts.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당
AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking
비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.
Deep Neural Networks for YouTube Recommendations
RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색
RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.
READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크
READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis
시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.
서로 다른 가정 하에서 MS/MS 스펙트럼 기반 핑거프린트 예측을 위한 최근접 이웃 기준선
Nearest-neighbour baselines for fingerprint prediction from MS/MS spectra under different assumptions
최근 MS/MS 스펙트럼으로부터 분자 핑거프린트를 예측하는 작업에서 최근접 이웃(nearest-neighbour) 검색이 강력한 기준선(baseline)을 제공하며, 여러 변형 방식이 현재의 심층 학습(deep learning) 모델과 대등하거나 이를 능가하는 성능을 보인다는 사실이 입증되었습니다 (Khoo and Barzilay, 2026; Liu et al., 2026; Gupta et al., 2026). 중요한 점은 "최근접 이웃"이 추론(inference) 시 활용 가능하다고 가정하는 정보에 따라 달라지는 검색 방법군을 포괄한다는 것입니다. 본 보고서에서는 여러 최근접 이웃 변형을 체계적으로 비교하고, 이러한 서로 다른 가정이 성능에 어떤 영향을 미치는지 보여줍니다. 우리의 목표는 보다 엄밀한 벤치마킹을 가능하게 하고 이 분야의 발전을 더 잘 측정할 수 있도록 더 엄격한 기준선을 확립하는 것입니다.
다단계 임베딩 검색을 통한 시각적 공간에서의 경로 탐색 학습
Learning to Route in Visual Space via Multi-Step Embedding Retrieval
대규모 언어 모델(LLM) 에이전트는 외부 지식에 접근하기 위해 검색 도구에 의존하지만, 시각적 에이전트 탐색은 여전히 표준 단일 단계 검색기로 인해 심각한 병목 현상을 겪고 있습니다. 현재의 파이프라인에서는 에이전트가 모든 중간 단계마다 텍스트 쿼리를 생성해야 하므로, 시각적 단서를 설명하기 어렵거나 검색기가 상위 결과 내에 필요한 중간 증거를 제시하지 못할 때 어려움을 겪습니다. 본 논문에서는 전체 임베딩 공간에 걸친 다단계 탐색을 검색 도구로 직접 위임함으로써 이러한 성능 병목 현상을 해결할 수 있다는 가설을 세웁니다. 이를 체계적으로 연구하기 위해 시각적 매칭과 검색 계획을 모두 테스트하는 5가지 핵심 난이도를 갖춘 유연한 데이터 생성 프레임워크이자 벤치마크인 VHOP을 소개합니다. 이 프레임워크를 바탕으로 지도 미세조정(supervised fine-tuning), 온라인 모방 학습, 강화학습을 결합하여 표준 임베딩 모델을 자기회귀적 다단계 검색기로 변환하는 엔드투엔드 학습 파이프라인인 VHOP-Router를 개발했습니다. 시각적 잠재 공간(latent space)에서 직접 동작하는 VHOP-Router는 에이전트가 중간 텍스트 쿼리를 작성할 필요 없이 단 한 번의 도구 호출로 연결된 이미지 체인을 검색합니다. 실험 결과에 따르면 VHOP-Router는 검색 성능을 5% 미만에서 76.3%로 크게 향상시킵니다. 에이전트 탐색에서 작업 성공률을 52.7% 향상시키고 평균 토큰 길이를 1886개에서 728개로 61% 감소시킨 반면, 에이전트 자체를 업그레이드했을 때는 3.7%의 성능 향상에 그쳤습니다. 에이전트가 단계마다 상위 50개 결과를 검색하는 강력한 기준선과 비교했을 때, VHOP-Router는 문맥 내(in-context) 이미지를 23배 줄이고 누적 API 페이로드를 35배 절감하면서도 우수한 성능을 유지합니다. 또한 이 모델들은 학습 시 보지 못한 난이도와 실제 테스트 세트에서도 견고한 일반화 성능을 보입니다. 궁극적으로 VHOP과 VHOP-Router는 고유한 LLM 기능을 완전히 온전하게 유지하면서 시각적 에이전트 탐색을 위한 효율적이고 효과적인 솔루션을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.