End-to-end spoken dialogue models such as GPT-4o-audio have recently garnered significant attention in the speech domain. However, the evaluation of spoken dialogue models' conversational performance has largely been overlooked. This is primarily due to the intelligent chatbots convey a wealth of non-textual information which cannot be easily measured using text-based language models like ChatGPT. To address this gap, we propose WavReward, a reward feedback model based on audio language models that can evaluate both the IQ and EQ of spoken dialogue systems with speech input. Specifically, 1) based on audio language models, WavReward incorporates the deep reasoning process and the nonlinear reward mechanism for post-training. By utilizing multi-sample feedback via the reinforcement learning algorithm, we construct a specialized evaluator tailored to spoken dialogue models. 2) We introduce ChatReward-30K, a preference dataset used to train WavReward. ChatReward-30K includes both comprehension and generation aspects of spoken dialogue models. These scenarios span various tasks, such as text-based chats, nine acoustic attributes of instruction chats, and implicit chats. WavReward outperforms previous state-of-the-art evaluation models across multiple spoken dialogue scenarios, achieving a substantial improvement about Qwen2.5-Omni in objective accuracy from 55.1$\%$ to 91.5$\%$. In subjective A/B testing, WavReward also leads by a margin of 83$\%$. Comprehensive ablation studies confirm the necessity of each component of WavReward. All data and code will be publicly at https://github.com/jishengpeng/WavReward after the paper is accepted.
3D 신경 표현(neural representation)과 인스턴스 수준 편집 모델의 최근 발전으로 고품질 3D 콘텐츠를 효율적으로 생성할 수 있게 되었다. 그러나 가우시안 스플래팅(Gaussian Splatting)에서 정밀한 로컬 3D 편집을 달성하는 것은 여전히 어려운 과제로, 비일관적인 멀티뷰 2D 파트 분할과 스코어 증류 샘플링(SDS) 손실의 본질적으로 모호한 특성이 주요 원인이다. 이러한 한계를 극복하기 위해, 우리는 정밀하고 대폭적인 파트 수준 수정을 가능하게 하는 새로운 로컬 3D 가우시안 편집 프레임워크인 RoMaP을 제안한다. 먼저, 구면 조화 함수(spherical harmonics, SH) 계수를 활용하여 시점 의존적 레이블 변화와 소프트 레이블 속성을 모델링하는 3D 기하 인식 레이블 예측(3D-GALP, 3D-Geometry Aware Label Prediction) 모듈을 도입하여 강건한 3D 마스크 생성을 수행하며, 이를 통해 다양한 시점에서 정확하고 일관된 파트 분할을 달성한다. 다음으로, 표준 SDS 손실에 추가적인 정규화 항을 결합한 정규화된 SDS 손실을 제안한다. 특히, 고품질의 파트 편집 2D 이미지를 생성하고 문맥적 일관성을 유지하면서 수정 범위를 목표 영역으로만 한정하는 Scheduled Latent Mixing and Part(SLaMP) 편집 방법을 통해 L1 앵커 손실을 도입한다. 가우시안 사전 제거(Gaussian prior removal)와 같은 추가적인 정규화 항은 기존 문맥을 넘어서는 변경을 허용하여 유연성을 높이고, 강건한 3D 마스킹은 의도치 않은 편집을 방지한다. 실험 결과, RoMaP은 재구성 및 생성된 가우시안 장면과 객체 모두에서 정성적·정량적으로 최첨단 로컬 3D 편집 성능을 달성하며, 더욱 강건하고 유연한 파트 수준 3D 가우시안 편집을 가능하게 함을 입증한다. 코드는 https://janeyeon.github.io/romap 에서 확인할 수 있다.
자동 간 초음파 보고서 생성은 해부학적 소견과 질환 관련 소견에 대한 임상적으로 구조화된 기술을 생성함으로써 간 질환의 진단을 향상시킨다. 그러나 현재의 생성형 비전-언어 모델(VLM)은 초음파 영상의 외관을 텍스트 기술로 직접 대응시키는 단일 추론 경로에 의존하는 경우가 많다. 이러한 설계는 본질적인 비전-언어 모달리티 간극에 더하여, 미묘한 시각적 근거, 이질적인 질환 양상, 제한된 쌍 지도 데이터로 인해 질환 해석이 제약되는 간 초음파에 한계가 있다. 이러한 한계를 해결하기 위해, 본 연구는 상호 보완적인 여러 전문가 에이전트를 사용하여 초음파 영상을 해석하고 판정자 주도 합의 메커니즘을 통해 그 출력을 통합하는 구조화된 다중 에이전트 임상 추론 프레임워크 SMILE(Structured Multi-agent clInicaL rEasoning)을 제안한다. 본 접근법은 형태학적 기술을 위한 영상 해석 에이전트, 임상 단계 추론 에이전트, 표적 질의를 위한 시각 질의응답(VQA) 에이전트의 세 가지 전문 에이전트를 사용한다. 이들 에이전트의 응답은 합의 필터링 프롬프트를 사용하는 판정자 VLM에 의해 취합되고 면밀히 검토되어, 통일되고 임상적으로 일관된 출력을 생성한다. 공개 간 초음파 데이터셋과 내부 임상 데이터셋 전반에서 SMILE은 최신 VLM을 일관되게 능가하여 ROUGE-1에서 최대 19.0%, 임상 F1 점수에서 최대 18.8%의 향상을 달성하였으며, VQA F1 점수는 공개 데이터셋과 내부 데이터셋에서 각각 0.82와 0.65에 도달하였다. 이러한 결과는 데이터가 부족하고 지도 데이터가 제한된 임상 환경에서 SMILE이 가진 잠재력을 보여 준다. 본 연구의 모델, 데이터셋, 코드는 \href{https://github.com/CMME-Lab/SMILE}{여기}에서 이용할 수 있다.
비전-언어 모델(VLM)이 깊이 지각 단서를 얼마나 활용하는지 평가하기 위해, 9가지 그림 깊이 단서를 개별 제어한 37K 이미지와 147K 질문 쌍으로 구성된 O3-D 데이터셋을 구축하고 12개 모델을 평가한 결과, 모든 모델이 우연 수준(47~56%)을 넘지 못했으며 강한 언어적 편향(language bias)이 확인되었다. 사고의 연쇄(CoT)나 문맥 내 학습(ICL)도 성능을 유의미하게 개선하지 못해, 정적 이미지 데이터만으로는 깊이 이해에 불충분할 수 있음을 시사한다.
추측 디코딩(Speculative decoding)은 경량 초안 모델(draft model)을 사용하여 여러 토큰을 제안하고 이를 타깃 모델이 병렬로 검증함으로써 자기회귀(autoregressive) 생성을 가속합니다. 그러나 표준 수락 규칙은 정확한 분포 보정에 초점을 맞추고 있어, 초안 모델이 초과 확률을 할당할 때 타깃 모델 관점에서 매우 타당한 토큰이라 하더라도 기각합니다. 이러한 보수적인 검증은 각 검증 순전파(forward pass) 이후 유지되는 초안 토큰의 수를 제한합니다. 본 논문에서는 타깃 모델의 타당성을 추측 디코딩에 통합하는 완화된 검증 방법인 뉴클리어스 추측 디코딩(Nucleus Speculative Decoding, NSD)을 소개합니다. NSD는 초안 토큰이 표준 수락 규칙을 만족하거나 타깃 모델의 뉴클리어스에 속하는 경우 이를 수락합니다. 본 연구는 제안 방법으로 인해 발생하는 분포 편차를 이론적으로 규명하며, 단일 단계 오류가 타깃 뉴클리어스 내 초안 모델의 초과 확률에 의해 정확히 결정됨을 보입니다. 나아가 자기회귀 디코딩 과정에서 국소 편차가 어떻게 누적되는지 정량화하는 시퀀스 수준의 충실도 경계(fidelity bounds)를 도출합니다. 다양한 타깃 모델과 제안 메커니즘 전반에 걸친 실험을 통해 NSD가 경쟁력 있는 태스크 성능을 유지하면서도 추측 디코딩 효율을 일관되게 향상함을 입증합니다. 제안 방법은 자기회귀 디코딩 대비 최대 $5.16\times$, 표준 추측 디코딩 대비 최대 $3.15\times$의 처리량 속도 향상을 달성합니다. 이러한 개선은 더 긴 수락 길이와 맞물려 각 타깃 검증 단계의 비용을 더 많은 출력 토큰이 분담할 수 있도록 합니다. 분석 결과에 따르면 타당성 인지 검증은 완화된 검증 및 추측 디코딩 효율성을 위한 효과적인 접근 방식을 제공합니다. 코드는 https://github.com/EIT-NLP/Nucleus-Speculative-Decoding 에서 제공됩니다.
퓨샷 클래스 증분 학습(FSCIL)은 이전 지식을 보존하면서 제한된 주석으로부터 새로운 클래스를 학습하는 것을 목표로 합니다. 기존 방법들은 일반적으로 충분히 큰 베이스 세션을 가정하지만, 베이스 데이터와 증분 데이터가 모두 부족한 경우에는 이러한 가정이 성립하지 않아 취약한 초기 표현, 의미론적 표류(semantic drift), 불안정한 경계가 발생합니다. 본 연구에서는 베이스 세션 자체에 소수의 클래스만 포함되는, 아직 충분히 탐구되지 않았으나 현실적인 설정인 일반화 가능한 FSCIL(G-FSCIL)을 연구합니다. 합성 데이터가 지도 신호(supervision)의 부족을 완화할 수는 있지만, 생성된 샘플을 단순하게 혼합하면 종종 의미론적 노이즈가 유입되고 기존-신규 클래스 간의 경계 충돌이 악화됩니다. 이를 해결하기 위해, 우리는 안정적인 G-FSCIL을 위한 신뢰할 수 있는 합성 지식을 선별(curate)하는 프레임워크를 제안합니다. 구체적으로, 먼저 동결된 잠재 확산 모델(latent diffusion model)을 사용하여 클래스별 합성 후보 풀을 구성하며, 이때 첫 관측 시점에 클래스 역전(class inversion)이 수행되고 도출된 조건 임베딩은 주문형(on-demand) 생성을 위해 재사용됩니다. 이러한 후보들을 기반으로 의미론적 일관성과 시각적 다양성을 모두 갖춘 샘플을 선택하는 지식 큐레이션 전략을 학습하고, 베이스 세션 동안 이 과정을 전이 가능한 선택 정책으로 증류하여 이후 추가적인 최적화 없이 재사용합니다. 선별된 합성 데이터를 활용하여, 기존-신규 클래스 간 충돌을 완화하기 위한 합성 데이터 기반 프로토타입 초기화와 양방향 경계 보정을 포함하는 경계 안정적인 증분 적응 기법을 추가로 설계합니다. 광범위한 실험을 통해 제안 방법이 망각을 줄이고 기존 클래스와 신규 클래스 간의 균형을 개선하면서 기존 FSCIL 베이스라인 모델들을 일관되게 능가함을 입증합니다. 코드는 https://github.com/NiHaoWoJiaoYYC/G-FSCIL 에서 확인할 수 있습니다.
생성 이미지를 탐지하려면 탐지기가 생성 이미지를 본 적이 있어야 하는가? AI 생성 이미지 탐지에는 두 가지 오랜 문제가 있다. 탐지기가 소수의 학습용 생성기에서 배운 단서는 각 생성기의 고유한 흔적을 담아 새로운 생성기로 잘 전이되지 않는다. 학습에 쓰는 실제 이미지와 생성 이미지의 형식과 내용도 서로 다르다. 탐지기가 이런 차이를 진위의 근거로 삼으면 진위와 무관한 요인에 따라 판정이 바뀌어 강건성과 일반화 성능이 모두 떨어진다. 두 문제는 모두 생성 이미지로 학습하는 데서 비롯된다. 생성 이미지로 학습하지 않는 탐지기는 두 문제를 출발점에서 대부분 피할 수 있다. 시각 파운데이션 모델은 사전학습 중에 이미 ‘AI로 생성됨’이라는 개념을 익혔으며, 텍스트로 그 개념을 직접 가리킬 수 있다. 이를 바탕으로 별도 학습이 필요 없는 탐지기 SaySee를 제안한다. Say는 진위만 다른 설명 쌍을 모아 생성 이미지에 대응하는 방향 벡터를 만들고, 이미지 임베딩을 그 방향에 투영해 점수를 매긴다. See는 실제 이미지로 형식, 이미지 유형, 내용에 따른 점수 오프셋을 보정한다. 표준 벤치마크, 실제 환경 데이터, 최신 생성기를 아우르는 평가 세트 24개에서 MoE-ViE를 사용한 SaySee의 평균 AUC는 98.2%로, 기존 최고 성능 탐지기보다 4.2%포인트 높았다. 이미지 형식과 진위의 연관성을 제거한 조건에서도 전체 비교 방법 중 가장 우수했다. 코드는 공개할 예정이다.
Two-stage deep object detectors generate a set of regions-of-interest (RoI) in the first stage, then, in the second stage, identify objects among the proposed RoIs that sufficiently overlap with a ground truth (GT) box. The second stage is known to suffer from a bias towards RoIs that have low intersection-over-union (IoU) with the associated GT boxes. To address this issue, we first propose a sampling method to generate bounding boxes (BB) that overlap with a given reference box more than a given IoU threshold. Then, we use this BB generation method to develop a positive RoI (pRoI) generator that produces RoIs following any desired spatial or IoU distribution, for the second-stage. We show that our pRoI generator is able to simulate other sampling methods for positive examples such as hard example mining and prime sampling. Using our generator as an analysis tool, we show that (i) IoU imbalance has an adverse effect on performance, (ii) hard positive example mining improves the performance only for certain input IoU distributions, and (iii) the imbalance among the foreground classes has an adverse effect on performance and that it can be alleviated at the batch level. Finally, we train Faster R-CNN using our pRoI generator and, compared to conventional training, obtain better or on-par performance for low IoUs and significant improvements when trained for higher IoUs for Pascal VOC and MS COCO datasets. The code is available at: https://github.com/kemaloksuz/BoundingBoxGenerator.
Given an incomplete image without additional constraint, image inpainting natively allows for multiple solutions as long as they appear plausible. Recently, multiplesolution inpainting methods have been proposed and shown the potential of generating diverse results. However, these methods have difficulty in ensuring the quality of each solution, e.g. they produce distorted structure and/or blurry texture. We propose a two-stage model for diverse inpainting, where the first stage generates multiple coarse results each of which has a different structure, and the second stage refines each coarse result separately by augmenting texture. The proposed model is inspired by the hierarchical vector quantized variational auto-encoder (VQ-VAE), whose hierarchical architecture isentangles structural and textural information. In addition, the vector quantization in VQVAE enables autoregressive modeling of the discrete distribution over the structural information. Sampling from the distribution can easily generate diverse and high-quality structures, making up the first stage of our model. In the second stage, we propose a structural attention module inside the texture generation network, where the module utilizes the structural information to capture distant correlations. We further reuse the VQ-VAE to calculate two feature losses, which help improve structure coherence and texture realism, respectively. Experimental results on CelebA-HQ, Places2, and ImageNet datasets show that our method not only enhances the diversity of the inpainting solutions but also improves the visual quality of the generated multiple images. Code and models are available at: https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting.
Spiking Neural Networks (SNNs) have recently emerged as a new generation of low-power deep neural networks, which is suitable to be implemented on low-power mobile/edge devices. As such devices have limited memory storage, neural pruning on SNNs has been widely explored in recent years. Most existing SNN pruning works focus on shallow SNNs (2~6 layers), however, deeper SNNs (>16 layers) are proposed by state-of-the-art SNN works, which is difficult to be compatible with the current SNN pruning work. To scale up a pruning technique towards deep SNNs, we investigate Lottery Ticket Hypothesis (LTH) which states that dense networks contain smaller subnetworks (i.e., winning tickets) that achieve comparable performance to the dense networks. Our studies on LTH reveal that the winning tickets consistently exist in deep SNNs across various datasets and architectures, providing up to 97% sparsity without huge performance degradation. However, the iterative searching process of LTH brings a huge training computational cost when combined with the multiple timesteps of SNNs. To alleviate such heavy searching cost, we propose Early-Time (ET) ticket where we find the important weight connectivity from a smaller number of timesteps. The proposed ET ticket can be seamlessly combined with a common pruning techniques for finding winning tickets, such as Iterative Magnitude Pruning (IMP) and Early-Bird (EB) tickets. Our experiment results show that the proposed ET ticket reduces search time by up to 38% compared to IMP or EB methods. Code is available at Github.
Large Transformer-based Pretrained Language Models (PLMs) dominate almost all Natural Language Processing (NLP) tasks. Nevertheless, they still make mistakes from time to time. For a model deployed in an industrial environment, fixing these mistakes quickly and robustly is vital to improve user experiences. Previous works formalize such problems as Model Editing (ME) and mostly focus on fixing one mistake. However, the one-mistake-fixing scenario is not an accurate abstraction of the real-world challenge. In the deployment of AI services, there are ever-emerging mistakes, and the same mistake may recur if not corrected in time. Thus a preferable solution is to rectify the mistakes as soon as they appear nonstop. Therefore, we extend the existing ME into Sequential Model Editing (SME) to help develop more practical editing methods. Our study shows that most current ME methods could yield unsatisfying results in this scenario. We then introduce Transformer-Patcher, a novel model editor that can shift the behavior of transformer-based models by simply adding and training a few neurons in the last Feed-Forward Network layer. Experimental results on both classification and generation tasks show that Transformer-Patcher can successively correct up to thousands of errors (Reliability) and generalize to their equivalent inputs (Generality) while retaining the model's accuracy on irrelevant inputs (Locality). Our method outperforms previous fine-tuning and HyperNetwork-based methods and achieves state-of-the-art performance for Sequential Model Editing (SME). The code is available at https://github.com/ZeroYuHuang/Transformer-Patcher.
Experimental design is a fundamental problem in many science and engineering fields. In this problem, sample efficiency is crucial due to the time, money, and safety costs of real-world design evaluations. Existing approaches either rely on active data collection or access to large, labeled datasets of past experiments, making them impractical in many real-world scenarios. In this work, we address the more challenging yet realistic setting of few-shot experimental design, where only a few labeled data points of input designs and their corresponding values are available. We approach this problem as a conditional generation task, where a model conditions on a few labeled examples and the desired output to generate an optimal input design. To this end, we introduce Experiment Pretrained Transformers (ExPT), a foundation model for few-shot experimental design that employs a novel combination of synthetic pretraining with in-context learning. In ExPT, we only assume knowledge of a finite collection of unlabelled data points from the input domain and pretrain a transformer neural network to optimize diverse synthetic functions defined over this domain. Unsupervised pretraining allows ExPT to adapt to any design task at test time in an in-context fashion by conditioning on a few labeled data points from the target task and generating the candidate optima. We evaluate ExPT on few-shot experimental design in challenging domains and demonstrate its superior generality and performance compared to existing methods. The source code is available at https://github.com/tung-nd/ExPT.git.
The ongoing trend of hardware specialization has led to a growing use of custom data formats when processing sparse workloads, which are typically memory-bound. These formats facilitate optimized software/hardware implementations by utilizing sparsity pattern- or target-aware data structures and layouts to enhance memory access latency and bandwidth utilization. However, existing sparse tensor programming models and compilers offer little or no support for productively customizing the sparse formats. Additionally, because these frameworks represent formats using a limited set of per-dimension attributes, they lack the flexibility to accommodate numerous new variations of custom sparse data structures and layouts. To overcome this deficiency, we propose UniSparse, an intermediate language that provides a unified abstraction for representing and customizing sparse formats. Unlike the existing attribute-based frameworks, UniSparse decouples the logical representation of the sparse tensor (i.e., the data structure) from its low-level memory layout, enabling the customization of both. As a result, a rich set of format customizations can be succinctly expressed in a small set of well-defined query, mutation, and layout primitives. We also develop a compiler leveraging the MLIR infrastructure, which supports adaptive customization of formats, and automatic code generation of format conversion and compute operations for heterogeneous architectures. We demonstrate the efficacy of our approach through experiments running commonly-used sparse linear algebra operations with specialized formats on multiple different hardware targets, including an Intel CPU, an NVIDIA GPU, an AMD Xilinx FPGA, and a simulated processing-in-memory (PIM) device.
Instance segmentation is crucial for autonomous driving but is hindered by the lack of annotated real-world data due to expensive labeling costs. Unsupervised Domain Adaptation (UDA) offers a solution by transferring knowledge from labeled synthetic data to unlabeled real-world data. While UDA methods for synthetic to real-world domains (synth-to-real) show remarkable performance in tasks such as semantic segmentation and object detection, very few have been proposed for instance segmentation in vision-based autonomous driving. Moreover, existing methods rely on suboptimal baselines, which severely limits performance. We introduce \textbf{UDA4Inst}, a powerful framework for synth-to-real UDA in instance segmentation. Our framework enhances instance segmentation through \textit{Semantic Category Training} and \textit{Bidirectional Mixing Training}. With the Semantic Category Training method, semantically related classes are grouped and trained separately, enabling the generation of higher-quality pseudo-labels and improved segmentation performance. We further propose a bidirectional cross-domain data mixing strategy that combines instance-wise and patch-wise mixing techniques to effectively utilize data from both source and target domains, producing realistic composite images that improve the model's generalization performance. Extensive experiments demonstrate the effectiveness of our methods. Our approach establishes a new state-of-the-art on the SYNTHIA->Cityscapes benchmark with mAP 31.3. Notably, we are the first to report results on multiple novel synth-to-real instance segmentation datasets, using UrbanSyn and Synscapes as source domains while Cityscapes and KITTI360 serve as target domains. Our code will be released soon.
Tiny object detection is one of the key challenges in the field of object detection. The performance of most generic detectors dramatically decreases in tiny object detection tasks. The main challenge lies in extracting effective features of tiny objects. Existing methods usually perform generation-based feature enhancement, which is seriously affected by spurious textures and artifacts, making it difficult to make the tiny-object-specific features visible and clear for detection. To address this issue, we propose a self-reconstructed tiny object detection (SR-TOD) framework. We for the first time introduce a self-reconstruction mechanism in the detection model, and discover the strong correlation between it and the tiny objects. Specifically, we impose a reconstruction head in-between the neck of a detector, constructing a difference map of the reconstructed image and the input, which shows high sensitivity to tiny objects. This inspires us to enhance the weak representations of tiny objects under the guidance of the difference maps. Thus, improving the visibility of tiny objects for the detectors. Building on this, we further develop a Difference Map Guided Feature Enhancement (DGFE) module to make the tiny feature representation more clear. In addition, we further propose a new multi-instance anti-UAV dataset, which is called DroneSwarms dataset and contains a large number of tiny drones with the smallest average size to date. Extensive experiments on the DroneSwarms dataset and other datasets demonstrate the effectiveness of the proposed method. The code and dataset will be publicly available.
A longstanding goal of artificial general intelligence is highly capable generalists that can learn from diverse experiences and generalize to unseen tasks. The language and vision communities have seen remarkable progress toward this trend by scaling up transformer-based models trained on massive datasets, while reinforcement learning (RL) agents still suffer from poor generalization capacity under such paradigms. To tackle this challenge, we propose Meta Decision Transformer (Meta-DT), which leverages the sequential modeling ability of the transformer architecture and robust task representation learning via world model disentanglement to achieve efficient generalization in offline meta-RL. We pretrain a context-aware world model to learn a compact task representation, and inject it as a contextual condition to the causal transformer to guide task-oriented sequence generation. Then, we subtly utilize history trajectories generated by the meta-policy as a self-guided prompt to exploit the architectural inductive bias. We select the trajectory segment that yields the largest prediction error on the pretrained world model to construct the prompt, aiming to encode task-specific information complementary to the world model maximally. Notably, the proposed framework eliminates the requirement of any expert demonstration or domain knowledge at test time. Experimental results on MuJoCo and Meta-World benchmarks across various dataset types show that Meta-DT exhibits superior few and zero-shot generalization capacity compared to strong baselines while being more practical with fewer prerequisites. Our code is available at https://github.com/NJU-RL/Meta-DT.
Large language models (LLMs) are increasingly used as automatic evaluators in applications such as benchmarking, reward modeling, and self-refinement. Prior work highlights a potential self-preference bias where LLMs favor their own generated responses, a tendency often intensifying with model size and capability. This raises a critical question: Is self-preference detrimental, or does it simply reflect objectively superior outputs from more capable models? Disentangling these has been challenging due to the usage of subjective tasks in previous studies. To address this, we investigate self-preference using verifiable benchmarks (mathematical reasoning, factual knowledge, code generation) that allow objective ground-truth assessment. This enables us to distinguish harmful self-preference (favoring objectively worse responses) from legitimate self-preference (favoring genuinely superior ones). We conduct large-scale experiments under controlled evaluation conditions across diverse model families (e.g., Llama, Qwen, Gemma, Mistral, Phi, GPT, DeepSeek). Our findings reveal three key insights: (1) Better generators are better judges -- LLM evaluators' accuracy strongly correlates with their task performance, and much of the self-preference in capable models is legitimate. (2) Harmful self-preference persists, particularly when evaluator models perform poorly as generators on specific task instances. Stronger models exhibit more pronounced harmful bias when they err, though such incorrect generations are less frequent. (3) Inference-time scaling strategies, such as generating a long Chain-of-Thought before evaluation, effectively reduce the harmful self-preference. These results provide a more nuanced understanding of LLM-based evaluation and practical insights for improving its reliability.
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)을 매개변수 지식 너머로 확장하지만, 특히 희소하고 이질적인 근거에 걸친 다단계 추론(multi-hop reasoning)이 필요한 과학 분야에서 반복적인 검색-추론 루프가 정적 RAG를 언제 유의미하게 능가하는지는 명확하지 않습니다. 본 연구에서는 동기화된 반복적 검색과 추론이 이상화된 정적 상한선(Gold Context) RAG마저 넘어설 수 있는지에 대해 최초로 통제된 기저 메커니즘 수준의 진단 평가를 제공합니다. 우리는 11개의 최신 LLM을 세 가지 체제에서 벤치마크했습니다: (i) 매개변수 메모리 의존도를 측정하는 No Context, (ii) 모든 정답 근거(oracle evidence)를 한 번에 제공하는 Gold Context, (iii) 검색, 가설 개선, 근거 인식 기반 중단을 번갈아 수행하는 학습(training) 없는 컨트롤러인 Iterative RAG. 화학에 특화된 ChemKGMultiHopQA 데이터셋을 사용하여 진정한 검색이 필요한 질문들을 격리하고, 검색 커버리지 격차, 앵커 전달 손실(anchor carry drop), 쿼리 품질, 구성 충실도(composition fidelity), 제어 보정(control calibration)을 분석합니다. Iterative RAG는 특히 비추론 파인튜닝 모델에서 최대 25.6%p의 성능 향상을 보이며 Gold Context를 일관되게 능가합니다. 단계적 검색은 후반 단계(late-hop)의 실패를 줄이고, 문맥 과부하(context overload)를 완화하며, 초기 가설 드리프트의 동적 수정을 가능하게 하지만, 불완전한 단계별 커버리지, 방해 요소 고착 궤적(distractor latch trajectories), 조기 종료(early stopping) 오보정, 완벽한 검색 상태에서도 발생하는 높은 구성 실패율 등의 실패 모드는 여전히 존재합니다. 종합적으로, 단계적 검색의 과정은 이상적인 근거의 단순한 존재보다 종종 더 큰 영향을 미칩니다. 우리는 특화된 과학 환경에서 RAG를 배포하고 진단하기 위한 실질적인 지침을 제공합니다. 코드 및 평가 결과는 https://github.com/Matroid1998/Iterative-rag 에서 확인할 수 있습니다.
본 논문은 원샷 새로운 시점 및 자세 인간 이미지 합성의 문제를 다룹니다. 기존 방법들은 2D 자세 키포인트 세트를 사용하여 참조 인간 이미지를 목표 자세로 변환하거나, 인간 모델 사전(prior)을 사용하여 점별(point-wise) 특징을 추출하는 일반화 가능한 인간 NeRF를 기반으로 인간 이미지를 합성합니다. 그러나 자세 변환 기반 방법들은 모호한 2D 자세를 조건으로 사용하여 복잡한 인간 자세를 처리할 수 없는 반면, 일반화 가능한 인간 NeRF는 신뢰할 수 있는 특징이 추출되지 않으면 가려지거나 보이지 않는 인간 부분을 복원하는 데 부정확할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 조건부 디노이징 확산 모델을 통해 단일 인간 이미지에서 새로운 시점과 자세를 합성하는 새로운 접근법을 제안합니다. 제안하는 확산 모델은 새로운 시점 및 자세 합성 문제를 일련의 조건부 디노이징 단계로 나눕니다. 구체적으로, 복잡하고 임의의 자세를 가진 인간을 생성하기 위해 3D 인간 사전, 즉 3D 노말 맵과 컬러 프롬프트를 생성 과정에 기하학 및 색상 조건으로 도입합니다. 일련의 확산 단계를 통해 참조 인간을 목표 인간으로 변환함으로써, 제안하는 확산 모델은 가려지거나 보이지 않는 부분을 포함하여 고품질의 합성을 가능하게 합니다. 또한, 새로운 사람에 대해 테스트할 때 미세한 디테일을 향상시키기 위해 자기 재구성 기반의 맞춤형 정제(refinement) 방법을 제안합니다. 다양한 공개 데이터셋에 대한 실험 결과, 제안하는 방법이 기존 방법들을 상당히 능가하며 데이터셋 간에 더 우수한 일반화 능력을 보임을 입증했습니다. 코드는 https://github.com/Yankeegsj/3DPGDM 에서 공개될 예정입니다.
기존 광학 흐름(optical flow) 방법은 크게 두 가지 패러다임을 따른다: 반복적 최적화와 확산 기반 추정. RAFT로 대표되는 반복적 방법은 순환적 정제를 통해 높은 정확도를 달성하지만, 큰 변위와 복잡한 움직임에는 여전히 어려움을 겪는다. 확산 기반 방법은 생성 모델링을 도입하여 이러한 모호한 영역에서 가능성을 보인다. 그러나 기존 확산 모델들은 대개 가벼운 네트워크로 신뢰할 수 있는 움직임을 이미 추정할 수 있는 단순한 영역을 포함하여, 전체 밀집 흐름 필드를 가우시안 노이즈에서부터 디노이징한다. 이는 디노이징 부담을 늘리고 느린 수렴과 불안정한 학습을 초래할 수 있다. 이 문제를 해결하기 위해 우리는 FlowPainter를 제안한다. 이는 밀집 흐름 생성을 신뢰도 기반 소프트 인페인팅(soft inpainting)으로 재정의하는 확산 기반 광학 흐름 프레임워크다. FlowPainter는 경량의 신뢰도 인식 네트워크를 사용하여 대략적인 흐름과 픽셀 단위 신뢰도 마스크를 예측함으로써, 신뢰할 수 있는 단순 영역과 불확실한 어려운 영역을 구분한다. 이렇게 얻은 단순 흐름 사전(simple-flow prior)은 신뢰도 기반 초기화에 활용되며, 신뢰도 게이트 잔차 가이던스(confidence-gated residual guidance)를 통해 반복적 디노이징에 추가로 주입된다. 동적으로 감쇠하는 가이던스 강도를 통해 FlowPainter는 초기 디노이징을 안정화하면서도 후기 단계 세부 정제를 위한 확산 모델의 유연성을 보존한다. Sintel, KITTI, Spring을 포함한 공개 벤치마크에서의 광범위한 실험 결과, FlowPainter는 비교 가능한 학습 환경에서 높은 정확도를 달성하고 기존 확산 기반 광학 흐름 방법보다 더 효율적으로 수렴하며, 어려운 벤치마크 분할에서 눈에 띄는 성능 향상을 보인다. 우리의 접근법은 신뢰할 수 있는 판별적 사전(discriminative prior)과 확산 기반 정제를 광학 흐름 추정에 통합하는 실용적인 방법을 제시한다. 코드는 https://github.com/mya012/FlowPainter 에서 공개적으로 이용 가능하다.