Software vulnerabilities such as buffer overflows and SQL injections are a major source of security breaches. Traditional methods for vulnerability detection remain essential but are limited by high false positive rates, scalability issues, and reliance on manual effort. These constraints have driven interest in AI-based approaches to automated vulnerability detection and secure code generation. While Large Language Models (LLMs) have opened new avenues for classification tasks, their complexity and opacity pose challenges for interpretability and deployment. Sparse Autoencoder offer a promising solution to this problem. We explore whether SAEs can serve as a lightweight, interpretable alternative for bug detection in Java functions. We evaluate the effectiveness of SAEs when applied to representations from GPT-2 Small and Gemma 2B, examining their capacity to highlight buggy behaviour without fine-tuning the underlying LLMs. We found that SAE-derived features enable bug detection with an F1 score of up to 89%, consistently outperforming fine-tuned transformer encoder baselines. Our work provides the first empirical evidence that SAEs can be used to detect software bugs directly from the internal representations of pretrained LLMs, without any fine-tuning or task-specific supervision.
Text-based speech editing (TSE) modifies speech using only text, eliminating re-recording. However, existing TSE methods, mainly focus on the content accuracy and acoustic consistency of synthetic speech segments, and often overlook the emotional shifts or inconsistency issues introduced by text changes. To address this issue, we propose EmoCorrector, a novel post-correction scheme for TSE. EmoCorrector leverages Retrieval-Augmented Generation (RAG) by extracting the edited text's emotional features, retrieving speech samples with matching emotions, and synthesizing speech that aligns with the desired emotion while preserving the speaker's identity and quality. To support the training and evaluation of emotional consistency modeling in TSE, we pioneer the benchmarking Emotion Correction Dataset for TSE (ECD-TSE). The prominent aspect of ECD-TSE is its inclusion of $<$text, speech$>$ paired data featuring diverse text variations and a range of emotional expressions. Subjective and objective experiments and comprehensive analysis on ECD-TSE confirm that EmoCorrector significantly enhances the expression of intended emotion while addressing emotion inconsistency limitations in current TSE methods. Code and audio examples are available at https://github.com/AI-S2-Lab/EmoCorrector.
A hallmark of human innovation is the process of recombination -- creating original ideas by integrating elements of existing mechanisms and concepts. In this work, we automatically mine the scientific literature and build CHIMERA: a large-scale knowledge base (KB) of recombination examples. CHIMERA can be used to empirically explore at scale how scientists recombine concepts and take inspiration from different areas, or to train supervised machine learning models that learn to predict new creative cross-domain directions. To build this KB, we present a novel information extraction task of extracting recombination from scientific paper abstracts, collect a high-quality corpus of hundreds of manually annotated abstracts, and use it to train an LLM-based extraction model. The model is applied to a large corpus of papers in the AI domain, yielding a KB of over 28K recombination examples. We analyze CHIMERA to explore the properties of recombination in different subareas of AI. Finally, we train a scientific hypothesis generation model using the KB, which predicts new recombination directions that real-world researchers find inspiring. Our data and code are available at https://github.com/noy-sternlicht/CHIMERA-KB
Writing GPU kernels is a challenging task and critical for AI systems' efficiency. It is also highly iterative: domain experts write code and improve performance through execution feedback. Moreover, it presents verifiable rewards like correctness and speedup, making it a natural environment to apply Reinforcement Learning (RL). To explicitly incorporate the iterative nature of this process into training, we develop a flexible multi-turn RL recipe that addresses unique challenges encountered in real-world settings, such as learning from long trajectories and effective reward attribution across turns. We present Kevin - K(ernel D)evin, the first model trained with multi-turn RL for CUDA kernel generation and optimization. In our evaluation setup, Kevin shows significant gains over its base model (QwQ-32B), improving correctness of generated kernels (in pure CUDA) from 56% to 82% and mean speedup from 0.53x to 1.10x of baseline (PyTorch Eager), and surpassing frontier models like o4-mini (0.78x). Finally, we study its behavior across test-time scaling axes: we found scaling serial refinement more beneficial than parallel sampling. In particular, when given more refinement turns, Kevin shows a higher rate of improvement.
본 연구는 표현 기반 비전-행동 토크나이저를 기반으로 구축한 표현 중심의 월드 액션 모델(WAM)인 RepWAM을 제안한다. 기존 WAM은 일반적으로 사전학습된 비디오 생성 모델로부터 재구성 지향 비디오 토크나이저를 계승한다. 이러한 토크나이저는 시각적 충실도를 보존하지만, 픽셀 재구성만으로는 미래 예측과 로봇 제어를 연결하는 지시 따르기 역학을 학습하는 데 제한적인 안내를 제공한다. 이를 해결하기 위해, 본 연구는 표현 중심 월드 액션 모델링을 위한 의미론적 비전-행동 잠재 공간을 탐구한다. 구체적으로, 시각 입력을 정렬된 시각 토큰과 잠재 행동 토큰으로 매핑하는 표현 기반 비전-행동 토크나이저를 학습한다. 그런 다음 언어 지시 하에서 미래 시각 상태와 이를 연결하는 잠재 행동을 공동 모델링하도록 WAM을 사전학습하고, 폐루프 조작을 위해 실제 로봇 궤적으로 적응시킨다. 실세계 조작 작업과 시뮬레이션 벤치마크에서의 실험은 RepWAM이 다양한 조작 환경에서 강력한 성능을 보여주며, ablation 연구는 재구성 지향 대안보다 의미론적 비전-행동 토큰화의 가치를 강조함을 보여준다. 이러한 결과는 표현 기반 비전-행동 토큰화가 월드 액션 모델의 유망한 기반이자 범용 로봇 정책을 향한 한 걸음임을 확립한다. 코드와 가중치는 https://github.com/wdrink/RepWAM 에서 제공될 예정이다.
흉부 X-ray(CXR) 분석을 위한 비전-언어 모델(VLM) 평가는 대부분 시각적 그라운딩(visual grounding) 없이 질병 존재 여부 분류에 국한되어 왔다. 이러한 평가는 VLM의 임상적 신뢰성을 보장하는 데 필요한 전문가 수준의 병변 인지를 검증하지 못한다. 이 한계를 해결하기 위해, 우리는 방사선 전문의의 인지적 작업 흐름을 거친(coarse-level) 탐지, 세밀(fine-level) 수준의 윤곽 평가 및 수정, 의미(semantic-level) 수준의 속성 추출을 반영하는 순차적 다층 인지 벤치마크인 CheXpercept를 소개한다. 대규모로 높은 임상적 충실도를 보장하기 위해, 우리는 6명의 의료 전문가 검토와 함께 반자동 생성 파이프라인을 사용하여 데이터셋을 구축했다. CheXpercept는 2,100건의 CXR에서 파생된 10,400개의 QA 항목을 포함하며, 임상적으로 중요한 7가지 폐·심장 병변을 다룬다. VLM 인지의 현재 지형을 보여주기 위해, 우리는 CheXpercept에서 14개의 일반 및 의료 VLM을 벤치마크했다. 모델들은 coarse 수준에서만 충분한 성능을 보이며, 더 깊은 시각 과제에서 정확도가 급격히 저하된다. 특히 의료 VLM은 일반 도메인 대응 모델에 비해 거의 인지적 이점을 보이지 않으며, 이는 현재 도메인 적응의 체계적 결함을 부각한다. 코드와 데이터셋은 공개 예정이다.
EVIS는 NVIDIA Isaac Sim 내에서 픽셀별 비동기 대비 이벤트 모델과 양방향 모션 벡터 워핑 기반 프레임 보간을 결합하여, 단일 GPU에서 실시간으로 완전 레이블된 이벤트 스트림을 생성하는 물리 기반 이벤트 카메라 플러그인이다. 센서 노이즈·모션 블러 모델링으로 실제 카메라와의 도메인 갭을 줄였으며, 생성된 스트림은 E2VID, E-RAFT, Match-Any-Events 등 사전학습된 이벤트 네트워크에서 수정 없이 바로 활용 가능함을 검증했다.
Text-to-SQL은 대규모 언어 모델(LLM)로 빠르게 발전했지만, 복잡한 데이터베이스 쿼리는 여전히 원샷(one-shot) 생성을 넘어서는 추론을 필요로 하며, 다단계 분해, 실행 기반 진단, 표적 수정 등을 포함한다. 본 연구는 생성기(generator)와 비판자(critic) 간의 반복적 상호작용으로 SQL 합성을 공식화하는 공진화(co-evolution) 프레임워크인 EvoSQL을 제안한다. EvoSQL은 맥락화된 후보 메모리를 유지하고, 실행 신호와 LLM 기반 비평을 모두 활용해 SQL 후보를 검증하며, 유틸리티 유도 집계를 통해 메모리를 갱신한다. 기본 생성기-비판자 쌍을 강화하기 위해, 현대적인 코딩 LLM 백본에 실행 인식 지도를 주입하는 자기 증류 정책 최적화(Self-Distillation Policy Optimization, SDPO) 미세조정 단계를 추가로 도입한다. Spider와 BIRD에서의 실험은 EvoSQL이 Maj@16 베이스라인 대비 오픈소스 모델을 일관되게 개선함을 보여주며, 특히 BIRD-Dev에서 Qwen3-4B의 +1.37%부터 Qwen2.5-Coder-3B의 +9.19%까지 큰 폭의 향상을 보인다. SDPO 초기화는 Spider-Test와 BIRD-Dev에서 선택된 백본을 추가로 개선한다. 이 결과는 메모리 그라운딩 공진화가 더 신뢰할 수 있고 일반화 가능한 Text-to-SQL 시스템을 향한 효과적인 경로임을 시사한다. 코드는 https://github.com/valleysprings/EvoSQL 에서 이용 가능하다.
확산 모델(DM)은 MRI 재구성을 위한 강력한 생성적 사전(prior)으로 부상하여 유망한 결과를 보여 왔다. 그러나 DM 기반 방법은 광범위한 반복적 정제를 요구하여 실용적 배포를 제한한다. 일관성 모델(CM)은 확산 궤적을 단일 패스(single pass)로 매핑하여 더 빠른 생성을 가능하게 하는 매력적인 대안을 제공한다. 본 연구에서는 사전학습된 CM을 디노이징에 의한 정규화(RED, regularization by denoising) 체계에 통합한 새로운 MRI 재구성 방법인 CM-RED를 제안한다. 우리 방법은 가속 근접 그래디언트 RED(RED-APG)를 기반으로 하며, 업데이트 단계에서 제어된 노이즈 주입을 추가하여 생성적 다양성을 높이고 수렴을 가속한다. fastMRI 무릎 및 뇌 데이터셋에 대한 광범위한 실험은 CM-RED가 단 4회의 네트워크 함수 평가(NFE)만으로 여러 해부학적 부위, 대조 가중(contrast weight), 가속 인자, 언더샘플링 패턴에 걸쳐 고품질 재구성을 달성함을 보여준다. 제안 방법은 정량적 지표와 시각적 충실도 모두에서 기존 DM 및 CM 기반 접근법을 일관되게 능가하며, 하이퍼파라미터 변화에 대한 강한 견고성을 보여 가속 MRI 재구성을 위한 효율적이고 효과적인 생성 프레임워크로서 CM-RED를 부각한다. 소스 코드와 사전학습 모델은 https://github.com/MerveGulle/CM-RED 에서 공개적으로 이용 가능하다.
대규모 언어 모델(LLM) 에이전트는 장기적인(long-horizon) 태스크에서 여전히 신뢰성이 떨어지는데, 이러한 태스크에서는 사소한 국소적 실패가 장시간의 상호작용 과정에서 누적되어 태스크 전체의 실패로 이어질 수 있습니다. 외부 하네스(harness)를 사용하면 견고성을 크게 향상시킬 수 있지만, 하네스 설계는 프롬프트, 툴 설정, 제어 로직에 이르는 방대한 공간을 탐색해야 하는 수작업 중심의 비용이 많이 드는 과정으로 남아 있습니다. 본 논문에서는 하네스 개선을 오프라인 학습 문제로 공식화하고 미니배치에서 얻은 실패 신호를 활용하여 하네스를 반복적으로 업데이트하는 하네스 자동 최적화 프레임워크인 AutoSaddler를 제안합니다. AutoSaddler는 실패 궤적 진단, 하네스를 코드로 취급하는 구조화된 패치 생성, 그리고 검증 기반의 업데이트 선택을 결합합니다. GAIA2, SWE-Bench Pro, Terminal-Bench 2.0에 대한 실험 결과, AutoSaddler는 해당 베이스 하네스 대비 에이전트 성능을 실질적으로 향상시켜 각각 9.0%p, 9.6%p, 10.0%p의 향상을 달성함을 보여줍니다. 소거 연구(ablation study)는 또한 효과적인 하네스 최적화가 얕은 반성(reflection)보다는 심층 디버깅, 제약 없는 편집보다는 표적화된 수정, 그리고 궤적별 개별 수리보다는 일반화를 고려한 선택이라는 세 가지 요소로부터 이점을 얻음을 시사합니다. 종합적으로 이러한 결과는 하네스 자동 최적화가 더욱 우수한 성능과 신뢰성을 갖춘 에이전트 시스템을 향한 유망한 경로임을 시사합니다.
에이전트적 AI(agentic AI)의 부상은 자기 반복(self-iterating) 시스템으로의 전환을 촉진하며, 프로덕션 추천 모델의 자율 최적화(optimization)를 위한 새로운 전선을 열었다. 본 논문은 프로덕션 대규모 Two-Tower 검색(retrieval) 모델에 직접 배포된 지식 기반 자율 에이전트 시스템의 경험적 검증을 제시한다. 아이디어 생성, 코드 구현, 오프라인 학습(training), 및 지표 평가(evaluation)에 이르는 전체 연구 수명주기를 지속적인 폐쇄 루프(closed-loop) 자율 프레임워크에 위임함으로써, 에이전트 시스템은 처음부터 40회 이상의 완료된 자율 학습 실행을 수행했다. 이 실행들을 엄격한 프로덕션 규모 평가 하에서 수행하면서, 시스템은 최신 프로덕션 모델의 숨겨진 아키텍처 병목을 체계적으로 탐색하여 NDCG에서 약 20% 상대적 개선이라는 돌파구를 달성했으며, 이는 라이브 프로덕션 트래픽에서 사용자 만족도 +3.77% 증가로 직접 이어졌다. 또한 배포 과정에서 에이전트 시스템이 보상 해킹(reward-hacking) 지름길을 자율적으로 발견하면서, 표준 평가 프로토콜의 치명적 취약점이 드러났다. 이 결과는 자율 파이프라인이 머신러닝 연구의 속도를 극적으로 가속하고 기반 실험 인프라의 엄밀성을 스트레스 테스트할 수 있음을 입증하며, 동시에 보상 해킹(reward hacking)과 실패한 가설의 중복 탐험(exploration)과 같은 새로운 과제도 드러낸다.
검증 가능한 보상(reward)을 사용하는 사후 학습(post-training)은 보상 해킹(reward hacking)을 유발할 수 있으며, 이에 따라 모니터를 단순히 오프라인 감사용으로만 쓰지 않고 학습(training) 목표 내에 포함하여 활용하려는 시도가 이어지고 있습니다. 본 연구에서는 모니터 판독값이 낮다고 해서 이러한 개입이 모델의 행동을 실제로 제어하는지 여부를 판별할 수는 없음을 보입니다. 추론 과정(reasoning trace)의 시작 부분에서 주요 익스플로잇(exploit)을 활용할 수 있는 코드 생성 환경(environment)에서, 동일한 오프라인 게이트를 통과한 세 가지 모니터(도메인 내 활성화 프로브 1개 및 정책이 자체 최종 답변을 얼마나 일찍 확정하는지에 따라 페널티를 부여하는 방식 2개)를 대상으로 정책을 학습시켰습니다. 프로브 점수는 기록된 첫 번째 학습 단계부터 수치적 최저치(floor)에 머물렀으며, 모든 접두 문맥(prefix) 학습 실행의 종점 기준 학습 점수 중앙값은 0이었습니다. 이러한 판독값들은 서로 다른 양을 추정하므로 척도를 직접 비교하지는 않지만, 각 모니터 계열 내에서 낮은 수치 자체가 행동 제어를 입증하지는 못합니다. 하나의 고정된 구성 내에서도 동일한 0의 중앙값 학습 점수를 갖는 접두 문맥 학습 실행들은 시드(seed) 차이만으로도 해킹 비율이 낮은 혼합 영역부터 거의 순수한 보상 해킹에 이르는 범위까지 다양하게 나타납니다. 모든 프로브 실행은 해킹 영역에 도달하지만, 이들의 최저치 판독값은 프로브가 검증된 위치와 학습 중 읽힌 위치 간의 불일치를 반영할 뿐 이러한 모호성의 또 다른 사례는 아닙니다. 텍스트 수준 분석 결과 접두 문맥의 실패 모드가 확인되었습니다. 일반적인 계획 수립과 무의미한 껍데기(filler shell) 문구가 익스플로잇을 최종 출력에서 제거하지 않고 단지 기준 지점 이후로 미루는 현상입니다. 따라서 낮게 측정된 확정도는 낮은 해킹 비율과 익스플로잇에 대한 지연된 확정을 구분하지 못합니다. 오프라인 판별 능력과 모니터에 정렬된 낮은 판독값만으로는 행동 제어의 충분한 증거가 될 수 없으며, 대역 외(out-of-band) 행동 검증이 필수적입니다. 본 연구는 판독값의 진화 과정이 아닌 종점 판독값을 특성화합니다. 코드는 https://github.com/zhezhou1106/spoof-cost 에서 확인할 수 있습니다.
How can we effectively utilise the 2D monocular image information for recovering the 6D pose (6-DoF) of the visual objects? Deep learning has shown to be effective for robust and real-time monocular pose estimation. Oftentimes, the network learns to regress the 6-DoF pose using a naive loss function. However, due to a lack of geometrical scene understanding from the directly regressed pose estimation, there are misalignments between the rendered mesh from the 3D object and the 2D instance segmentation result, e.g., bounding boxes and masks prediction. This paper bridges the gap between 2D mask generation and 3D location prediction via a differentiable neural mesh renderer. We utilise the overlay between the accurate mask prediction and less accurate mesh prediction to iteratively optimise the direct regressed 6D pose information with a focus on translation estimation. By leveraging geometry, we demonstrate that our technique significantly improves direct regression performance on the difficult task of translation estimation and achieve the state of the art results on Peking University/Baidu - Autonomous Driving dataset and the ApolloScape 3D Car Instance dataset. The code can be found at \url{https://bit.ly/2IRihfU}.
We present a novel framework for mesh reconstruction from unstructured point clouds by taking advantage of the learned visibility of the 3D points in the virtual views and traditional graph-cut based mesh generation. Specifically, we first propose a three-step network that explicitly employs depth completion for visibility prediction. Then the visibility information of multiple views is aggregated to generate a 3D mesh model by solving an optimization problem considering visibility in which a novel adaptive visibility weighting in surface determination is also introduced to suppress line of sight with a large incident angle. Compared to other learning-based approaches, our pipeline only exercises the learning on a 2D binary classification task, \ie, points visible or not in a view, which is much more generalizable and practically more efficient and capable to deal with a large number of points. Experiments demonstrate that our method with favorable transferability and robustness, and achieve competing performances \wrt state-of-the-art learning-based approaches on small complex objects and outperforms on large indoor and outdoor scenes. Code is available at https://github.com/GDAOSU/vis2mesh.
Reproducibility is of utmost concern in machine learning and natural language processing (NLP). In the field of natural language generation (especially machine translation), the seminal paper of Post (2018) has pointed out problems of reproducibility of the dominant metric, BLEU, at the time of publication. Nowadays, BERT-based evaluation metrics considerably outperform BLEU. In this paper, we ask whether results and claims from four recent BERT-based metrics can be reproduced. We find that reproduction of claims and results often fails because of (i) heavy undocumented preprocessing involved in the metrics, (ii) missing code and (iii) reporting weaker results for the baseline metrics. (iv) In one case, the problem stems from correlating not to human scores but to a wrong column in the csv file, inflating scores by 5 points. Motivated by the impact of preprocessing, we then conduct a second study where we examine its effects more closely (for one of the metrics). We find that preprocessing can have large effects, especially for highly inflectional languages. In this case, the effect of preprocessing may be larger than the effect of the aggregation mechanism (e.g., greedy alignment vs. Word Mover Distance).
Unified vision-language frameworks have greatly advanced in recent years, most of which adopt an encoder-decoder architecture to unify image-text tasks as sequence-to-sequence generation. However, existing video-language (VidL) models still require task-specific designs in model architecture and training objectives for each task. In this work, we explore a unified VidL framework LAVENDER, where Masked Language Modeling (MLM) is used as the common interface for all pre-training and downstream tasks. Such unification leads to a simplified model architecture, where only a lightweight MLM head, instead of a decoder with much more parameters, is needed on top of the multimodal encoder. Surprisingly, experimental results show that this unified framework achieves competitive performance on 14 VidL benchmarks, covering video question answering, text-to-video retrieval and video captioning. Extensive analyses further demonstrate the advantage of LAVENDER over existing VidL methods in: (i) supporting all downstream tasks with just a single set of parameter values when multi-task finetuned; (ii) few-shot generalization on various downstream tasks; and (iii) enabling zero-shot evaluation on video question answering tasks. Code is available at https://github.com/microsoft/LAVENDER.
In this paper, we propose a variable grouping method based on cooperative coevolution for large-scale multi-objective problems (LSMOPs), named Linkage Measurement Minimization (LMM). And for the sub-problem optimization stage, a hybrid NSGA-II with a Gaussian sampling operator based on an estimated convergence point is proposed. In the variable grouping stage, according to our previous research, we treat the variable grouping problem as a combinatorial optimization problem, and the linkage measurement function is designed based on linkage identification by the nonlinearity check on real code (LINC-R). We extend this variable grouping method to LSMOPs. In the sub-problem optimization stage, we hypothesize that there is a higher probability of existing better solutions around the Pareto Front (PF). Based on this hypothesis, we estimate a convergence point at every generation of optimization and perform Gaussian sampling around the convergence point. The samples with good objective value will participate in the optimization as elites. Numerical experiments show that our variable grouping method is better than some popular variable grouping methods, and hybrid NSGA-II has broad prospects for multi-objective problem optimization.
The past few years have witnessed the great success and prevalence of self-supervised representation learning within the language and 2D vision communities. However, such advancements have not been fully migrated to the field of 3D point cloud learning. Different from existing pre-training paradigms designed for deep point cloud feature extractors that fall into the scope of generative modeling or contrastive learning, this paper proposes a translative pre-training framework, namely PointVST, driven by a novel self-supervised pretext task of cross-modal translation from 3D point clouds to their corresponding diverse forms of 2D rendered images. More specifically, we begin with deducing view-conditioned point-wise embeddings through the insertion of the viewpoint indicator, and then adaptively aggregate a view-specific global codeword, which can be further fed into subsequent 2D convolutional translation heads for image generation. Extensive experimental evaluations on various downstream task scenarios demonstrate that our PointVST shows consistent and prominent performance superiority over current state-of-the-art approaches as well as satisfactory domain transfer capability. Our code will be publicly available at https://github.com/keeganhk/PointVST.
Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at https://github.com/YuxinWenRick/tree-ring-watermark.
Text evaluation has historically posed significant challenges, often demanding substantial labor and time cost. With the emergence of large language models (LLMs), researchers have explored LLMs' potential as alternatives for human evaluation. While these single-agent-based approaches show promise, experimental results suggest that further advancements are needed to bridge the gap between their current effectiveness and human-level evaluation quality. Recognizing that best practices of human evaluation processes often involve multiple human annotators collaborating in the evaluation, we resort to a multi-agent debate framework, moving beyond single-agent prompting strategies. The multi-agent-based approach enables a group of LLMs to synergize with an array of intelligent counterparts, harnessing their distinct capabilities and expertise to enhance efficiency and effectiveness in handling intricate tasks. In this paper, we construct a multi-agent referee team called ChatEval to autonomously discuss and evaluate the quality of generated responses from different models on open-ended questions and traditional natural language generation (NLG) tasks. Our analysis shows that ChatEval transcends mere textual scoring, offering a human-mimicking evaluation process for reliable assessments. Our code is available at https://github.com/chanchimin/ChatEval.