이메일 어시스턴트는 사용자가 동일한 요청을 다르게 표현했다는 이유만으로 더 적은 양의 작업을 완료해서는 안 됩니다. 그러나 대부분의 벤치마크는 각 태스크를 단 하나의 표준 요청으로만 테스트하므로, 이러한 형태의 강건성(robustness)은 대체로 측정되지 않은 채로 남아 있습니다. 본 연구에서는 요청된 정보, 가용한 증거, 기대 결과가 고정되어 있는 상태에서 커뮤니케이션 스타일이나 영어의 변종이 바뀔 때 이메일 어시스턴트가 여전히 신뢰성을 유지하는지 검증합니다. 다섯 가지 커뮤니케이션 스타일 축과 네 가지 규칙 기반 방언 조건에 걸쳐 검증된 변형들을 구축하고, 이를 검색-증강 생성(RAG) 파이프라인 하나와 두 개의 도구 사용 에이전트로 구성된 세 가지 벤치마크에서 평가합니다. 간접적인 요청은 세 가지 벤치마크 모두에서 성능을 떨어뜨렸으며, 격식 있는 요청은 두 에이전트 벤치마크 모두에서 성능을 저하시켰습니다. 시스템을 더욱 면밀히 조사한 결과, 이러한 실패에는 서로 다른 원인이 있는 것으로 나타났습니다. 장황한 요청은 관련 이메일을 찾기 어렵게 만듦으로써 주로 어휘 기반 검색기(lexical retriever)에 악영향을 미쳤습니다. 반면에 간접적이거나 방언이 포함된 변형은 관련 이메일이 검색된 경우에도 여전히 유해했습니다. 에이전트 환경에서 간접적이거나 격식 있는 요청은 에이전트가 뒷받침되지 않는 행동을 더 많이 취하게 만들기보다는, 주로 필요한 행동을 누락하게 만들었습니다. 이러한 결과는 성공적인 응답만으로는 강건성을 입증하기에 충분하지 않음을 보여줍니다. 즉, 평가는 요청이 표현되는 방식을 다양화해야 하며, 에이전트가 요청된 작업을 완수하는지 별도로 측정해야 합니다.
비전-언어 모델(VLM)이 시각적 손상(visual corruption)에 노출될 때 top-1 정확도만으로는 포착되지 않는 예측 구조 변화를 진단하기 위해, 19가지 손상 유형과 5단계 심각도를 적용한 통제된 테스트베드 Bench-C와 신뢰도-정확도 정렬을 측정하는 강건성 정렬 점수(RAS)를 제안한다. 13개 VLM 실험 결과, 경미한 손상이 top-1 정확도를 오히려 향상시키면서도 예측 분포 구조를 저하시키는 역설적 패턴이 확인되었다.
대규모 언어 모델(LLM)이 Text-to-SQL 작업에서 눈부신 성과를 거두었지만, 실제 환경에서의 배포는 잠재적 신뢰성 문제로 인해 저해되고 있다. 이러한 잠재적 약점을 식별하는 것은 신뢰할 수 있는 데이터베이스 인터페이스 구축에 매우 중요하지만, 현재의 진단 접근법은 정적이고 전문가가 정의한 규칙에 크게 의존하여 체계적이고 자동화된 탐험 역량이 부족하다. 이 간극을 해소하기 위해, 우리는 LLM 기반 Text-to-SQL 생성의 잠재적 실패 패턴을 자율적으로 발견하도록 설계된 새로운 프레임워크인 SAGE(Systematic Automated Guided Exploration)를 제안한다. 구체적으로, SAGE는 주어진 샘플에 대한 취약점 가설을 생성하고 지속적으로 진화하는 취약점 코덱스(Vulnerability Codex)를 참조하여 표적화된 변형(perturbation)을 설계함으로써, 잠재적 결함을 반복적으로 검증하고 문서화한다. 최신 오픈소스 LLM에 대한 광범위한 실험을 통해 SAGE가 상당한 수의 실패 사례를 발견하며, 현재 모델들의 심각한 취약성을 드러냄을 입증한다. 나아가, 분석 결과 취약점 코덱스가 강력한 모델 간 전이 가능성을 보이며, 이는 발견된 패턴이 일반화된 구조적 약점을 나타냄을 시사한다. 마지막으로, 우리는 SAGE의 교정(remediation) 가능성을 탐색한다. 예비적 수준이지만, 생성된 샘플에 대한 경량 미세조정이 유망한 성능 향상을 보여, 향후 연구에서 신뢰성 루프를 닫기 위한 확장 가능한 경로를 제시한다.
대규모 언어 모델(LLM)이 논리적 오류(logical fallacy)를 포함한 설득적 공격에 얼마나 취약한지를 체계적으로 평가하기 위해, 멀티 에이전트 파이프라인으로 구축된 종합 벤치마크 LoFa와 다중 라운드 토론 프레임워크를 소개한다. 검증 가능한 사실 기반 질문에 오류 논거를 쌍으로 구성하고 LFR@k 지표를 제안하여 실험한 결과, LLM은 특히 Distraction/Distortion 유형의 오류에 높은 취약성을 보임이 드러났다.
Retrieval-Augmented Generation (RAG) systems are often evaluated using final answer accuracy, even though their failures can originate from preprocessing, retrieval, context packing, or generation. This paper presents a controlled empirical study of RAG sensitivity, robustness, and stability across 56 experimental runs. We evaluate how chunk size, retrieval depth (top k), embedding-based reranking, probabilistic retrieval noise, and repeated seeded runs affect retrieval, context packing, and generation behavior. Using a fixed 500-question QA subset mapped to 20,958 unique corpus contexts, we analyze both final answer metrics and intermediate failure modes. Across these experiments, retrieval-oriented metrics improved under broader retrieval settings, while downstream exact-match and F1 scores often behaved non-monotonically. We also observe preprocessing-induced answer loss under smaller chunk sizes, progressive degradation under retrieval corruption, and higher observed variance in broader retrieval regimes. These findings suggest that RAG evaluation should include sensitivity, robustness, stability, and multi-stage failure analysis rather than relying only on final answer accuracy.
시계열 예측(TSF) 모델은 깨끗한 홀드아웃 데이터의 평균 오차만으로는 실제 배포에서의 구조적 결함 대응력을 평가하기 어렵다는 문제를 다루며, TS-Fault는 관측·메커니즘 수준과 단변량·다변량 축의 4가지 결함 모드를 예측 핵심 구간에 주입해 강건성을 측정하는 벤치마크다. 6개 데이터셋·21개 모델 실험에서 깨끗한 데이터 정확도는 강건성과 음의 상관을 보였고, 관측 수준 결함에서는 순위가 유지되지만 메커니즘 수준 결함에서는 재배열되며 파운데이션 모델이 가장 높은 정확도와 함께 가장 큰 취약성을 보였다.