centific.com

이 이메일 도메인이 관측된 논문 9건

arXiv:2610.07274v1cs.AI

에이전트 평가를 위한 신뢰 층

A Trust Layer for Agent Evaluation

결정론적 벤치마크 점수는 에이전트(agent)가 점수를 획득했는지는 보여주지만, 그 점수가 정당하게 얻어졌는지, 정직하게 보고되었는지, 혹은 재실행 시에도 유지될 것인지는 보여주지 못합니다. 본 논문에서는 기록된 각 점수 옆에 해당 점수를 신뢰할 수 있는지 여부를 보고하는 사후 부가 프레임워크인 '에이전트 평가를 위한 신뢰 층(Trust Layer for Agent Evaluation)'을 소개합니다. 이 프레임워크는 네 가지 속성을 검증합니다. 즉, 결과가 벤치마크 자체의 채점 로직에 의해 뒷받침되는지, 통과한 답변이 추적 가능한 연산을 통해 도출되었는지, 에이전트의 완료 주장이 실제로 일어난 일과 일치하는지, 그리고 반복 실행 시에도 결과가 안정적인지 여부입니다. 앞의 세 가지는 저장된 아티팩트만을 사용하며, 네 번째는 에이전트를 재실행합니다. 모델(model)의 판단은 다수결 투표 하에서 증거에 라벨을 붙이는 역할만 수행하며, 모든 판정은 결정론적 규칙을 따르고 기록된 점수를 절대 수정하지 않습니다. Agents' Last Exam의 108개 작업에 대해 5가지 에이전트 구성을 적용한 결과, 모든 모델에서 추적 가능한 연산이 없는 통과 실행(최대 10배 차이의 비율로 발생), 확인된 거짓 완료 주장, 그리고 불안정한 결과(18~46%의 작업이 5회 실행 동안 단일 점수 구간을 유지하지 못함)가 나타났습니다. 기록된 통과 중 네 가지 검사를 모두 통과한 비율은 22.6%에 불과했습니다(95% 신뢰구간 15.0~32.6, n=84). 에이전트가 무엇을 할 수 있는지 측정하는 것과 실제로 그것을 수행했는지 검증하는 것은 서로 다른 문제이며, 현재의 벤치마크는 전자만을 다루고 있습니다.

arXiv:2610.02622v1cs.AI

CuBEs: 문화적 맥락을 고려한 행동 평가와 문화 불가지론적 LLM 판정자의 한계

CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges

아첨(sycophancy), 자기 선호(self-preference), 또는 과신(over-confidence)과 같은 대규모 언어 모델(LLM)의 행동 발생 여부와 트리거를 평가하는 것은 실제 환경에서의 모델 배포 위험을 예측하는 데 매우 중요합니다. 그러나 기존의 맥락적 행동 평가는 일반적으로 문화적 맥락을 무시하므로, 점점 더 글로벌화되는 사용자층 전반에 걸친 일반화 가능성이 제한됩니다. 이러한 격차를 해소하기 위해, 다양한 사용자 문화에 걸친 응답 패턴을 탐색하는 문화적 맥락 고려 행동 평가 프레임워크인 CuBEs를 제안합니다. 먼저 자동화된 테스트 파이프라인을 확장하여 행동 테스트 시나리오와 후속 평가에 문화적 맥락을 주입합니다. 12개의 서로 다른 문화권에 걸쳐 미묘한 행동 이해 차원을 포착하는 인간 라벨링 데이터셋을 구축하여 이 파이프라인의 문화적 적응성을 평가합니다. 구축한 데이터셋은 획일적인 판정으로는 포착할 수 없는 상당한 비교문화적 차이를 보여줍니다. 13개의 오픈소스 및 폐쇄형 LLM을 평가한 결과, 평가 시나리오에 문화적 맥락성(cultural situatedness)을 도입하면 행동의 발현 양상에 상당한 차이가 발생함을 확인했습니다. 예를 들어 정치적 바이어스를 테스트하는 기준선 실험에서는 미국 내 보수-진보 간의 분열과 같이 국지화된 서구적 정치 차원만을 포착하는 반면, 비서구권의 문화적 맥락을 고려한 평가에서는 종교적 및 식민지적 정치 문제와 같은 완전히 다른 바이어스 축이 드러납니다. 이러한 연구 결과는 표준적이고 문화 불가지론적인 평가가 이러한 변화를 포착하지 못함을 보여주며, 글로벌 배포를 위해 문화적 맥락을 고려한 행동 테스트가 필수적임을 강조합니다.

arXiv:2609.22586v1cs.SD

SEABED: 오디오 추론 평가를 위한 동남아시아 벤치마크

SEABED: SouthEast Asian Benchmark for Evaluating Audio Reasoning

최근 오디오-언어 모델은 어떤 말을 전사할 수 있는지뿐 아니라, 들은 내용 위에서 추론할 수 있는지—억양과 운율에 담긴 의미를 복원하고, 방언과 지역 언어를 구분하며, 문자 형태로는 열려 있는 모호성을 해소하는지—로도 평가받는다. 이러한 능력은 점점 늘어나는 오디오 추론 벤치마크 계열로 측정되지만, 거의 전부 영어와 일반 도메인 오디오에 한정되어 있다. 동남아시아(SEA)를 대상으로 하는 벤치마크는 대신 인식, 번역, 화용론적 분류 등 영어 과제 분류 체계를 그대로 물려받아, 모델이 SEA 음성을 ‘듣는지’를 시험할 뿐 그 음성으로부터 ‘추론할 수 있는지’는 시험하지 않는다. 우리는 SEA 음성 위에서 언어 및 오디오 추론 모델을 벤치마킹하기 위해 설계된 오디오 중심 질의응답 데이터셋 SEABED를 제안한다. SEABED는 실제로 공개된 SEA 음성 말뭉치만으로 구성된 여섯 가지 오디오 추론 과제 모음으로, 5,404개의 질문-답변 쌍을 제공한다. 우리는 최신 및 지역 특화 오디오 LLM 여섯 개를 평가했으며, 최첨단 모델인 Gemini 3.5 Flash조차 가중 평균 정확도 50.3%에 그쳤다. SEABED는 답변 정확도뿐 아니라, 모델이 제시한 추론이 오디오 근거에 그라운딩되어 있는지도 평가한다. 벤치마크 데이터 샘플은 다음에서 확인할 수 있다: https://huggingface.co/datasets/CentificAIResearch/SEABED.

arXiv:2609.09263v1cs.SD

목소리인가 고정관념인가? Speech-to-Speech 모델에서 음향적·내용 기반 성별의 분리

Voice or Stereotype? Disentangling Acoustic and Content-Based Gender in Speech-to-Speech Models

음성-음성(S2S) 모델은 이제 더빙, 번역, 음성 에이전트 안에서 동작한다. 텍스트 모델과 달리 S2S 모델은 화자의 성별을 담고 있는 화자의 목소리를 듣는다. 충실한 시스템은 화자를 말한 내용과 보통 일치하는 사람이 누구인지가 아니라, 들리는 그 사람으로 취급해야 한다. 이를 검증하는 일은 겉보기보다 어렵다. 대부분의 S2S 모델은 단일하고 고정된 출력 음성으로 응답하며, 고정관념 쪽으로 drift할 수 없도록 하드코딩되어 있기 때문이다. 모델에 바이어스가 있어도 출력 음성만 확인하면 문제가 없는 것처럼 보인다. 따라서 두 가지 질문을 던진다. 모델이 입력을 다시 말할 때, 말 속의 고정관념이 출력 음성의 지각적 성별(음성 렌더링, voice rendering)을 바꾸는가? 그리고 모델이 화자의 성별을 말할 때, 목소리를 따르는가 아니면 내용을 따르는가(성별 귀属, gender attribution)? 남성·여성 음성과 남성적·중립적·여성적 고정관념 구절을 교차시킨 하나의 통제 실험으로, 영어·스페인어·중국어(만다린)에서 오픈·클로즈드 소스 모델 다섯 개에 대해 두 질문 모두에 답한다. 렌더링된 음성에서는 고정관념 drift가 나타나지 않는다. 그러나 모든 모델은 목소리가 아니라 내용으로부터 화자의 성별을 결정한다. 내용을 한 단계 더 여성적으로 만들면(남성적 → 중립적 → 여성적) 「female」 판정의 오즈가 1.7~24배 증가한다. 내용과 목소리가 충돌할 때, 가장 나쁜 모델은 90%의 경우에서 화자의 성별을 잘못 판단한다. 일치할 때는 2%에 불과하다. 따라서 바이어스는 고정 출력 음성 평가로는 드러나지 않는 성별 귀属에 숨어 있으며, S2S 시스템이 실제 사람을 대신 말하게 될수록 감사(audit)가 집중해야 할 지점이다.

arXiv:2609.02902v1cs.CL

RL-ADA: 적대적으로 강건한 기업 대화 에이전트를 위한 월드 피드백 프레임워크

RL-ADA: A World-Feedback Framework for Adversarially Robust Enterprise Dialogue Agents

기업 고객 지원에 태스크 지향 대화 에이전트를 배포할 때 지속적인 어노테이션 병목이 남는다. 강건한 학습에는 대규모 라벨 상호작용 데이터가 필요하지만, 기업 대화 로그는 프라이버시에 민감하고 어노테이션 비용이 크며, 사용자 행동은 라벨링 파이프라인이 따라잡기보다 더 빨리 변한다. 우리는 RL-ADA(Reinforcement Learning with Adversarial Dialogue Agents)를 제안한다. 이는 인간 라벨을 world feedback(측정 가능한 상호작용 결과에서 직접 도출된 결과 기반 보상 신호)으로 대체해 이 병목을 없애는 공진화 학습 프레임워크이다. 고객 지원 에이전트(DA, 3B 파라미터)와 적대적 고객 에이전트(CA, 7B 파라미터)는 고정된 자동 심사자가 이끄는 적대적 아레나에서 공진화한다. DA는 다턴 고객 대화를 성공적 해결까지 올바르게 처리하면 보상을 받고, CA는 misroute를 유발하는 현실적이고 의도를 숨기는 발화를 생성하면 보상을 받으며, 서로 반대되지만 독립적으로 구조화된 보상을 통해 비대칭적 적대적 압력이 형성된다. isolation gym은 이전 실패 전사록으로 더 약한 에이전트를 반복 재학습하며, 어떤 단계에서도 인간 어노테이션이 필요하지 않다. 은행 고객 지원 개념 증명에서 도구 라우팅 오류는 제거되었고, 라벨 데이터 없이 자동화된 아레나 보상만으로 다섯 번의 공진화 사이클 동안 엄격한 end-to-end PASS 비율이 두 배가 되었다. 또한 CA가 순수하게 보상 압력만으로 밀도 높은 현실적 고객 세부 정보 속에 의도를 내재화하도록 학습하는 적대적 전략인 Contextual Camouflage(문맥적 위장)의 출현을 관찰했으며, 이는 기업 레드팀 테스팅과 강건성 평가에 직접적인 함의를 준다.

arXiv:2608.12133v1cs.AI

GUIDE: 기업 환경에서 문서-산출물 생성을 위한 통제된 통합 지능

GUIDE: Governed Unified Intelligence for Document-to-Artifact Generation in Enterprise Settings

기업 가이드라인 문서는 이질적이고 멀티모달이며, 서술형 텍스트, 복잡한 표, 내장 이미지를 함께 포함한다. 기존 LLM 및 VLM 시스템은 환각(hallucination) 콘텐츠, 표 구조 훼손, 추출을 넘어 검증과 산출물 생성까지 확장되는 통제된 워크플로 부재 문제에 직면한다. 이로 인해 기업은 이를 수동으로 수행해야 하며, 문서당 2-3일이 소요된다. 이를 해결하기 위해 우리는 공유·버전 관리 규칙 저장소, 스키마 검증된 에이전트 간 계약, end-to-end 출처(provenance) 추적을 기반으로 한 통제된 멀티 에이전트 프레임워크인 GUIDE를 제안한다. 6개의 전문화된 에이전트가 파싱, VLM 기반 추출, 일관성 검사, 평가, human-in-the-loop(HITL) 에스컬레이션, 페르소나 맞춤형 산출물 합성을 담당한다. 120개의 실제 기업 가이드라인 문서로 평가한 결과, GUIDE는 96%의 문서 성공률을 달성하고, 3,896개의 규칙을 추출하며 그중 71.4%가 자동 승인되었고, 812개의 배포 준비 완료 산출물을 생성하며, 문서당 처리 시간을 40-125분으로 단축한다.

arXiv:2607.28896v1cs.SD

TORUS: 통합 오디오 모델을 위한 렌더링-이해 자기 일관성 평가

TORUS: A Test of Rendering-Understanding Self-Coherence for Unified Audio Models

오디오 이해, 오디오 생성, 그리고 점차 오디오 편집까지 수행할 수 있는 통합 오디오 모델(unified audio model)이 빠르게 확산되고 있습니다. 그러나 이들에 대한 근본적인 질문은 여전히 해결되지 않았습니다. 과연 통합 모델의 두 헤드가 동일한 오디오에 대해 일치된 판단을 내릴 수 있을까요? 현재의 방식은 특화된 벤치마크(benchmark)에서 각 기능을 개별적으로 평가할 뿐, 모델이 자신이 생성한 결과물을 제대로 이해할 수 있는지는 전혀 묻지 않습니다. 우리는 오디오 네이티브 통합 모델을 위한 최초의 자기 일관성(self-coherence) 테스트인 TORUS를 제시합니다. TORUS는 5개 태스크 패밀리에 걸쳐 음성, 사운드, 음악을 아우르는 432개의 6지선다 문항을 포함하는 48개의 3단계 자기 일관성 테스트로 구성됩니다. 우리는 최첨단 특화 생성, 편집, 이해 모델들을 결합한 캐스케이드 기준선(Cascaded Baseline)과 함께 5개의 공개 통합 모델을 종합적으로 평가합니다. 최고 성능의 통합 모델은 16.7%의 무작위 확률 기준선 대비 50.5%의 정답률을 기록한 반면, 캐스케이드 기준선은 63.2%를 기록했습니다. 모델들은 오디오 편집에서 특히 어려움을 겪었습니다. 평가된 오디오 모델(특화 모델 및 통합 모델) 전반에서 제한적인 자기 일관성만이 관찰되었으며, 이에 따라 우리는 자기 일관성을 향후 오디오 시스템의 필수적인 평가 요소로 제안합니다.

arXiv:2607.01465v1cs.AI

Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows

Jira REST v3 및 Confluence v2 API를 에뮬레이션한 합성 환경에서 검증 가능한 보상(RLVR)으로 Qwen3 소형 모델을 GRPO 학습시켜, 엔터프라이즈 SaaS 워크플로우의 도구 호출 정확도를 기존 프롬프트 기반 대비 최대 0.35→1.00까지 향상시켰다. 넥스트 토큰 예측 목표와 실제 API 동작 간의 불일치를 RL로 극복할 수 있음을 보여주는 개념 증명이나, 보상 함수의 수동 설계가 소수 엔드포인트에 국한된다는 한계도 함께 제시한다.

arXiv:2606.25116v1eess.AS

BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions

Respiratory acoustic foundation models (FMs) are benchmarked exclusively on smartphone recordings, yet clinical deployment increasingly targets body-coupled (BC) wearables whose sensors attenuate high-frequency content through tissue and bone, leaving FM reliability uncharacterised. We introduce BCoughBench, evaluating five FMs (OPERA-CT/CE/GT, HeAR, M2D+Resp) on nine classification tasks (AUROC, sensitivity at 95% specificity, Expected Calibration Error) and three age regression tasks (MAE vs. a mean-predictor baseline) across five EBEN-simulated BC sensor conditions on five labeled cough datasets. Mean AUROC declines from 0.785 (smartphone) to 0.689-0.723, degrading most under temple vibration pickup ($Δ$ = -0.096) and least under the soft in-ear ($Δ$ = -0.062). No FM meets the clinical sensitivity threshold (Se@Sp95 $\geq$ 0.20) on most disease tasks under any BC sensor. Sex classification on the CIDRZ cohort collapses (AUROC 0.954 to 0.596-0.628, $Δ$ = -0.341) while COVID detection is nearly unaffected ($Δ$ = -0.004). Age regression is robust, improving under the forehead accelerometer on CoughVID (MAE 9.61 to 8.97 yr); HeAR leads on regression and demographic tasks, M2D+Resp on disease and characteristic tasks. BCoughBench provides a reproducible framework for FM evaluation under wearable conditions.