arXiv 2603.20062
초록 정보가 없습니다.
이 이메일 도메인이 관측된 논문 6건
초록 정보가 없습니다.
High-Value Synthetic Supervision for Parameter-Efficient Adaptation of a Compact Japanese Speech Model
프라이빗 도메인 음성은 수집 및 재배포가 어려운 반면, 소형 모델은 태스크 맞춤형 지도 학습(supervision)을 필요로 합니다. 본 연구에서는 일본어 간호 인계 음성을 6개 필드의 구조화된 기록으로 직접 매핑하는 감사 가능한 합성 파이프라인을 조사합니다. 182개의 합성 학습 및 개발 클립을 사용하여 전체 미세조정(full fine-tuning) 및 rank-16 LoRA를 통해 1.47B 오디오 모델을 적응시킵니다. 시나리오 시드가 분리된 39개 클립의 합성 테스트에서, 적응되지 않은 모델은 모델 평가 사실성 재현율(factuality-recall) 점수 0.0500을 기록한 반면, 전체 미세조정은 0.8664, LoRA는 0.8461을 달성했습니다. LoRA는 서술적 비율 기준으로 전체 미세조정 종합 성능의 97.7%에 도달했으며, 프로젝트 텔레메트리 기준 학습 가능한 매개변수는 백본의 약 0.85%인 12.4M개로 보고되었습니다. 두 적응 방식 모두 동일한 베이스 모델 대비 뚜렷한 쌍체 개선(paired gains)을 보였으나, 전체 미세조정과 LoRA 간의 신뢰구간은 0을 포함하며 서로 다른 최적화 설정으로 인해 동등성 주장은 불가능합니다. 본 결과는 매개변수 효율적인 역량 획득 결과일 뿐, 디바이스 성능 결과는 아니며 지연 시간, 메모리, 에너지 소비, 실시간 배수(real-time factor) 등은 측정되지 않았습니다. 모든 평가 음성과 타깃은 합성 데이터이고 참조 데이터는 모델이 제안한 것이며 평가 모델은 캘리브레이션되지 않았습니다. 본 실증 결과는 소형 모델이 출처가 연결된 수백 개의 합성 예시만으로도 좁은 범위의 오디오-구조 변환 역량을 획득할 수 있음을 보여주며, 임상적 유효성, 실제 음성으로의 전이 또는 클린 클라우드 시스템 대비 우월성을 입증하는 것은 아닙니다.
Generation Provenance Before Behavior Attribution: Auditing Synthetic Speech Research Objects
모델 행동을 합성 학습(training) 데이터의 탓으로 귀속시키기 위해서는, 각 학습 항목이 무엇을 유발했는지 추정하기에 앞서 무엇이 그 항목을 생성했는지를 알아야 합니다. 파형(waveform)-레이블 쌍은 이러한 정보를 보존하지 못합니다. 본 논문에서는 합성 연구 대상(synthetic research object)이 소스 명세, 생성된 콘텐츠, 파형, 타깃, 사실 요건, 품질 신호, 검토 계보(review lineage), 그리고 불변 매니페스트 식별자를 결합하는 생성 출처(generation provenance) 기반 구조를 제안합니다. 생성자 및 선택 메커니즘이 증거적 의미를 결정하며, 저장 위치나 변수명은 그렇지 않습니다. 저자들은 비공개 일본어 간호 인수인계 파이프라인에서 이 기반 구조를 감사합니다. 113개 자산으로 구성된 검토 대상군은 6개 시나리오 패밀리에 걸쳐 1.552시간 분량의 합성 음성을 포함합니다. 모든 항목은 연결된 오디오, 전사본, 후보 노트, 사실 체크리스트를 갖추고 있으나, 사람에 의한 증거는 선별적이며 소스에 국한됩니다. 두 개의 충실성 전용(faithful-only) 매니페스트는 시나리오 시드가 서로 겹치지 않으며(scenario-seed-disjoint) 불변 버전으로 관리되지만, 유동적인 생성기 별칭(floating generator aliases), 클립별 TTS 및 코드 스탬프 누락, 버전이 지정되지 않은 검사 프롬프트(prompt)로 인해 정확한 상류 귀속(upstream attribution)은 여전히 차단되어 있습니다. 본 논문에서는 생성 출처가 행동 귀속을 위한 필요조건이지만 충분조건은 아니라고 주장합니다. 즉, 생성 출처는 후보 인과 그래프와 감사 단위를 정의할 뿐이며, 기여적 귀속(contributive attribution)을 위해서는 여전히 동결된 학습 실행과 개입 또는 영향력 증거가 필요합니다. 본 연구는 합성 데이터 귀속을 위한 간결한 출처 계약, 감사 프로토콜, 그리고 한정된 사례 연구를 제시합니다. 통제된 연구 목적의 접근은 제공될 수 있으나, 인과적 학습 데이터 귀속, 임상적 유효성, 또는 제한 없는 공개 배포를 주장하지는 않습니다.
A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging
에이전트(agent) 개발자들은 시뮬레이터 기반 검증자(verifier)를 통해 프롬프트, 도구, 정책 및 진단 알고리즘을 비교하는 방식을 점점 더 많이 활용하고 있습니다. 그러나 검증자는 솔버(solver) 비교를 무의미하게 만들 수도 있습니다. 즉, 검증자의 프로브(probe)나 술어(predicate)가 타깃의 식별 정보를 인코딩하고 있다면, 정확한 옵티마이저(optimizer)는 어떠한 실질적인 모호성도 해결하지 못한 채 효과적인 것처럼 보일 수 있습니다. 본 연구에서는 폐루프(closed-loop) 의사결정 에이전트를 위한 집계 트레이스 디버거에서 발생하는 이러한 실패 사례를 보고합니다. 정확한 최소 적중 집합(Minimum Hitting Set, MHS)과 전파 인식 탐욕 알고리즘(propagation-aware greedy method)은 12개 개발 사례 모두에서 동일한 지지 집합(support)을 반환했으며, 9/12 사례에서 동일한 주입 결함(planted fault) 복구를 달성했습니다. 후속 감사 결과, 정확한 앵커(exact-anchor) 술어가 9/9 사례에서 주입된 쌍을 생성한 것으로 확인되었습니다. 해당 앵커들을 제거한 후 전체 주입 쌍 복구율은 8/9였습니다. 그럼에도 불구하고 하드 프로브 싱글톤(hard-probe singleton) 쌍은 9/9 사례에서 주입된 쌍과 일치했으며, 전파 후 비어 있지 않은 잔여 충돌군(residual conflict family)이 유지된 사례는 전무했습니다(0/9). 옵티마이저는 올바르게 작동했으나, 검증자가 이미 정답을 노출하고 있었던 것입니다. 이에 본 논문에서는 솔버 우선 평가 방식을 지지 집합 기반 게이팅(support-gated) 검증 규약으로 대체합니다. 먼저 클린 참조 맵(clean reference map)을 통해 반복적인 컴포넌트 노출을 입증해야 하며, 그다음 일치된 참조/현재 게이트를 통해 비교 가능한 런타임 증거를 확립해야 하고, 그 이후에만 독립적으로 보정된 신호 규칙이 탐지 결과를 반환할 수 있습니다. 1,440개의 사례와 21,600개의 파티션 행으로 구성된 사전 등록된 홀드아웃(heldout) 평가에서, 55/72 체제-컴포넌트(regime-component) 단위가 참조 게이트를 통과했고, 54/55가 런타임 게이트를 통과했으며, 표현된 컴포넌트의 안정적 위허용(stable false admission)은 단측 정확 95% 상한선 0.1391과 함께 0/20을 기록했습니다. 승인된 단위 내에서는 영향을 받은 정상 트래픽이 공칭 결함 셀 비율(nominal fault-cell fraction)보다 탐지를 더 잘 예측했습니다. 본 연구의 핵심적인 구조적 교훈은 컴포넌트 선택기를 최적화하기 전에 증거의 적격성과 비공개성(non-revelation)을 먼저 검증해야 한다는 점입니다. 그렇지 않으면 더 강력한 솔버가 단지 더 강력한 검증자 아티팩트(artifact)를 인증하는 것에 불과할 수 있습니다.
ClaimReceipt: Verifying Evidence Sufficiency and Coverage in Agent Evaluations
에이전트 평가는 서로 다른 두 가지 증거 질문에 직면한다. 보고된 claim이 보존된 증거로부터 재계산 가능한지(충분성), 그리고 보존된 기록이 확정(commit)된 실험 집합을 포괄하는지(커버리지)이다. 일반 로그와 해시 연결 transcript는 어느 쪽도 신뢰할 만하게 답하지 못한다. 본 논문은 ClaimReceipt를 제안한다. 이는 claim-상대적 receipt 명세와 선택적 verifier로, 유형화된 transaction 증거를 서명된 실험 manifest에 결합(bind)하고 claim마다 PASS, INVALID, INCONCLUSIVE를 반환한다. 구현 전에 명세를 동결하였다(SHA-256 18d109...b81). 1,392건의 과거 buyer–seller 기록에서 CR-2 verifier는 수동 라벨링된 5개 감사 판정을 모두 재현하고, deterministic 600건과 post-generation 792건을 정확히 재현(replay)하며, 선언된 13개 field group 전부를 시험된 ablation 하에서 비중복(non-redundant)으로 만들고, semantic fault 11/11에서 기대 결과를 반환하며 false positive는 0/8이다. 이어 별도의 전향적 CR-3 에포크를 수행한다. 30개 assignment는 추론 전에 확정되고, terminal receipt는 서명·체인 연결되며, private 증거는 auditor를 위해 � encryption된다. 완전한 증거는 coverage와 accounting PASS를 산출한다. terminal receipt 하나를 withhold하면 INCONCLUSIVE_COVERAGE가 반환되고, 모든 private opening을 withhold하면 coverage와 protocol 검증은 유지되나 경제적 claim은 inconclusive가 되어, 사전 등록(preregistered) 예측과 정확히 일치한다. Receipt instrumentation은 모델 추론 시간의 0.021%와 transaction당 9.9 KB를 추가한다. specification-legibility probe는 우리의 동결된 명세가 아직 독립 독자에게 명확(unambiguous)하지 않음을 시사한다. 따라서 claim 검증에는 claim에 충분한 증거와, 누락이 드러나는 확정된 universe가 모두 필요하다.
상호작용 시뮬레이션은 언어 모델 에이전트로 구성된 시장에서 정책을 점점 더 많이 평가한다. 그 출력은 주장에 명시된 행동을 실제로 구현하지 않아도 경제적처럼 보일 수 있다—가격, 이윤, 소비자 잉여, 복지 등. 우리는 설정 가능한 호텔 거래를 위한 다턴 buyer–seller 테스트베드에서 이 위험을 감사한다. 초기 구현은 두 가지 마켓플레이스 가드레일로부터 Qwen2.5 1.5B–14B 사다리 전반에 걸쳐 +87.4, +35.0, +28.8의 복지 이득을 보고했다. 또한 가드레일이 있는 에이전트와 없는 에이전트에 서로 다른 offer 스키마와 선택 절차를 부여했다. 스키마와 buyer chooser를 고정하면 paired contrast는 +7.2, -13.9, +23.8로 바뀐다. 14B 단일 생성에서 가장 큰 네 가지 효과의 평균은 +229였고, profile-condition당 세 번 생성한 뒤에는 평균 +37.6(95% bootstrap 구간 [-34.2, 109.3])이었으며, generation residual이 이 사후 탐색에서 변이의 49.9%를 설명한다. seller-incentive 점검은 단조(monotone)가 아니다: 이윤 압력을 높이면 기본 seller 프롬프트보다 이윤이 더 적게 나온다. 스크립트된 positive control은 왜 이것이 중요한지 보여 준다. 이윤 극대화 seller는 이미 1차 최적(first-best) 복지에 도달하므로, 가드레일은 대부분 재분배하고 복지를 줄인다; seller를 비효율적 번들을 강제하도록 명시적으로 프로그래밍한 경우에만 복지를 만든다. 우리는 incentive validity, protocol isolation, stochastic stability, welfare accounting을 분리하고 실질적 정책 주장 전에 INVALID 또는 INCONCLUSIVE를 반환하는 구성 타당도 계약(construct-validity contract)을 제안한다. 우리 사례에서 원래 추정치는 protocol isolation 하에서 INVALID이며, 통제 연구는 incentive validity와 stochastic stability 하에서 INCONCLUSIVE로 남는다. 이 사례는 가드레일이 비효과적임을 보여 주는 것이 아니라, 시뮬레이션된 에이전트와 프로토콜이 이러한 점검을 통과할 때까지 가드레일의 겉보기 가치는 식별되지 않음을 보여 준다.