PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10594v1cs.LG

활성화 프로브에 필요한 합성 데이터의 양을 결정하는 것은 난이도가 아닌 커버리지다

Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs

배포된 언어 모델을 모니터링하는 활성화 프로브(activation probe)는 합성 대화로 학습(training)되지만, 프로브에 얼마나 많은 데이터가 필요한지는 아직 명확하지 않습니다. 본 연구는 생성자 LLM과 프롬프트의 구체성을 변경해가며, 14개의 홀드아웃 평가(evaluation) 분포와 4개의 프로브 모델에서 세 가지 모니터링 개념(중대한 위험 상황, 사람에게 유해한 답변, 사용자의 지시를 따르지 않는 답변)에 대해 10~590개의 합성 샘플에 걸친 학습 곡선을 추적합니다. 필요한 데이터양은 모니터링 대상에 따라 결정됩니다. 중대한 위험 및 유해성에 대한 프로브는 Gemma-3-27B-IT에서 80개 샘플부터 정체기(plateau)의 수백 분의 1 이내에 도달하는 반면, 지시 프로브는 몇 배 더 많은 샘플을 필요로 하며, 이러한 순서는 세 개의 더 작은 프로브 모델과 (개발 세트의) 실제 샘플에서도 유지됩니다. 선행 연구에서는 생성 예산을 깊이(각 유형의 데이터 수 증대)보다 너비(더 다양한 유형의 데이터 확보)에 투자할 것을 권장합니다. 본 연구에서는 개념에 필요한 깊이를 적합 곡선의 절반-이득 크기(half-gain size, 즉 이득의 절반을 달성하는 샘플 수)로 해석합니다. 개념과 분포가 해당 분산의 42~45%를 설명하며, 생성자, 프로브 모델, 프롬프트 구체성은 10% 미만을 차지합니다. 절반-이득 크기의 값을 결정하는 것은 유형별 난이도(분포가 포화되는 데 필요한 자체 유형 샘플 수)가 아니라 커버리지(coverage)입니다. 평가 분포당 하나씩 할당된 모든 유형은 세 가지 개념 모두에서 동일하게 자체 유형 합성 샘플 기준 7~11개의 중앙값 절반-이득 크기를 보입니다. 차이를 만드는 것은 한 유형의 샘플이 해당 개념의 다른 유형으로 얼마나 잘 전이되는지 여부로, 중대한 위험에서는 거의 완전히 전이되고, 유해성에서는 덜 전이되며, 지시에서는 가장 적게 전이됩니다. 이는 생성된 샘플과 실제 샘플 전반에서 개념 간 격차의 대부분을 설명합니다. 따라서 너비에 투자하는 효과는 개념에 따라 다릅니다. 어떤 유형도 다른 유형을 포괄하지 못하는 지시에서는 여러 유형이 필수적이지만, 한 유형이 나머지를 포괄하는 중대한 위험에서는 거의 불필요합니다. 본 연구는 평가 스위트, 개발 세트 및 생성된 세트를 공개합니다.

arXiv:2607.08371v1eess.AS

자동 음성 인식을 위한 합성 학습 데이터에서 대화 타이밍의 역할

On the Role of Conversational Timing in Synthetic Training Data for ASR

합성 다화자 대화 학습 데이터에서 대화 타이밍을 제어 가능한 변수로 다루기 위해, 지수 틸팅 패밀리로 휴지·겹침 분포를 매개변수화하고 라틴 초입방체 샘플링과 다목적 베이지안 최적화로 4차원 파라미터 공간을 탐색했다. 실험 결과, ASR 성능은 코퍼스 근접성보다 유도된 타이밍 통계에 의해 더 잘 설명되며, 겹침 노출이 높을수록 cpWER이 낮아지고 간격이 길수록 높아지는 겹침-간격 트레이드오프가 확인되었다.